Datenrassismus: Eine neue Ära

Vielleicht ohne es zu bemerken habt ihr in den vergangenen Monaten mehrfach in den Nachrichten über Datenrassismus gelesen. Worum geht es dabei? Dieser Beitrag versucht den Begriff zu erklären – im Zusammenhang mit einem neu entstehenden Arbeitsstrang des Europäischen Netzwerks gegen Rassismus (ENAR), der sich mit Rassismus im digitalen Raum befasst.

Die Verbreitung künstlicher Intelligenz und anderer datengesteuerter Sortiersysteme wird oft als US-Thema abgetan. Doch im Gegenteil: Solche Technologien (einschließlich künstlicher Intelligenz, automatisierter Entscheidungssysteme, algorithmischer Entscheidungsfindung, der Zusammenführung großer Datensätze mit persönlichen Informationen sowie dem altbekannten Scraping und der Überwachung sozialer Medien) sind auch in Europa zunehmend im Einsatz. Sie sind eine durch und durch europäische Realität.

Weniger bekannt ist, wie solche Systeme diskriminieren. Die Schattenseite der „Innovation“ und der verbesserten „Effizienz“ automatisierter Technologien liegt darin, wie sie marginalisierte Gruppen – rassifizierte Menschen, Migrant:innen ohne Papiere, queere Communities und Menschen mit Behinderungen – kategorisieren und mit ihnen experimentieren.

Automatisierte oder datengesteuerte Entscheidungshilfen werden zunehmend in Bereichen des öffentlichen Lebens eingesetzt, die sich inhärent stärker auf Menschen of Colour auswirken. Wir erleben dieses Experiment an marginalisierten Gemeinschaften bei der Polizeiarbeit, der Terrorismusbekämpfung und der Migrationskontrolle.

Datengestützte Diskriminierung bei der Polizeiarbeit

In der jüngsten Studie des Europäischen Netzwerks gegen Rassismus „Datengesteuerte Polizeiarbeit: die Verankerung diskriminierender Polizeipraktiken in Europa“ heben die Autor:innen die Bandbreite datengestützter Praktiken hervor, die von Polizeikräften in Europa eingesetzt werden und die potenziell diskriminierende Auswirkungen auf rassifizierte Gruppen haben.

So werden in Ermittlungsverfahren zunehmend Programme zur automatischen Gesichtserkennung verwendet, obwohl diese bewiesenermaßen nicht-weiße Gesichter (insbesondere die von Frauen) regelmäßig falsch identifizieren, während die automatische Kennzeichenerfassung oft zur Verfolgung und Diskriminierung von Roma Communities diente. Die zunehmende Technologisierung von Polizeiarbeit – das zeigen beide Beispiele – kann existierende Trends von überproportionaler Überwachung bei mangelhaftem Schutz bestimmter Gruppen zusätzlich verschärfen.

Welche Kinder unter 12 werden kriminell?

Personenbezogene, vorhersagende Polizeisysteme werden in einer Reihe von Polizeibehörden erprobt und implementiert. Diese versuchen auf Basis vorhandener Daten Aussagen darüber zu treffen, welche Personen statistisch gesehen am wahrscheinlichsten ein Verbrechen begehen werden.

Beispiele hierfür sind die Gangs Matrix in Großbritannien oder die Top 600 und Top 400 Listen in den Niederlanden. Im Fall der Niederlande wird versucht vorherzusagen, mit welcher Wahrscheinlichkeit bestimmte Kinder unter 12 Jahren zukünftige Kriminelle werden. Wen wird der Algorithmus mit größerer Wahrscheinlichkeit in diese Datenbanken aufnehmen? Überwiegend Schwarze und Braune Männer und Jungen.

Andere vorhersagende Systeme sind nicht personen-, sondern ortsbasiert. Sie versuchen auf Grundlage verschiedener Datensätze – einschließlich sozioökonomischer Daten und Kriminalitätstatistiken – zukünftige Kriminalitätsraten in bestimmten Gebieten zu bestimmen. Solche Vorhersagen sind nicht nur in Hinblick auf die rechtlich geltende Unschuldsvermutung problematisch. Sie treffen auch – ebenso wie viele Vorverurteilungen und Verdächtigungen – primär Schwarze und Braune Menschen in ökonomisch marginalisierten Vierteln.

Suchmaschine für Sozialbetrug verstößt gegen die Menschenrechte

Die juristische Auseinandersetzung um das niederländische System SyRI [netzpolitik.org berichtete, Anm. d. R.] verdeutlicht die möglichen Gefahren des „digitalen Wohlfahrtsstaates“ in Hinblick auf die Kategorien Klasse race* und Migration.

Im Verfahren argumentierte eine Bürgerrechtsorganisation erfolgreich, dass SyRIs Versuche, das Risiko betrügerischen Verhaltens bei Sozialleistungen vorherzusagen, die Menschenrechte verletzten. Das Gericht sagte, dass das System zudem zu einer Diskriminierung aufgrund des sozioökonomischen Status sowie des Aufenthaltsstatus führen könnte (das System wurde hauptsächlich in Gebieten mit niedrigem Einkommen eingesetzt, die unverhältnismäßig stark von „nicht-westlichen Migrant:innen“ bewohnt sind).

Ein weiteres Problem liegt im Einsatz datengestützter Technologien bei der Migrationskontrolle. An der Grenze setzen Programme wie iBorderCtrl automatische Gesichtserkennung ein, um zu beurteilen, ob diejenigen, die nach Europa einreisen wollen, die Wahrheit sagen. Das weitgehend von der europäischen Kommission finanzierte Projekt wirft Fragen auf zu rassistischen Vorurteilen und Diskriminierung, zum Recht auf Privatsphäre sowie zur Verarbeitung personenbezogener Daten. Die Journalist:innen Fieke Jansen and Daniel Leufer fordern Antworten von der Kommission.

Fortschreibung der analogen Marginalisierung im Digitalen

Solche potenziellen Verletzungen der Grundrechte müssen in einem breiteren Kontext gesehen werden, in dem Migrant:innen, insbesondere solche ohne Dokumente, schon jetzt mit weitreichenden Verletzungen der Privatsphäre konfrontiert sind. Die Plattform für undokumentierte Migrant:innen (Picum) weist darauf hin, dass dies auf den Aufbau komplexer Systeme zum Datenaustausch zurückgeht – beispielsweise dem Common Identity Repository.

Diskriminierung zeigt sich auch in der Art und Weise, wie große Social-Media-Plattformen Rassismus und andere Formen des Missbrauchs im Internet erleichtern, als ein inhärentes Merkmal werbebasierter Geschäftsmodelle. Dies gilt auch im Bereich der Online-Wissensproduktion. Wenn die Suchfunktion von Google die Suche nach „schwarzen Mädchen“ mit vorwiegend pornografischen Seiten füllt [1], sehen wir, dass solche Unternehmen zwangsläufig Misogynie und Rassismus verstärken.

Alte Kategorisierungen, neue vermeintliche Objektivität

Es gibt mehr Beispiele bestehender oder potenzieller Diskriminierung als sich hier nennen lassen. Betrachtet man diese Trends jedoch ganzheitlich, zeigen sich Muster, die sich mit dem Begriff Datenrassismus fassen lassen. Datenrassismus umfasst die vielfältigen Systeme und Technologien, die in den verschiedensten Bereichen eingesetzt werden, und die entweder primär auf Migrant:innen und People of Colour abzielen oder diese unverhältnismäßig stark beeinträchtigen.

Diese Unverhältnismäßigkeit muss im breiteren Kontext von strukturellem Rassismus gesehen werden. Der Begriff bezeichnet die Realität bestehender historischer Ungerechtigkeiten, anhaltender Ungleichheiten in den Bereichen Wohnen, Gesundheit, Beschäftigung und Bildung, die entlang der Achsen von race und Ethnizität verlaufen sowie, zuletzt, wiederholte Erfahrungen mit staatlicher Gewalt und Straflosigkeit.

Es ist nicht neu, dass Systeme verwendet werden, um Individuen zu ḱategorisieren und zu überwachen und der Diskriminierung so eine Logik zu geben. Neu ist jedoch das Gefühl der Neutralität, das der Diskriminierung durch Technologie entgegengebracht wird. Die Autorin Ruha Benjamin erklärt in ihrem Buch „Race After Technology: Abolitionist Tools for the New Jim Code“ [2], dass „es diese Kombination aus kodierter Voreingenommenheit und imaginärer Objektivität“ ist, die den neuen Trend der Diskriminierung von seinen Vorgängern unterscheidet.

Die Verwendung „objektiver“ wissenschaftlicher Methoden zur Kategorisierung und „Risikobewertung“ von Einzelpersonen und Gemeinschaften zum Zwecke der Ausgrenzung hat bislang wenig Aufmerksamkeit erhalten. Das liegt auch an der simplen, aber oft erfolgreichen Argumentation, dass Technologien „nicht im klassischen Sinne rassistisch“ sein können, da „der Computer keine Seele hat und somit nicht den menschlichen Fehler haben kann, Personen nach ihrer Hautfarbe zu klassifizieren“ [3].

Der Techsektor und die Community der Informatiker:innen bauen ihre Weltsicht (einschließlich ihrer inhärenten Vorurteile) zwangsläufig und unbewusst in die Modelle ein, die sie konstruieren. Der Mangel an Vielfalt in diesem Sektor erregte bereits viel Aufsehen, zusammengefasst in dem Ausdruck: „Technologie ist niemals neutral“..

Anti-Rassismus heißt mit Tech-Mythen aufzuräumen

Es ist klar, dass der Algorithmus nicht auf unserer Seite steht. In den meisten Fällen werden diese Systeme ohne ausreichende Tests zur Einhaltung der Menschenrechte oder der Nichtdiskriminierung entwickelt und eingesetzt. Und wie bei jeder Diskriminierung gibt es reale Konsequenzen für Betroffene. Sie werden anders behandelt als jene, die als weiß, von europäischer ‚Herkunft‘, männlich, genderkonform und heterosexuell klassifiziert werden.

Es ist für die antirassistische Gemeinschaft unerlässlich, mit dem Mythos der „neutralen Technologie“ aufzuräumen. Wir müssen mehr darüber erfahren, wo und von wem solche Technologien eingesetzt werden, wie sie sich auf unsere Gemeinschaften auswirken und wie wir diese Probleme am besten bekämpfen.

Erstens ist es von entscheidender Bedeutung, dass die antirassistische Gemeinschaft – insbesondere People of Colour, Frauen und queere Menschen – Themen der digitalen Sicherheit und der Privatsphäre in ihre Strategien mit einbezieht.

Wir müssen aber auch unsere Strategien zur Bekämpfung von Rassismus neu bewerten. Obwohl wir noch immer an unserem Umgang mit rassistischer Polizeigewalt und racial profiling arbeiten, müssen wir uns nun einer weiteren Herausforderung stellen. Wenn die Strafverfolgungsbehörden zu neuen Technologien greifen, um ihre Praxis zu unterstützen, sehen wir uns einem weiteren Risiko ausgesetzt. Wir müssen nicht nur unsere physische Sicherheit in unseren Beziehungen zu den Behörden berücksichtigen, sondern auch über die Sicherheit unserer Daten informiert sein.

Der nächste Schritt ist, zu anderen politischen Bewegungen und Gruppen Kontakt aufzunehmen. Wir müssen Brücken zu denen bauen, die für den Schutz unserer persönlichen Daten und unserer Privatsphäre kämpfen. Wir müssen auch das Wissen und die Instrumente von Anwält:innen nutzen, die Strategien zur Bekämpfung von Big-Tech und staatlicher Überwachung entwickeln, und wir müssen sicherstellen, dass Diskriminierung weiterhin auf der politischen Agenda steht.

Wer sind die Entscheidungsträger:innen und was wollen wir von ihnen?

Es ist ebenso wichtig zu erkennen, dass wir heute in einer Welt leben, in der insbesondere im Hinblick auf den digitalen Raum nicht nur die traditionellen „Entscheidungsträger:innen“ – gewählte Politiker:innen, Bürokrat:innen und Gerichte – wichtig sind. Führungskräfte von Technologieunternehmen sowie Informatiker:innen, die Modelle für die Zuweisung von Ressourcen und die Bereitstellung von Dienstleistungen erstellen, spielen eine vergleichbare Rolle.

Die Homogenität und mangelnde Vielfalt im Technologiesektor hat einen fundamentalen Einfluss darauf, wie Technologien in allen Bereichen unseres Lebens angewandt werden. In ihrem Artikel „All the Digital Humanists are White, All the Nerds are Men, but some of us are Brave“ skizziert Moya Z. Bailey, was notwendig ist, um die strukturelle Ungleichheit im Tech-Sektor aufzubrechen. Sie kritisiert die Idee eines Modells der Diversität, das nur darauf basiert, mehr Frauen oder People of Colour in den Sektor zu bringen. Denn „die strukturellen Parameter, die entstehen, wenn eine homogene Gruppe lange im Zentrum steht“, ließen sich nicht durch den Anschein von Vielfalt lösen. Stattdessen seien auch im Bereich der Technik strukturelle Ansätze notwendig, die versuchen, Ungleichheiten und Privilegien bei der Klassifizierung abzubauen.

Wir brauchen auch eine informierte und demokratische Debatte darüber, wie Technologien in unsere Rechte eingreifen. In diesem Gespräch müssen die Prinzipien der Gleichheit und der Antidiskriminierung im Mittelpunkt stehen. Die Reaktionen auf Diskriminierung im Tech-Sektor haben sich überwiegend auf Reformen bezogen: Fairness und Ethik, Ausbildung und Vielfalt. Was diesen Ansätzen fehlt, ist ein Verständnis für strukturelle Unterdrückung, für Menschenrechte, und auch für die Frage, welche Elemente sich nicht reformieren lassen.

Auf der diesjährigen Konferenz über Fairness, Rechenschaftspflicht und Transparenz, die sich hauptsächlich an ein Informatik-Publikum richtete, sagte Nani Jansen Reventlow, Direktorin des Digital Freedom Fund:

„Wenn wir mögliche juristische Prozessziele für die algorithmische Entscheidungsfindung betrachten, können wir zwischen zwei zentralen Kategorien unterscheiden: Regulierung (oder: wie machen wir den Einsatz algorithmischer Entscheidungsfindung fair, rechenschaftspflichtig und transparent) und das Ziehen von „roten Linien“ (oder: sollten wir KI überhaupt einsetzen).

Wir müssen das Gespräch über rote Linien führen: Welche technologischen Entwicklungen können und wollen wir nicht akzeptieren? Ich denke, dass Diskriminierung eine dieser roten Linien sein sollte. Die Systeme, die eingesetzt werden, um unser Leben zu verbessern, sollten daran gemessen werden, ob sie das auch schaffen – und zwar unabhängig davon, wie viel Geld wir haben, ob wir Geschlechternormen einhalten, woher wir kommen oder welche Hautfarbe wir haben.

Dieser Artikel ist zuerst erschienen auf dem Blog des Europäischen Netzwerks gegen Rassismus (European Network Against Racism). Sarah Chander ist dort Senior Advocacy Officer. Aus dem Englischen von Dominic Lammar.

Anmerkungen
* Wir haben uns dazu entschieden, den Begriff ‚race‘ im Original zu verwenden, da mögliche deutsche Übersetzungen (beispielsweise Hautfarbe oder Rasse) anders konnotiert sind. Race ist hier als soziale Kategorie zu verstehen, die soziale Effekte eines rassistischen Systems menschlicher Klassifikation benennt.

Literatur
[1] Noble, S.U. (2018). Algorithms of oppression: how search engines reinforce racism. NYU Press.
[2] Bigo, D. (2007). ’Detention of Foreigners, States of Exception, and the Social Practices of the Banopticon, in P.K. Rajuram and C. Grundy-Warr (eds.), Borderscapes: Hidden Geographies and Politics at Territory’s Edge, Minneapolis: University of Minnesota Press, pp. 3-33.
[3] Benjamin, R. (2019). Race After Technology: Abolitionist tools for the New Jim Code. Polity.