Diskriminierende Gesichtserkennung: Ich sehe was, was du nicht bist

In vielen Bereichen unseres Alltags werden wir auf Basis unserer Datenspuren bewertet. Algorithmen berechnen Ergebnisse, von denen wir gar nicht wissen, wie diese überhaupt zustande kommen, oder wo sie letztendlich überall verwendet werden. Scoring, Micro-targeting und Gesichtserkennung – überall fällen undurchsichtige Systeme Urteile über uns. Das muss man sich nicht gefallen lassen, sagen Frederike Kaltheuner und Nele Obermüller. In ihrem neuen Buch „Daten Gerechtigkeit“ klären sie darüber auf, wie man sich zur Wehr setzen kann. Hier gibt es einen Auszug aus dem Buch zu lesen. Veröffentlichung mit freundlicher Genehmigung der Autorinnen und des Verlages.

Daten können niemals ‚roh‘ und Datenanalysesysteme nicht ‚objektiv‘ sein. Es sind schlussendlich immer Menschen, die Systeme wie Risiko-Scores für ganz bestimmte Zwecke entwickeln, steuern und nutzen. Diese Instrumente können einprogrammierte Vorurteile enthalten, die manchmal schwer festzustellen sind, weil die Systeme geheim, durch Urheber- und Eigentumsrechte geschützt oder durch die ihnen inhärente Opazität verschleiert sind. Aber manchmal, wenn eine bestimmte Technologie seziert wird, kommen die in ihr enthaltenen Verzerrungen zum Vorschein. Genau das ist im Falle der Gesichtserkennung passiert.

Im Jahr 2015 twitterte Jacky Alciné, dass Googles neue Foto-App Bilder vom ihm und seiner ebenfalls dunkelhäutigen Freundin automatisch mit »Gorillas« betitelt hatte. Es folgte ein öffentlicher Aufschrei, Google erklärte sich umgehend erschüttert und ließ verlauten, dass sie den Vorfall aufrichtig bedauerten.

Google Fotos ist aber nicht das einzige Gesichtserkennungssystem, das weiße Gesichter besser erkennt als alle anderen. Joy Buolamwini vom MIT Media Lab zum Beispiel testete die Gesichtserkennungssoftware von Microsoft, IBM und dem chinesischen Unternehmen Face++ und stellte fest, dass alle Systeme besonders gut darin waren, das Geschlecht hellhäutiger Männer zu erkennen (fasst man die drei Systeme zusammen, lag die durchschnittliche Fehlerquote bei 0,3 Prozent). Dunkelhäutige Männer haben die drei Systeme jedoch in 6 Prozent der Fälle falsch klassifiziert, Frauen mit dunklerer Hautfarbe sogar in 30,3 Prozent aller Fälle (PDF).

Mangel an Vielfalt des Bildmaterials

Menschen sind unglaublich gut darin, Gesichter zu erkennen; so gut sogar, dass wir sie überall entdecken: in Alltagsgegenständen, in Wolken oder den Konturen einer Brotscheibe. Ein Computer muss aufwendig lernen, Gesichter zu erkennen – ein Prozess, der extrem kompliziert ist, der aber in den letzten zwanzig Jahren aufgrund der Fortschritte im maschinellen Lernen erhebliche Fortschritte gemacht hat. Bei der Gesichtserkennung erkennen Systeme zunächst, was ein Gesicht ist, und rechnen dann jedes erfasste Gesicht in ein sogenanntes biometrisches Datum um. Das heißt, sie vermessen Gesichtsmerkmale und verwandeln diese in ein digitales Muster.

Es gibt unterschiedliche Verfahren, aber Hauptgrund für die immensen Fortschritte der Technologie in den letzten Jahren, sind Computerprogramme, die maschinell lernen. Anhand von Zigtausenden von Bildern verschiedener Menschen bringen sie sich selbst bei, bestimmte wiederkehrende Muster in Gesichtern zu erkennen. Einer der Gründe dafür, warum Gesichtserkennungssoftware oft weiße Gesichter besser erkennt als dunkelhäutige, ist der Mangel an Vielfalt des Bildmaterials, das für das Training der Systeme verwendet wird.

Jacky Alciné ist selbst Softwareentwickler. Als er sich und seine Freundin in einem automatisch erstellten Fotoalbum mit dem Titel »Gorillas« fand, twitterte er: »Ich weiß, WIE das passiert ist; das Problem liegt aber auch beim WARUM.« Die Beseitigung des Problems ist äußerst komplex, wie Meredith Whittaker, Co-Direktorin des Instituts AI Now, betonte: »Es gibt einfach noch keine fertige Gebrauchsanleitung, die beschreibt, wie solche Probleme wirklich gelöst werden können.« IBM, Microsoft und andere Unternehmen haben mittlerweile angefangen, sich aktiv darum zu bemühen, gelernte Verzerrungen und Vorurteile in der Gesichtserkennung zu beheben. Auch Google Fotos versucht, die Situation zu korrigieren. Wie Wired berichtete, umging das Unternehmen aber selbst zwei Jahre nach Alcinés Entdeckung das Problem dadurch, dass man einfach den Suchbegriff »Gorilla« aus der Foto-App entfernte.

Mangel an menschlicher Vielfalt

Allein die Tatsachen, dass es Jahre dauerte, um solch gravierenden Probleme aufzuspüren, und dass die Person, die dies tat, nicht einmal ein Google-Mitarbeiter war, deuten darauf hin, dass es an weit mehr fehlt als repräsentativer Bilderdatenbanken, anhand derer maschinelle Gesichtserkennung trainiert wird. Den technischen Abteilungen westlicher Digitalkonzerne wie auch in der Informatik selbst mangelt es an menschlicher Vielfalt. Auch das hat Geschichte. Die rassistische Verzerrung in der Gesichtserkennung findet ein beunruhigendes Echo in der Farbfotografie, die ursprünglich für hellere Hauttöne optimiert wurde, wodurch Menschen mit dunklerer Hautfarbe weniger sichtbar erscheinen.

Die maschinelle Gesichtserkennung funktioniert derzeit am besten, wenn es um das Erkennen weißer Männer geht. In der Praxis bedeutet dies, dass jeder, der nicht weiß und männlich ist, viel eher verwechselt wird oder gänzlich unerkannt bleibt. In sensiblen Kontexten wie der Strafverfolgung kann dies Menschen in Verbrechen verwickeln, die sie nie begangen haben. Selbst in scheinbar alltäglichen Umgebungen – von internationalen Sportveranstaltungen bis zu Musikkonzerten – verschiebt ein automatisiertes Nichterkennen die Beweislast auf die Nichterkannten, da sie es nun sind, die sich ausweisen und rechtfertigen müssen. Sie müssen beweisen, dass sie wirklich diejenigen sind, die sie tatsächlich sind – und nicht jene, für die das System sie hält.

Kameras, die jeden erkennen und jederzeit im Blick haben, klingen wie eine Vorstellung aus der Welt von George Orwells Roman 1984, doch die datenbasierte Überwachung gemahnt nur an Orwell, wenn sie genau ist. Wenn sie versagt, gleicht sie viel eher Kafkas Der Prozess. Beide Dimensionen können erheblichen Schaden anrichten – umso mehr, wenn die Überwachung durch komplexe und oft unverantwortliche sozio-technische Systeme erfolgt.

Soziale Gerechtigkeit durch gerechtere Systeme?

Während es zwar durchaus wichtig ist, solche (oft unbeabsichtigt) einprogrammierten Vorurteile aufzudecken, würden selbst gerechtere Systeme nicht notwendigerweise zu mehr sozialer Gerechtigkeit führen. Schwarze Menschen in Amerika und andere marginalisierte Gruppen sind sich bewusst, dass sie von jeher ein Ziel von Überwachungssystemen und diskriminierenden Praktiken waren. In New York City verpflichteten etwa sogenannte Laternen-Gesetze im 18. Jahrhundert schwarze, indigene oder versklavte Menschen, Laternen bei sich zu tragen, wenn sie – unbegleitet von einer weißen Person – nach Sonnenuntergang durch die Stadt gingen. Wie bereits erwähnt, führte das FBI unter J. Edgar Hoover weitreichende Dossiers über soziale Bewegungen und politische Dissidenten – Afroamerikaner wurden jedoch beinahe pauschal verdächtigt und überwacht.

Vor diesem Hintergrund wirft Softwareentwickler Nabil Hassein die Frage auf, ob wir die Gesichtserkennung überhaupt von ihren gelernten Vorurteilen bereinigen sollten, wenn solch eine Verbesserung nur dazu führt, dass schwarze Menschen von Institutionen wie der Polizei und den Geheimdiensten besser erkannt werden. In seinem Essay »Against Black Inclusion in Facial Recognition«, der auf dem Blog Decolonized Tech veröffentlicht wurde, schreibt Hassein: »Ich sehe keinen Grund, die Entwicklung oder den Einsatz von Technologien zu unterstützen, die es dem Staat leichter macht, Mitglieder meiner Community zu kategorisieren und zu überwachen.« Der springende Punkt ist, dass die (Un-) Genauigkeit und die systematischen Verzerrungen von Technologien wie der Gesichtserkennung nur eine Art und Weise sind, wie marginalisierte Gemeinschaften neue, automatisierte Diskriminierung erfahren. Die Zwecke, für die die Gesichtserkennung entwickelt und die Art und Weise, wie sie zumeist eingesetzt wird, sind eng mit systemischen Ungerechtigkeiten und ihren Institutionalisierungen verknüpft.

Ab 2018 müssen Reisende, die von Dubai aus mit Emirates fliegen, nicht länger an Passkontrollen oder E-Gates Schlange stehen. Sie können einfach und bequem durch einen Tunnel gehen, der hochauflösende Bilder eines Aquariums zeigt und mit 80 Kameras, die sowohl das Gesicht als auch die Iris scannen, ausgestattet ist. Das Aquarium-Design ermuntert die Reisenden dazu, sich umzuschauen, damit die Technologie ihr Gesicht noch präziser erfassen kann. Gelangt man an das andere Ende des Tunnels, heißt einen, für den Fall, dass man passieren darf, eine freundliche, grün leuchtende Nachricht willkommen. Wenn das System eine Person nicht erkennt oder als verdächtig markiert, erhält man eine rote Botschaft. Das Beispiel zeigt, dass das Versprechen der Gesichtserkennung ein ungleiches ist. Für weiße, privilegierte und wohlhabende Menschen beschert die Gesichtserkennung ein reibungsloses Flughafenerlebnis und die Bequemlichkeit, mit dem eigenen Gesicht zu bezahlen. Für alle, die sowieso schon marginalisiert sind, könnte es genau das Gegenteil bedeuten: unsichtbare Ausgrenzung und automatisierte Diskriminierung.

Komfortable Behaglichkeit im Hintergrund

Im Wesentlichen handelt es sich bei der Gesichtserkennung um eine biometrische Identifikation aus der Ferne. Wenn einer Person deren Fingerabdrücke oder eine Blutprobe entnommen werden, stimmt sie normalerweise zu, ihre biometrischen Daten zu teilen; es sei denn, die Behörden haben Grund zu der Annahme, dass sie eine Straftat begangen hat. Die Gesichtserkennung hingegen scannt die Gesichter von Menschen häufig ohne deren Zustimmung oder Kenntnis. Ich lebe in London, wo CCTV-Kameras allgegenwärtig sind. Neben dem Büro von Privacy International in Clerkenwell stand im Sommer 2018 auf einem Baustellenschild angekündigt, dass die neue U-Bahn-Station Elizabeth über »kostenloses WLAN, eine Klimaanlage und CCTV« verfügt. Die britische Öffentlichkeit scheint die Idee der ständigen Beobachtung so sehr internalisiert zu haben, dass sie Überwachung ähnlich wahrnimmt wie die Temperaturregulierung: als komfortable Behaglichkeit im Hintergrund.

Wer in London Apple Pay auf dem iPhone X aktiviert, kann jetzt schon fast alles mit dem Gesicht bezahlen: U-Bahn-Fahrten, die Pizza-Lieferung nach Hause oder den Wochenendeinkauf im Supermarkt. Doch selbst an einem so stark überwachten Ort wie dem Vereinigten Königreich stößt die flächendeckende Gesichtserkennung auf immer größeren Widerstand. Die Menschenrechtsorganisation Liberty zum Beispiel klagt derzeit gegen die polizeiliche Nutzung von automatisierter Gesichtserkennung. In Amerika formulierten Mitarbeiter von Amazon und Microsoft im Sommer 2018 Protestbriefe, um den Verkauf von Gesichtserkennungssoftware an US-Behörden zu stoppen. In New York entwickelte der Künstler und Ingenieur Adam Harvey eine Make-up-Technik – bestehend aus kubistischen Formen, die sich über charakteristische Gesichtsmerkmale legen –, die verhindert, dass Gesichtserkennungsalgorithmen auf biometrische Profile zugreifen können.

Eine flächendeckende Einführung funktionstüchtiger, automatisierter Gesichtserkennung würde nichts Geringeres bedeuten als das Ende der Anonymität im öffentlichen Raum. Die damit verbundenen Gefahren liegen auf der Hand: Find Face, eine Anfang 2016 in Russland eingeführte Gesichtserkennungs-App, erlaubt es seinen Nutzern, Personen in einer Menschenmenge zu fotografieren und diese Bilder mit Profilbildern des beliebten russischen Sozialen Netzwerks VKontakte abzugleichen. Die App ist nach eigenen Angaben in der Lage, das Online-Profil von Personen mit einer Zuverlässigkeit von 70 Prozent zu identifizieren. Angeblich wurde das Produkt als ein »Werkzeug, um neue Freunde zu finden« konzipiert, es gab jedoch zahlreiche Fälle, in denen Find Face dazu verwendet wurde, Pornoschauspieler und Sexarbeiterinnen zu »outen« und deren Freunde oder Familien bloßzustellen und zu schikanieren. Auch hier zeigt sich das immer gleiche Schema: dasselbe Produkt, mit dem einige Freunde finden, bringt andere in ernsthafte Gefahr.

Gefährliche Pseudowissenschaft

In Tel Aviv behauptet unterdessen ein Start-up namens Faception, dass es den Charakter einer Person von ihrem Gesicht ablesen kann. Das Unternehmen hat nach eigenen Angaben ein Programm mit Bildern von Gesichtern aus einer Vielzahl von Quellen, einschließlich Fotos aus dem Internet, Video-Livestreams und Verbrecherfotos trainiert, um firmeneigene Klassifikatoren – darunter ein »hoher IQ«, »akademischer Forscher«, »Terrorist«, »Pädophiler«, »Wirtschaftskrimineller«, »Pokerspieler« und »Markenpromoter« – zu generieren. Dafür, dass sich auch nur eine einzige dieser Kategorien von Gesichtszügen ableiten ließe, gibt es natürlich keine Beweise. Deshalb wurde die Verkaufsmasche des Unternehmens wiederholt als gefährliche Pseudowissenschaft kritisiert.

Faception mag eine besonders dubiose Firma sein, aber es gibt eine gewisse Ähnlichkeit zwischen solch automatisierten Vorhersagen und der Idee, dass CCTV-Kameras mithilfe von Künstlicher Intelligenz ein bestimmtes Verhalten automatisch als »verdächtig«, »gefährlich«, oder »gewalttätig« einstufen. Beides geht von einem deterministischen Weltbild aus, und Firmen rund um den Globus arbeiten gegenwärtig daran, beides zu entwickeln.

Frederike Kaltheuner, Nele Obermüller (AutorInnen), aus dem Englischen von Felix Maschewski, Anna-Verena Nosthoff: Daten Gerechtigkeit, Nicolai Publishing & Intelligence GmbH, Berlin, 112 Seiten, ISBN: 978-3964760111, 20 Euro. Erscheinungstermin: 23. Oktober 2018. Auch als E-Book erhältlich.