Joy Buolamwini ist spätestens seit ihrem Ted-Talk eine Art Superstar des Kampfes gegen diskriminierende Algorithmen. Buolamwini ist nicht nur Aktivistin, sondern vor allem Wissenschaftlerin am renommierten MIT in Boston. Dort erforscht sie, wie die Gesichtserkennungssoftware von Microsoft, IBM und anderen Herstellern daran scheitern, die Gesichter von Frauen und Menschen mit dunkler Haut zu erkennen und zu klassifizieren.
Im vergangenen Jahr hat Buolamwini in einem Forschungsprojekt eindrucksvoll gezeigt, dass die Produkte von Microsoft, IBM und dem chinesischen Unternehmen Face++ wesentlich schlechter darin sind, das Geschlecht einer Person zu bestimmen, wenn es sich um Frauen handelt, vor allem Frauen mit dunkler Haut. Jetzt hat sie zusammen mit der Co-Autorin Deborah Raji ein Paper nachgelegt, das sich mit den Auswirkungen ihrer Kritik beschäftigt, also der Frage: Was hat es eigentlich gebracht?
Es ist die Synthese von Aktivismus und Forschung, die zu Buolamwinis Markenzeichen geworden ist. Denn Buolamwini forscht nicht als Selbstzweck. Sie interessiert sich für den „real world impact“ ihrer Qualitätskontrolle, wie sie im Paper schreibt. Und nicht zuletzt geht es auch um die Abwägung des Risikos: Wer zur Fehlerquote von Algorithmen forscht, verletzt damit oft die Nutzungsbedingungen der Hersteller und riskiert Klagen und Strafen.
Gegen den Error Gap: IBM & Co schneiden besser ab
Die Ergebnisse machen Hoffnung. Keiner hat Buolamwini verklagt. Im Gegenteil. Wie sie schreibt, haben alle drei untersuchten Hersteller auf die unabhängige Kritik positiv reagiert. Binnen weniger Monate haben sie ihre Systeme überarbeitet und die Fehlerquote bei der Klassifikation von Frauen und vor allem Frauen mit dunkler Haut – Buolamwinis Härte-Test – wesentlich reduziert. Als Maßstab verwendet Buolamwini den sogenannten „Error gap“, also den Abstand zwischen der Gruppe, für die die besten Vorhersagen erzielt wurden (in der Regel weiße Männer) und der Gruppe, bei der die Systeme am übelsten abschnitten (Frauen mit dunkler Haut). Dieser Abstand sank bei IBM von rund 35 auf 16 Prozent, im Fall von Microsoft von etwa 20 auf beachtliche 1,5 Prozent und bei Face++ von rund 33 auf 3 Prozent.
Zum Vergleich hat Buolamwini zwei weitere Firmen hinzugezogen, die sie in ihrer ursprünglichen Qualitätskontrolle nicht untersucht hat: Amazon, das mit Rekognition ein eigenes Produkt zur Gesichtserkennung anbietet und in den USA an Polizeien verkauft, sowie das junge US-Start-up Kairos. Beide schneiden bei Buolamwinis Test wesentlich schlechter ab als die von ihr zuvor kritisierten Hersteller, mit Fehlerquoten von mehr als 20 Prozent in der Zuordnung von Frauen mit dunkler Haut. Besonders im Fall von Amazon ist das besorgniserregend, denn die Firma weigert sich trotz der Kritik eigener Mitarbeiter*innen, den Verkauf an Polizeibehörden einzustellen oder auch nur offenzulegen, welche Behörden das Produkt verwenden.
Vorschlag: Koordinierte Offenlegung von Diskriminierung
Noch interessanter als diese Ergebnisse ist womöglich Buolamwinis Vorgehen und die Überlegungen, die sie dazu anstellt. Sie vergleicht die Kritik an diskriminierenden Algorithmen mit den Prozessen in der IT-Sicherheit. Dort gibt es klar definierte Standards dafür, wie Sicherheitslücken und Schwachstellen aufgedeckt und kommuniziert werden: Erst die Firma benachrichtigen, mit einer Frist, um Lücken zu schließen, dann die Öffentlichkeit. Analog, plädiert Buolamwini, müsse es auch in Hinblick auf Diskriminierung ein Verfahren geben, Firmen koordiniert auf solche Fehler hinzuweisen – denn auch dies sei ein Bedrohung, in diesem Fall für die Würde der Nutzer*innen und ihre faire Behandlung. Sie schlägt eine „Koordinierte Offenlegung von Verzerrung“ für Algorithmen vor, die sie in ihrer Untersuchung gleich selbst anwendet. Bevor sie ihre Erkenntnisse Anfang 2018 in einem Beitrag in der New York Times öffentlich machte, schickte sie diese an die jeweiligen Firmen und gab ihnen die Möglichkeit zu reagieren.
Schiefe Wahrnehmung und automatisierte Unsichtbarkeit
Algorithmen zur Gesichtserkennung werden mit Hilfe von Datenbanken trainiert, in denen Tausende von Gesichtern gesammelt werden. Anhand dieser Daten „lernen“ die Algorithmen, was ein Gesicht ist und welche wiederkehrenden Merkmale es ausmachen. Weil diese Datenbanken allerdings die Vielfalt der Menschen dieser Erde nicht widerspiegeln, erkennt die Software weiße Gesichter oft besser als dunkelhäutige und Männer besser als Frauen.
Welche Konsequenzen diese schiefe Wahrnehmung haben kann, stellen die Firmen meist erst fest, wenn sie die Erkenntnisse quasi frei Haus von jenen geliefert bekommen, die darunter leiden. So entdeckte der Softwareentwickler Jacky Alciné im Jahr 2015 in seiner Foto-Sammlung ein Album mit dem Titel „Gorillas“, das Googles Gesichtserkennungs-Algorithmus automatisch für ihn erstellt hatte. Darin ein Foto von ihm und einer ebenfalls schwarzen Freundin. Zwei Jahre später hatte Google es immer noch nicht geschafft, das Problem zu beheben und behalf sich stattdessen damit, Primaten aus dem Lexikon der Suchbegriffe zu tilgen: eine Verlegenheitslösung.
Das ist nur ein Beispiel dafür, wie Menschen im Alltag von schlecht funktionierenden Systemen diskriminiert werden. Denn algorithmische Gesichtserkennung wird inzwischen nicht nur von Google und Apple benutzt, um Fotos zu sortieren. Auch die Polizei setzt sie bei der Strafverfolgung ein, auf einigen Flughäfen beschleunigt sie die Passkontrolle. „In der Praxis bedeutet dies, dass jeder, der nicht weiß und männlich ist, viel eher verwechselt wird oder gänzlich unerkannt bleibt“, schreibt Frederike Kaltheuner, Autorin des Buches „Datengerechtigkeit“. „In sensiblen Kontexten wie der Strafverfolgung kann dies Menschen in Verbrechen verwickeln, die sie nie begangen haben. Selbst in scheinbar alltäglichen Umgebungen – von internationalen Sportveranstaltungen bis zu Musikkonzerten – verschiebt ein automatisiertes Nichterkennen die Beweislast auf die Nichterkannten, da sie es nun sind, die sich ausweisen und rechtfertigen müssen. Sie müssen beweisen, dass sie wirklich diejenigen sind, die sie tatsächlich sind – und nicht jene, für die das System sie hält.“
Eine zentrale Frage, die sich aus diesen Erfahrungen ergibt, erwähnt auch Buolamwini am Rande: Produkte müssen allen möglichen Qualitätsmaßstäben genügen. Warum ist es gesetzlich überhaupt möglich, solche Software auf die Öffentlichkeit loszulassen, bevor sie für verschiedene demografische Gruppen getestet wurde? Die Europäische Union ist gerade dabei, solche Regeln zu erarbeiten. Vor dem Hintergrund sollten Firmen wohl dankbar dafür sein, dass Forscherinnen wie Buolamwini die Qualitätskontrollen durchführen, die sie wohl vergessen hatten.
„Vor dem Hintergrund sollten Firmen wohl dankbar dafür sein, dass Forscherinnen wie Buolamwini die Qualitätskontrollen durchführen, die sie wohl vergessen hatten.“ ?
Ich hätte hier mehr Kritik erwartet. Das Problem ist doch nicht der „Error Gap“ sondern das überhaupt Gesichtserkennung massiv zur Kontrolle und Strafverfolgung eingesetzt wird. Schlecht funktionierende Überwachungssysteme zu verbessern verschlimmert die Lage doch eigentlich für uns alle.
Die Möglichkeiten zur Überwachung, die sich aus Kameras im öffentlichen Raum/im privaten Raum plus automatisierter Gesichtserkennung ergeben, sind eine der größten Drohszenarien für Grundrechte, das sehen wir ebenso. Wenn diese Technologie aber schon mal eingesetzt wird, wie es derzeit der Fall ist – denn es ist ja (noch) nicht untersagt, sie zu verkaufen – , dann sollte sie zumindest so gut funktionieren, dass sie bestehende Ungleichheit nicht verschlimmert. Insofern ist der error gap sehr wohl ein Teil des Problems.
Zitat: „Vor dem Hintergrund sollten Firmen wohl dankbar dafür sein, dass Forscherinnen wie Buolamwini die Qualitätskontrollen durchführen, die sie wohl vergessen hatten.“
Das ist wohl wahr, ist aber aufgrund des Dual-Use-Charakters von Überwachungs-Software eben auch zweischneidig.
Ich finde man könnte auch darüber Diskutieren, ob „Academia“ Qualitätsmanagement für jene überhaupt betreiben soll, die finanziellen Nutzen aus der dunklen Seite der Überwachung ziehen. Gesichtserkennung ist ein Instrument der Herrschenden, das totalitär gegen Menschen wirkt.
Das Problem sehe ich auch. Allerdings hat das MIT in diesem Fall ja nicht die Algorithmen für IBM und Microsoft überarbeitet. Es hat die Systeme gestestet und die Unternehmen auf Mängel ihrer Systeme hingewiesen, diese haben daraufhin selbst die Mängel behoben. Das finde ich durchaus vergleichbar mit dem Vorgehen von Security-Forscher*innen, die Microsoft und Co. auf Sicherheitslücken hinweisen – und damit eine Bedrohung ausräumen, der viele Menschen gefährtet.
Für wen das ein Nachteil ist, hängt aber immer von der Situation ab. Wenn ich in der Datei „Gewalttäter Sport“ erfasst bin und trotzdem ins Stadion komme, weil mich das System nicht erkennt, ist das ein Vorteil für mich.
Es gibt solche Beispiele, in denen ein Nichterkennen ermöglicht, durch die Maschen von Überwachung zu schlüpfen. In der Regel werden die Nichterkannten aber dazu gezwungen, sich auszuweisen – und stehen damit wieder im Fokus.
Wenn man gegen „diskriminierende Gesichtserkennung“ ist, wäre es nicht besser, wenn man sich als Aktivist generell gegen den Einsatz von Gesichtserkennung einsetzt, anstatt das Problembewusstsein auf die Optimierung der Gesichtserkennung zu lenken?
Ja genau. Wir sollten Gesichtserkennungstechnologie ächten, anstatt sie zu verbessern.
Siehe oben. Die kurze Anwort: Ja, wir müssen darüber diskutieren, in welchen Zusammenhängen Gesichtserkennung eingesetzt werden darf und sollte. Die längere: Derzeit wird Gesichtserkennung schon in vielen Zusammenhängen eingesetzt, da es kaum Regulierung dazu gibt: etwa in der Bilderkennung von Google und Apple, im Fall von Amazon Rekognition auch in der Polizeiarbeit. Daher finde ich den Ansatz von Buolamwini, auf die Fehler und Lücken des Systeme hinzuweisen und wie sich diese auch benachteiligte Menschengruppen auswirken, durchaus berechtigt und aus aktivistischer Sicht sinnvoll.
Wie alle Vor-Ergängenden sagen: Diskriminierung ist ein Problem, aber gut funktionierende Gesichtserkennung ist auch ein Problem. Schade, dass Letzteres hier komplett unerwähnt bleibt. Übrig bleibt tatsächlich: Gesichtserkennung muss alle besser erkennen. Das sieht netzpolitik.org sicher nicht so. Dann solltet ihr das auch schreiben.