Automatisierte Diskriminierung: Twitter prüft Rassismus in der Bildervorschau

Twitter hat angekündigt, sich mit rassistischen Verzerrungen in seinem Vorschau-Algorithmus zu beschäftigen, nachdem mehrere Nutzer:innen entdeckt hatten, dass das System die Gesichter von weißen Menschen bevorzugt und Schwarze Menschen ausblendet.

Einem Nutzer war zufällig aufgefallen, dass die Twitter-App auf Bildern mit einer weißen und einer Schwarzen Person nur die weiße Person in der Vorschau zeigt. Daraufhin haben weitere Nutzer:innen das Problem mit ihren Experimenten bestätigen können.

Im Kern geht es um eine Technologie zur automatisierten Vorschau von Bildern, dem so genannten Auto-Cropping, die Twitter bereits seit 2017 einsetzt. Postet jemand ein Foto, soll ein möglichst sinnvoller Ausschnitt für die Vorschau gewählt werden. In den Tests, die Nutzer:innen jetzt auf Twitter teilten, setzte die Vorschau fast ausschließlich weiße Menschen in den Fokus.

Keine Verzerrung im Testlauf

Twitter sagte, dass das Modell vor dem Einsatz getestet wurde und man dabei keine rassistischen oder sexistischen Diskriminierungseffekte festgestellt hat. Es sei aber klar, dass weitere Untersuchungen folgen müssten. Twitter kündigte an, die Ergebnisse der internen Untersuchungen zu teilen und den Code zu öffnen, damit unabhängige Forscher:innen die Effekte überprüfen können.

Ein solches Experiment eines externen Experten für maschinelles Lernen ist bereits in Gang. Twitters CTO Parag Agrawal teilte den Hinweis und schrieb, er freue sich über den „öffentlichen, offenen und rigorosen Test“.

Magische Pferde und schlechte Prognosen

Für das Auto-Cropping setzte Twitter zunächst auf Gesichtserkennung. Doch das führte zu Problemen bei Bildern von Tieren oder Gegenständen, die nicht richtig in den Fokus der Bildvorschauen gesetzt wurden, wie das Entwicklungsteam in einem Blogbeitrag beschreibt.

Deswegen ging Twitter dazu über, das System auf Regionen von besonderer Aufmerksamkeit zu optimieren: Wohin schaut das Auge auf einem Bild zuerst und am längsten? Die Daten werden mit Eyetrackern erhoben und mit ihrer Hilfe lassen sich Algorithmen trainieren, die dann eine Vorhersage dazu treffen, was Menschen in einem Bild womöglich gerne sehen wollen.

Entwickelt hat die Technologie nicht Twitter selbst, sondern das Londoner Machine-Learning-Startup Magic Pony. Twitter kaufte die Firma 2016, der ehemalige Gründer Zehan Wang arbeitet heute in der Forschungsabteilung von Twitter an Machine Learning.

Auch er schrieb am Wochenende: „Es gibt viele Fragen, und wir werden Zeit brauchen um sie anzuschauen. Weitere Details werden geteilt nachdem unsere internen Teams die Möglichkeit hatten sich das anzuschauen.“

Algorithmen verstärken Ungerechtigkeit

Die Diskussion um rassistische Verzerrungseffekte und Diskriminierung durch algorithmische Entscheidungen läuft bereits seit Jahren. Zuletzt kochte sie im Zuge der Proteste gegen rassistische Polizeigewalt in den USA besonders hoch.

Vergangenes Jahr gelangte eine Studie der US-Behörde National Institute of Standards and Technology (NIST) zum Ergebnis, dass Gesichtserkennungs-Algorithmen die Gesichter von Schwarzen oder asiatischen Menschen wesentlich unzuverlässiger erkennen als diejenigen von weißen Menschen. Forscher:innen und Menschenrechtsorganisationen kritisieren seit Jahren, dass diese Effekte die bereits existierende Diskriminierung von BIPoC noch verstärken. Mehrere große Anbieter von Gesichtserkennung wie IBM und Microsoft hatten deswegen unter dem öffentlichen Druck beschlossen, ihre Technologien vorerst nicht mehr an US-Polizeibehörden zu verkaufen.