Twitter hat angekündigt, sich mit rassistischen Verzerrungen in seinem Vorschau-Algorithmus zu beschäftigen, nachdem mehrere Nutzer:innen entdeckt hatten, dass das System die Gesichter von weißen Menschen bevorzugt und Schwarze Menschen ausblendet.
Einem Nutzer war zufällig aufgefallen, dass die Twitter-App auf Bildern mit einer weißen und einer Schwarzen Person nur die weiße Person in der Vorschau zeigt. Daraufhin haben weitere Nutzer:innen das Problem mit ihren Experimenten bestätigen können.
Im Kern geht es um eine Technologie zur automatisierten Vorschau von Bildern, dem so genannten Auto-Cropping, die Twitter bereits seit 2017 einsetzt. Postet jemand ein Foto, soll ein möglichst sinnvoller Ausschnitt für die Vorschau gewählt werden. In den Tests, die Nutzer:innen jetzt auf Twitter teilten, setzte die Vorschau fast ausschließlich weiße Menschen in den Fokus.
Keine Verzerrung im Testlauf
Twitter sagte, dass das Modell vor dem Einsatz getestet wurde und man dabei keine rassistischen oder sexistischen Diskriminierungseffekte festgestellt hat. Es sei aber klar, dass weitere Untersuchungen folgen müssten. Twitter kündigte an, die Ergebnisse der internen Untersuchungen zu teilen und den Code zu öffnen, damit unabhängige Forscher:innen die Effekte überprüfen können.
Ein solches Experiment eines externen Experten für maschinelles Lernen ist bereits in Gang. Twitters CTO Parag Agrawal teilte den Hinweis und schrieb, er freue sich über den „öffentlichen, offenen und rigorosen Test“.
Magische Pferde und schlechte Prognosen
Für das Auto-Cropping setzte Twitter zunächst auf Gesichtserkennung. Doch das führte zu Problemen bei Bildern von Tieren oder Gegenständen, die nicht richtig in den Fokus der Bildvorschauen gesetzt wurden, wie das Entwicklungsteam in einem Blogbeitrag beschreibt.
Deswegen ging Twitter dazu über, das System auf Regionen von besonderer Aufmerksamkeit zu optimieren: Wohin schaut das Auge auf einem Bild zuerst und am längsten? Die Daten werden mit Eyetrackern erhoben und mit ihrer Hilfe lassen sich Algorithmen trainieren, die dann eine Vorhersage dazu treffen, was Menschen in einem Bild womöglich gerne sehen wollen.
Entwickelt hat die Technologie nicht Twitter selbst, sondern das Londoner Machine-Learning-Startup Magic Pony. Twitter kaufte die Firma 2016, der ehemalige Gründer Zehan Wang arbeitet heute in der Forschungsabteilung von Twitter an Machine Learning.
Auch er schrieb am Wochenende: „Es gibt viele Fragen, und wir werden Zeit brauchen um sie anzuschauen. Weitere Details werden geteilt nachdem unsere internen Teams die Möglichkeit hatten sich das anzuschauen.“
Algorithmen verstärken Ungerechtigkeit
Die Diskussion um rassistische Verzerrungseffekte und Diskriminierung durch algorithmische Entscheidungen läuft bereits seit Jahren. Zuletzt kochte sie im Zuge der Proteste gegen rassistische Polizeigewalt in den USA besonders hoch.
Vergangenes Jahr gelangte eine Studie der US-Behörde National Institute of Standards and Technology (NIST) zum Ergebnis, dass Gesichtserkennungs-Algorithmen die Gesichter von Schwarzen oder asiatischen Menschen wesentlich unzuverlässiger erkennen als diejenigen von weißen Menschen. Forscher:innen und Menschenrechtsorganisationen kritisieren seit Jahren, dass diese Effekte die bereits existierende Diskriminierung von BIPoC noch verstärken. Mehrere große Anbieter von Gesichtserkennung wie IBM und Microsoft hatten deswegen unter dem öffentlichen Druck beschlossen, ihre Technologien vorerst nicht mehr an US-Polizeibehörden zu verkaufen.
As I take it, Vinay Prabhu’s Sep 19/20 test run with a 92 image subset
https://anonym.to/?https://twitter.com/vinayprabhu/status/1307497736191635458
of the Cartesian product of two mono-ethical normalized sets of male faces yielded a 52/40 (.565/.435) outcome in favor of the dark-skinned males, thus a result .065 off expectancy value (albeit still within 1σ), but off to the subset of the dark-skinned males‘ images.
Given Twitter’s alg has been trained by tracking eye movement and eye focus latency of human viewers, this however does not rule out an effective bias to the disadvantage of people with dark skin, but instead gives rise to the notion of a severe conceptual problem:
The test images Vinay used all have with plain white background, significantly more brightly-lit than on usual portrait-like takes.
It does not come as a surprise a human eye’s focus would quickly shift away from that overly brightly-lit background and focus on where about the mean of the integrated brightness of its viewport is. And stay about there.
And the faster the bigger the gradient or step – that would explain the off-mean result Vinay got.
Pres. Obama’s official portrait now is skillfully illuminated, and the background is light gray, not plain white. Thus, the brightness mean could be found somewhere around Pres. Obama’s right ear {around (x, y) = (1 – .62 = .38, .5)}.
And indeed this is where I find my eyes‘ focus drift when I look at it for a while.
Thus, if latency and time-evolution of human eye’s focus are taken into account for AI training, one would allow drifting away from dark-skinned faces and towards light-skinned faces seep into the alg’s weight matrix.
Hard to believe for me, this possible show-stopper effect was not – at least – on the whiteboard during the alg’s functional gross design or brainstorming sessions.
For the time being, for me that is another reason to stay away from Twitter. The other is its bewildering (to say the least) policy with respect to TOR.
1) AI ist schwer, und funktioniert meistens noch nicht einmal innerhalb des Trainingssets.
2) Einfach aufhören Twitter zu benutzen und die Welt wird besser.