Früher war die Sache einfach: Da gab es Versicherungen oder Chefs oder Banken, die gegen Frauen, Schwarze Menschen oder Schwule diskriminierten, weil diese eben Frauen, Schwarz oder schwul waren. Gegen solche offensichtliche Diskriminierung gibt es heute Gesetze – in Deutschland wie in den USA. Ein Verdienst der Civil-Rights- und Frauenbewegungen, die dafür hart gekämpft haben.
Aber was ist mit all den unabsichtlichen Fällen von Diskriminierung, die auftreten können, wenn Maschinen Entscheidungen über Menschen treffen? Wenn etwa der Algorithmus einer Versicherung beim Durchkämmen von Tausenden Datenpunkten als Muster entdeckt, dass Antragsteller in einer bestimmten Facebook-Gruppe wahrscheinlicher Krebs bekommen werden? Oder ein Bewerbungssystem Frauen systematisch aussortiert, weil diese in der Vergangenheit schon schlechte Chancen im Unternehmen hatten? „Proxy Discrimination“ nennt sich dieses Problem: Stellvertretend für eine unbekannte Variable – Geschlecht, Religion oder genetische Veranlagung – sucht sich das System einen anderen Indikator, um Wahrscheinlichkeiten zu berechnen – einen Proxy eben. Die Menschen, die diese Systeme einsetzten, bemerken das oft nicht mal.
Daniel Schwarcz unterrichtet Jura an der University of Minneapolis und beschäftigt sich mit diesen Fragen. Er glaubt: Unsere jetzigen Gesetze gegen Diskriminierung reichen für eine Gegenwart der Algorithmen und Big Data nicht mehr aus. Sie wurden für eine Vergangenheit gemacht, in der es diese Probleme nicht gab. Aber wie müsste ein zeitgemäßes Update für Antidiskriminierung aussehen? Darüber reden wir mit Daniel Schwarcz – per Fernschalte nach Minneapolis.
NPP 178: Wenn Algorithmen unabsichtlich diskriminieren
NPP ist der Podcast von netzpolitik.org. Hier ist der Link zum Download von NPP 178 als mp3-Datei. Ihr könnt den Podcast auch als OGG-Datei herunterladen oder bei Spotify abonnieren. Wie immer freuen wir uns über Kommentare, Wünsche und Verbesserungsvorschläge. Und wir freuen uns über Bewertungen auf den üblichen Podcast-Portalen, denn mit vielen guten Bewertungen steigt die Sichtbarkeit.
Shownotes:
- Anya Prince, Daniel Schwarcz: Proxy Discrimination in the Age of Artificial Intelligence and Big Data (Das Paper als PDF)
- Amazon scraps secret AI recruiting tool that showed bias against women (Reuters)
- Amazon’s sexist hiring algorithm could still be better than a human (Phys.org)
- Das Allgemeine Gleichbehandlungsgesetz (AGG) in Deutschland, das die „Benachteiligungen aus Gründen der Rasse (sic!) oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität“ verhindern soll.
- Senators are asking whether artificial intelligence could violate US civil rights laws (Quartz)
- Human Rights in the Age of Artificial Intelligence (PDF von Acces Now)
- Rede des Ex-Justizministers Heiko Maas vom 3. Juli 2017, in der er ein „digitales Antidiskriminierungsgesetz“ vorschlägt
- Redlining was banned 50 years ago. It’s still hurting minorities today. (Washington Post)
- Kritische Reaktionen von Forscher:innen und Aktivisten auf diesem Vorschlag (Zeit Online)
Ist es nicht so, dass die Algorithmen nichts darüber wissen, dass die Bewerber Schwul, schwarz oder weiblich sind aber ebendiese Kandidaten aufgrund anderer Variablen, die auf alle Bewerber angewendet werden, ausscheiden müssen?
Wie kann man hierbei von Diskriminierung sprechen? Es wird ja offensichtlich nicht daran gelegen haben dass die Bewerber eine der genannten Qualitäten besitzen.
Es stimmt, dass die Systeme auf Basis von Eigenschaften aussortieren, die auf alle Bewerber:innen gleich angewandt werden. Dabei kann es aber dennoch zu unabsichtlicher Diskriminierung kommen. Um das zu versetehe, hier ein Beispiel der Soziologin Zeynep Tufekci: Ein System hat in den Daten als Muster erkannt, dass die Entfernung von Wohnadresse zu Arbeitsplatz eine Auswirkung auf die Wahrscheinlichkeit hat, mit der eine Mitarbeiterin/Mitarbeiter wieder kündigen wird. Um dem Unternehmen Kosten zu ersparen, wurden Bewerber:innen mit einem weiteren Weg aussortiert. In den USA führte dies dazu, dass eher weiße Bewerber:innen eingeladen wurden, weil diese sich Wohnungen in Innenstadtlage leisten können. Das war wie gesagt kein beabsichtigter Effekt, sondern ein Muster, dass Mitarbeiter der HR-Abteilung nicht erkannt hatten, ein Algorithmus aber schon.
Thanks for the interesting podcast!
I have a somewhat technical remark:
To my knowledge, „correcting“ for the protected variables is not so easy. The variables that are concerned here (gender etc.) are not situation-specific but part of, let’s say, the personality. This is quite problematic if we try to look into respective effects and causes and how things change if we correct for them. In short, if we correct for these variables, we don’t know in what way we alter the effect we had earlier – it could get bigger, smaller, or stay the same. There is an interesting article about this here: https://doi.org/10.1037//0021-843X.110.1.40 (in the paper they talk about a different statistical method, but I think the problems are largely transferrable).