Datendiskriminierung: Wenn Maschinen über Menschen entscheiden

Dieser Beitrag erschien erstmals im aktuellen „Atlas der Zivilgesellschaft“. Der Bericht zur weltweiten Lage der Grundrechte wird jährlich von Brot für die Welt veröffentlicht und beschäftigt sich dieses Jahr mit der Frage, welche Rolle Digitalisierung bei der Sicherung oder Einschränkung dieser Freiheiten spielt.

Darf man arbeitslose Menschen nach Alter, Geschlecht oder Zahl ihrer Kinder sortieren und ihnen ‒ je nach Kategorie ‒ dann Fortbildungen verweigern? In Österreich liegt diese Frage Anfang 2021 beim Obersten Verwaltungsgerichtshof. Er soll darüber befinden, ob die österreichischen Arbeitsmarktservices (AMS), vergleichbar mit den deutschen Jobcentern, in Zukunft in ganz Österreich ein Computersystem einsetzen dürfen, das Arbeitslose automatisch in Gruppen sortiert und so die Berater:innen bei ihrer Entscheidung über das weitere Vorgehen unterstützt.

Technisch ist die Sache nicht kompliziert: Das Arbeitsmarkt-Chancen-Modell, wie es offiziell heißt, teilt Jobsuchende in drei Kategorien ein. Entwickelt hat es eine Wiener Firma, die dazu das System mit Arbeitsmarktdaten aus den vergangenen Jahren fütterte, darunter Geschlecht, Alter, Staatsangehörigkeit, den Wohnort oder auch mögliche Betreuungspflichten, also Kinder oder zu pflegende Angehörige.33 Auf Basis dieser Daten trifft das System für neue Jobsuchende nun eine Vorhersage darüber, wie wahrscheinlich es ist, dass er oder sie binnen einer bestimmten Frist wieder Arbeit ­findet. Entsprechende Förderung, zum Beispiel Weiterbildungen, bekommen nur diejenigen finanziert, deren Chancen passabel stehen. Aus einem Menschen wird eine statistische Wahrscheinlichkeit.

Darf ein Staat seine Bürger:innen so behandeln?

Technisch mag das einfach sein. Moralisch und rechtlich wirft das Vorgehen der AMS hingegen schwierige Fragen auf. Darf ein Staat seinen Bewohner:innen die Unterstützung auf Grundlage solcher Vorhersagen verweigern? Und soll ein Algorithmus, also eine automatisierte Entscheidungsfindung, darüber urteilen? Ob jemand gefördert oder quasi aufgegeben wird, wirkt sich schließlich massiv auf das weitere Leben aus.

Die Antworten auf solche Fragen haben weitreichende Konsequenzen. Nicht nur für jede und jeden Einzelnen, sondern auch für die Zivilgesellschaft insgesamt. In Österreich hatten Forscher:innen und Bürgerrechtsorganisationen das System von Anfang an kritisiert. Ihrer Meinung nach diskriminiert es jene, die ohnehin am Jobmarkt benachteiligt sind. Ältere Menschen oder Frauen erhalten per se einen Punktabzug ‒ letztere noch mehr, wenn sie Kinder haben. Männer sind davon nicht betroffen.

Ist das sexistisch? Diskriminierend? Der AMS-Chef Johannes Kopf sagt: nein. Das System bilde lediglich die real existierenden Bedingungen auf dem Arbeitsmarkt ab. Die Mathematikerin Paola Lopez, die zum Thema forscht, bezeichnet den AMS-Algorithmus hingegen als „Diskriminierungsbarometer“, das man durchaus sinnvoll nutzen könnte ‒ um eben diejenigen besonders zu fördern, die am stärksten benachteiligt sind.36 Stattdessen werden sie vom System abgesägt.

An die Rechte der Betroffenen denkt niemand

Die Hauptbetroffenen solcher Entscheidungen sind damit häufig Angehörige marginalisierter und sozial benachteiligter Gruppen. Sie haben es ohnehin schwerer als andere, an Willensbildungsprozessen zu partizipieren oder sich für Gleichbehandlung, soziale Sicherung oder Zugang zu Informationen zu engagieren. Automatisierte Entscheidungsprozesse machen es ihnen noch schwerer, für die materiellen Grundlagen eines selbstbestimmten Lebens sorgen zu können.

In Österreich tobt seit mehr als einem Jahr ein erbitterter Kampf. Nach einem Testbetrieb wollte das AMS das Modell Anfang 2021 eigentlich landesweit einführen. Dann schritt die Datenschutzbehörde ein. Das AMS betreibe ein „eingriffrelevantes Profiling“ von Menschen, dafür müsse erst eine Rechtsgrundlage geschaffen werden. Die Behörde musste den Testbetrieb stoppen. Kurz darauf kassierte das Bundesverwaltungsgericht das Verbot wieder. Um den Förderbedarf zu beurteilen, dürfe das AMS sehr wohl die Daten von Arbeitssuchenden in das Modell einspeisen, urteilte es im Dezember 2020. Verboten sei nur, die Entscheidung gänzlich zu automatisieren. Damit steht dem Einsatz des Systems nun theoretisch der Weg frei.

Die Verantwortlichen der Agentur betonen immer wieder: Automatisch entschieden wird hier gar nichts. Das System diene lediglich dazu, Berater:innen bei ihrer Entscheidung zu unterstützen, am Ende entscheide immer eine Person. Kritiker:innen überzeugt das nicht. Sie verweisen auf Studien, die belegen: Wenn eine Maschine eine bestimmte Prognose ausspuckt, setzen sich Menschen in der Regel nicht darüber hinweg.

Dass man über den Algorithmus des AMS überhaupt so gut Bescheid weiß, ist eine absolute Besonderheit. Denn in der Regel bergen automatisierte Entscheidungsprozesse noch ein ganz anderes Problem: Sie sind eine Blackbox für die Betroffenen, von außen nicht nachvollziehbar. Der AMS-Algorithmus ist bekannt, weil die verantwortliche Firma die Formel zumindest beispielhaft für einige Fälle veröffentlicht hat.

Das Beispiel zeigt aber auch: Transparenz allein reicht nicht aus. Es braucht auch Widerspruchsmöglichkeiten. Was nützt es einer Jobsuchenden in Österreich, wenn offen dokumentiert ist, dass das System sie benachteiligt? Sie hat dennoch keine Möglichkeit, sich der Bewertung zu entziehen oder Widerspruch gegen die Prognose einzulegen.

Verdächtig per Algorithmus

Menschenrechtsorganisationen und Aktivist:innen fordern deshalb klare Regeln dafür, wann solche Systeme überhaupt eingesetzt werden dürfen ‒ egal ob von Unternehmen oder Staaten. Die Auseinandersetzung um das AMS ist zu einem Fallbeispiel geworden. Dafür, was alles schieflaufen kann, wenn öffentliche Stellen mit automatisierten Vorhersagen arbeiten, um Zugang zu Leistungen zu ermöglichen oder zu verwehren. Derzeit bewegen sie sich damit in einer rechtlichen Grauzone.

So kontrolliert die deutsche Finanzaufsicht BaFin etwa den Einsatz von Algorithmen im Hochgeschwindigkeitshandel an der Börse. Doch wenn etwa eine Gemeinde oder Behörde beschließt, mithilfe von automatisierten Prozessen Sozialbetrüger:innen und Schwarzarbeit aufzuspüren, also Algorithmen gegen Menschen einzusetzen, dann kontrolliert das niemand.

So geschehen ist das in den Niederlanden, wo das Sozialministerium mit einem Programm namens SyRi, kurz für Systeem Risico Indicatie, jahrelang alle möglichen sensiblen Sozial- und Meldedaten von Menschen analysierte, um diejenigen zu markieren, die womöglich zu Unrecht Arbeitslosen- oder Wohngeld bekommen hatten. Wer in der Datenanalyse von SyRi rot aufleuchtete, musste damit rechnen, demnächst einen Hausbesuch zu bekommen. Informiert wurden die Betroffenen über den Verdacht gegen sie nicht. Auch weigerte sich das Ministerium offenzulegen, welche Daten genau analysiert wurden und wie das System zu seinen Ergebnissen kam.

Das Muster, solche Systeme gegen jene einzusetzen, die ohnehin schon im Nachteil sind, findet man auch hier wieder. Denn zum Einsatz kam das System vor allem in Gemeinden, die als Problemviertel galten: deren Bewohner:innen arm waren und in denen überproportional viele zugewanderte Menschen lebten, die vorrangig auf staatliche ­Unterstützung angewiesen sind. Erst das Urteil eines Den Haager Gerichtes  Anfang 2020 konnte das Risiko-Scoring mitten in Europa beenden. Der Einsatz sei ein Verstoß gegen die Europäische Menschenrechtskonvention, befand das Gericht. Denn es sei möglich, dass das Programm arme Menschen und Migrant:innen diskriminiere. Aktivist:innen und zivilgesellschaftliche Organisationen hatten zuvor seit Jahren vergeblich dagegen gekämpft.

Ein Rechtsrahmen voller Lücken

Können Unternehmen und Behörden tatsächlich völlig unbehelligt Algorithmen auf ihre Kund:innen und Bürger:innen loslassen ‒ auch wenn es um so wichtige Dinge wie einen Kredit oder Sozialleistungen geht? Theoretisch gibt es bereits einen Rechtsrahmen, der Menschen in der EU vor solchen automatisierten Prozessen schützt: Sind persönliche Daten betroffen, dann greifen die europäischen Datenschutzregeln und diese verbieten sogenannte voll automatisierte Entscheidungen. Dass diese Regel nur ein schwacher Trost ist, zeigen die beiden Beispiele aus Österreich und den Niederlanden.

Mit dem „AI Act“ bewegt sich in der EU ein Regelwerk für sogenannte „künstliche Intelligenz“ auf die Zielgerade zu. Dieser soll Hochrisiko-Systeme wie etwa biometrische Gesichtserkennung in Zukunft stärker in den Blick nehmen. Doch Menschenrechtsorganisationen wie Human Rights Watch befürchten, dass gerade Algorithmen im Zusammenhang mit sozialer Sicherung durch die Maschen der Gesetzgebung fallen könnten.

(Abdruck mit freundlicher Genehmigung von Brot für die Welt. Alle Rechte vorbehalten.)