Algorithmische Entscheidungen: Warum das Scoring polnischer Arbeitssuchender gescheitert ist

Iwona Laub arbeitet für die österreichische Digital-NGO epicenter.works. Dieser Beitrag erschien zunächst bei epicenter.works

Im Mai 2014 hat das polnische Ministerium für Arbeit und Soziales einen Algorithmus vorgestellt, der bei der polnischen Arbeitslosenbehörde – ähnlich dem österreichischen Arbeitsmarktservice – eingesetzt werden sollte, um effizienter mit Förderungen und Maßnahmen zum Arbeitswiedereinstieg umzugehen. Inzwischen ist die Technik nicht mehr im Einsatz, da sie nicht grundrechtskonform ausgestaltet war.

Aus dem Fall lassen sich jedoch einige Lehren ziehen – zumal andere EU-Länder ähnliche Systeme einsetzen, um Kosten zu sparen oder die Effizienz zu steigern, und sich kein Ende dieser Entwicklung abzeichnet.

Der österreichischen Variante ist der polnische Algorithmus in vielerlei Hinsicht sehr ähnlich. Ein Unterschied ist allerdings, dass das Ganze vor der Datenschutzgrundverordnung (DSGVO) eingesetzt wurde, weshalb Datenschutz nur eine kleine Rolle bei der Anfechtung des Algorithmus gespielt hat.

Algorithmische Black Box

Diskriminierung und das fehlende Recht auf Änderung der Kategorie, in die man fällt, waren allerdings ein großes Thema, genauso wie die Intransparenz, mit der diese Kategorisierung stattfindet. Der oder die Arbeitslose wussten zu dem Zeitpunkt nicht, wie sich die Antworten auf diverse Fragen der Betreuer*innen auf ihr Profiling auswirken.

Ähnlich wie in Österreich hat der Algorithmus alle Menschen, die als arbeitslos gemeldet waren, in drei Kategorien unterteilt. Sehr ähnlich ist auch die Einteilung: Der Algorithmus teilt die Menschen nach deren „Bereitschaft zur Arbeitsaufnahme“ und deren Qualifikation ein und damit einhergehend bestimmt er, welche Förderungen diese Menschen bekommen.

Das dortige Arbeitsamt beziehungsweise das Ministerium hat damit argumentiert, dass es nur eine Unterstützung zur Entscheidungsfindung bezüglich Fördermaßnahmen sein soll. Unsere polnische Schwesternorganisation Fundacja Panoptykon wollte natürlich wissen, nach welchen Kriterien der Algorithmus die Personen eingeteilt hat. Mit Hilfe des polnischen Informationsfreiheitsgesetzes – und eines Gerichtsverfahrens – konnte die Digital-NGO schließlich Details des Scoring-Verfahrens erfahren, was in einen Bericht mündete.

Die Gruppenaufteilung erfolgte folgendermaßen:

• Gruppe 1: nicht mehr als 22 Minuspunkte (nur ca. 2% aller Arbeitslosen). Das sind jene Arbeitslose, die mit sehr großer Wahrscheinlichkeit sehr schnell wieder eine Arbeit findet, ohne dass das Amt viel dazu beitragen muss.
• Gruppe 2: zwischen 23 und 59 Minuspunkten (ca. 65%). In dieser Gruppe befinden sich jene Arbeitslose, die die meisten Förderungen und Maßnahmen zur Arbeitsaufnahme erhalten.
• Gruppe 3: alles über 59 Minuspunkten (ca. 33%). Diese Gruppe bekommt aufgrund ihrer geringen Chance, eine Arbeit zu finden, nur wenige oder ausgelagerte Fördermaßnahmen (von Drittanbietern, wenn überhaupt).

Personen, die die größte Hilfe bei der Arbeitssuche bräuchten, wurden vom Algorithmus quasi als „hilfsunwürdig“ eingestuft.

Die Kritikpunkte vor dem Verfassungsgericht

Bemängelt hat Panoptykon mehrere Punkte am Algorithmus, darunter:

• Fehlende Transparenz: Die Kriterien sind nicht offengelegt und können sich jederzeit ändern.
• Der Algorithmus basiert auf der Annahme, dass ein Algorithmus eine objektivere Entscheidung als ein Mensch treffen kann. Diese Vereinfachung beziehungsweise vermeintliche Objektivierung vermisst aber realitätsnahe Zugänge (es können nicht alle „menschlichen“ Kriterien berücksichtigt werden).
• Arbeitslose hätten keinerlei Möglichkeit, das Profil berichtigen zu lassen. Auch die Löschung der Daten, die als Basis für den Algorithmus dienen, würden zu keiner Berichtigung beziehungsweise Änderung des Status führen.

Argumentiert wurde eben – wie oben schon erwähnt – vom Ministerium, dass der Algorithmus nur als Entscheidungshilfe dienen soll. Untersuchungen haben aber gezeigt, dass nur 0,58% der algorithmischen Entscheidungen von menschlichen Bearbeiter*innen beanstandet beziehungsweise korrigiert wurden. Da diese Studie aber erst später durchgeführt wurde, war das Diskriminierungsargument vor dem Verfassungsgericht kein gutes und es wurde darauf verzichtet, es einer Prüfung zu unterziehen. Jurist*innen argumentierten, dass das nicht durchgehen wird, da am Ende ohnehin ein Mensch die Entscheidung fällen muss, in welche Kategorie ein Mensch tatsächlich fällt.

Panoptykon hat die polnische Volksanwaltschaft dazu gebracht, die drei oben genannten Kritikpunkte vor dem Verfassungsgericht anzuführen. Neben vielen anderen Kritikpunkten erschienen ihm diese als am aussichtsreichsten, um den Algorithmus zu kippen.

Anfang Juni 2018 hat das polnische Verfassungsgericht einen Teil der Bestimmungen aufgehoben, mit denen Arbeitslose algorithmisch und automatisiert profiliert werden sollten. Das Gericht gab der polnischen Regierung 12 Monate Zeit, um das Gesetz grundrechtskonform zu gestalten. Da das nicht zur Zufriedenheit des Verfassungsgerichts passiert ist, wurde der Algorithmus schlussendlich völlig eingestellt.

Kampf um Transparenz

Zwei Jahre zuvor, also 2016, hat Panoptykon versucht herauszufinden, nach und mit welchen Kriterien der Algorithmus arbeitet. Da das zuständige Ministerium keine Antwort erteilt hat, hat Panoptykon eine Beschwerde beim Warschauer Landesverwaltungsgericht eingelegt. Das Gericht hat entschieden, dass es sich um eine Information von öffentlichem Interesse handelt und die Behörde entweder eine Auskunft erteilen oder aber einen triftigen Grund angeben muss, diese nicht erteilen zu wollen (oder können).

Die Behörde hat Panoptykon dann die Liste der Kriterien geschickt, anhand derer Arbeitslose zu klassifizieren sind und hat auf eine Berufung verzichtet. Es handelt sich um 24 Datenpunkte, wobei acht davon bereits bei der Registrierung als Arbeitslose*r gesammelt werden (Alter, Geschlecht, etc.) Frauen bekommen beispielsweise einen Minuspunkt, Männer keinen. Je mehr Minuspunkte, desto schlechter die Bewertung. Der Rest der Antworten wird von den Betreuer*innen mündlich erfragt und ins System eingetragen. Viele Lebensumstände werden aber gar nicht berücksichtigt (z.B. Obdachlosigkeit oder Diskriminierung aufgrund der Zugehörigkeit zu einer bestimmten Ethnie). Dieser Umstand hat allerdings auch die positive Seite, dass diese Daten eben nicht gesammelt werden – das ist aber nur ein kleiner Pluspunkt in Anbetracht der negativen Auswirkungen.

Lehren aus dem polnischen Algorithmus

• Das Argument, dass am Ende ein Mensch entscheide und der Algorithmus nur eine Hilfsstellung sei, ist aufgrund der kleinen Berichtigungsquote ein sehr schlechtes. Menschen vertrauen auf Entscheidungen von Computern, weil diese vermeintlich objektiv sind.
• Ein Drittel aller Arbeitslosen hat schlechte oder gar keine Unterstützung bekommen.
• Viele Menschen können diese Kategorisierung nicht erfassen beziehungsweise sind sich nicht darüber im Klaren, was da passiert und können somit auch keinen Einspruch einlegen, wenn sie nicht ausreichend darüber informiert werden. Transparenz ist das A und O.
• Die Manifestation von Real-Life-Diskriminierungen in einem Algorithmus verbessert die Situation von ohnehin schon schlechter gestellten Menschen selten.

Crowd-Hilfe benötigt

Um uns ein besseres Bild von der österreichischen Variante des Algorithmus zu machen, sucht epicenter.works nach Menschen, die in die Kategorie C fallen und bereits Erfahrungen mit ausgelagerten Fördermaßnahmen haben. Wir behandeln deine Informationen vertraulich, dein Name wird nie ohne deine vorherige Zustimmung irgendwo erscheinen! Unter „Kontakt“ findest du unsere E-Mail-Adresse, mit der du dich – gerne auch verschlüsselt – an epicenter.works wenden kannst.