Automatisierte Entscheidungen: Gericht macht Weg für den AMS-Algorithmus wieder frei

Nun also doch. Der umstrittene Algorithmus, mit dem der österreichische Arbeitsmarktservice (AMS) die Jobchancen von Arbeitslosen vorhersagen will, darf eingesetzt werden. Das entschied das Bundesverwaltungsgericht am Montag. Die Datenschutzbehörde hatte im August den Algorithmus nach einem monatelangen Streit einkassiert: Er widerspreche gleich an mehreren Stellen den Datenschutzregeln der Europäischen Union, begründete die Behörde damals ihren Bescheid. Das System, das bereits im Testbetrieb war, verschwand wieder aus der Beratung.

Am Montag dann die Nachricht, dass das Bundesverwaltungsgericht den Bescheid wieder aufgehoben hatte, die Behörde hatte dort Einspruch eingelegt.

Ein Abbild der Realität

Der AMS-Algorithmus soll die Chancen von Arbeitssuchenden vorhersagen, innerhalb einer bestimmten Frist wieder in den Arbeitsmarkt zu finden. Dazu trainierte eine Firma das System mit Daten aus den vergangenen Jahren, etwa zu Alter, Geschlecht, Wohnort, bisheriger Karriere, Betreuungsverpflichtungen oder Staatsangehörigkeit. Auf Basis dieser Daten trifft das System eine Vorhersage, ob die Chancen einer Person für den baldigen Wiedereinstieg hoch, mittel oder niedrig sind. Aus einem Individuum macht es so statistische Wahrscheinlichkeit.

Das System soll dabei als Unterstützung für die Beraterinnen und Berater dienen, die teils nur kurze Zeit haben, um eine Entscheidung zu treffen, ob eine Jobsuchende mit weiteren Schulungen gefördert wird.

Wissenschaftler:innen, Bürgerrechtsorganisationen und die Arbeiterkammer hatten das System immer wieder kritisiert, weil es ohne öffentliche Debatte eingeführt wurde und ihrer Meinung nach offen Gruppen benachteilige, die in der Vergangenheit schon am Jobmarkt diskriminiert wurden. So erhalten etwa Frauen per seeinen Punkteabzug. Sind sie Mütter, werden weitere Punkte abgezogen. Dadurch könnte ihnen mögliche Förderung entgehen.

AMS-Chef Johannes Kopf, der das Projekt vorangetrieben hatte, hält dagegen, das System bilde lediglich die tatsächliche Lage am Arbeitsmarkt ab. So könne seine Behörde die Ressourcen besser verteilen und mehr Menschen in Arbeit bringen.

Was ist erlaubt?

Die Datenschutzbehörde hatte die automatisierte Verarbeitung von Daten, auf deren Basis das System Menschen in drei Kategorien einteilt, als „eingriffsintensives Profiling“ bezeichnet. Eine Rechtsgrundlage dafür müsste erst geschaffen werden. Die allgemeine Ermächtigung, die dem AMS derzeit schon erlaubt, personenbezogene Daten zu verarbeiten, reiche nicht aus.

Dem widerspricht das Gericht nun. Das AMS dürfe sehr wohl die persönlichen Daten von Arbeitssuchenden in den Algorithmus füttern, um den Förderbedarf zu beurteilen.

Verboten sei laut der Datenschutzgrundverordnung lediglich, dass wichtige Entscheidungen eines öffentlichen Dienstleisters wie der AMS ausschließlich auf einer automatisierten Entscheidung beruhen. Das sei am AMS nicht der Fall, denn es habe in seinen Leitlinien klar gestellt, dass die Prognose nur als zusätzliche Information für den Berater oder die Beraterin dienen soll. Die Entscheidenden könnten sich damit weiter selbst ein Bild machen, ob sie die Förderung gewähren.

Wie frei entscheiden Beratende?

Die Argumentation des Gerichtes trifft auf einen wunden Punkt im Streit um automatisierte Entscheidungen der öffentlichen Hand. Kritiker:innen verweisen immer wieder auf diese Schwachstelle der europäischen Datenschutzregeln. Denn diese verbietet lediglich die vollautomatisierte Verarbeitung persönlicher Daten. Drückt am Ende noch ein menschliche Entscheiderin einen Knopf, ist der Prozess rechtens.

Wissenschaftler:innen kritisieren diese Haltung. In der Forschung sei ausreichend belegt, dass Menschen dazu neigen, die Vorschläge routinemäßig zu übernehmen, sagt etwa die Mathematikerin Paola Lopez, die am Wiener Institut für Rechtsphilosophie zu algorithmischen Systemen forscht: „Außerdem: Das System ist ja dazu gebaut worden, um auch oft genug verwendet zu werden. Sonst wäre die kostspielige Entwicklung sinnlos gewesen.“

Die Datenschutzbehörde hatte den Punkt in ihrem Bescheid gegen das System kritisiert: Den Entscheider:innen stehe nur wenig Zeit zur Verfügung, daher befürchte man, dass diese Prognosen des Systems einfach übernehmen. Das Gericht ist nun anderer Ansicht: Diese Behauptung reiche nicht aus, so lange in der Praxis nicht nachgewiesen sei, dass die Beratenden die Systemprognose übernehmen.

Daten sind nach Corona unbrauchbar

Theoretisch stünde damit jetzt der Weg frei, um den Algorithmus ab 2021 bundesweit einzusetzen, der Verwaltungsrat des AMS hatte dem bereits zugestimmt. AMS-Chef Johannes Kopf will aber zunächst abwarten, ob der Fall rechtskräftig wird.

Doch ist der Einsatz derzeit noch sinnvoll? Wissenschaftler:innen weisen darauf hin, dass das System vermutlich ohnehin unbrauchbar geworden sei. Denn der Algorithmus ist nicht selbstlernend, er kann daher auf eine veränderte Datenlage am Arbeitsmarkt nicht reagieren.

Expertin Paola Lopez betont: „Mit der Corona-Krise, die das Arbeitsmarktgeschehen noch lange prägen wird, kann nicht davon ausgegangen werden, dass die Prognosen sinnvoll sind. Es werden Daten von vor Corona verwendet, um den Corona-Arbeitsmarkt zu prognostizieren.“ Auch in den kommenden Jahr seien Verzerrungen vorprogrammiert, weil die derzeitigen Corona-Arbeitsmarktdaten verwendet würden, um den Arbeitsmarkt nach Corona zu prognostizieren. „Von der Vergangenheit kann nicht vernünftigerweise auf die Zukunft geschlossen werden. Das ist jetzt inmitten dieser Krise besonders so, und überhaupt in einer dynamischen Gesellschaft immer so.“

Johannes Kopf schreibt dazu, die Einführung des Systems brauche „nicht nur neuerliches Programmieren, sondern auch eine vernünftige Lösung für den Umgang mit dem Krisenjahr 2020 und den Daten.“ Dies erscheine ihm lösbar, „aber aus den genannten Gründen und weil wir derzeit sehr mit Kurzarbeit und der hohen Arbeitslosigkeit beschäftigt sind, ist eine ganz rasche Einführung nicht möglich.“

Das AMS als Fallbeispiel

Die Auseinandersetzung um den Algorithmus ist damit zu einem Fallbeispiel dafür geworden, was schief laufen kann, wenn Behörden und öffentliche Stellen mit automatisierten Entscheidungssystem arbeiten.

Derzeit ist dieser Bereich an vielen Stellen nicht reguliert. So kontrolliert die deutsche Finanzaufsicht Bafin den Einsatz von Algorithmen im Hochgeschwindigkeitshandel an der Börse. Doch wenn etwa Gemeinden beschließen, mit Hilfe automatisierter Mustererkennung Sozialbetrüger:innen aufzuspüren oder eine Gefährdung für das Kindeswohl vorherzusagen, handeln sie meist nach eigenem Ermessen.

Expertinnen wie die Informatikerin Katharina Zweig, die zum verantwortlichen Einsatz von Algorithmen forscht und auch in der Enquete-Kommission Künstliche Intelligenz des Bundestags saß, haben dafür Empfehlungen ausgesprochen. Dazu zählt eine verpflichtende ethische Evaluierung des Auswirkungen, sollten solche Systeme zum Einsatz kommen. Auch Transparenz gegenüber den Betroffenen zählt dazu sowie ein Recht auf Widerspruch.

Die EU-Kommission arbeitet derzeit an einem Regelwerk für den Einsatz von algorithmischen Systemen und hat dafür in einem aktuellen Weißbuch ein System zur Kategorisierung von Risiken vorgeschlagen. Hochriskante Systeme sollen demnach vorab zugelassen werden müssen. Doch nach welchen Kriterien die Systeme bewertet werden und welche Regeln für den staatlichen Einsatz der Systeme gelten sollen, ist derzeit noch offen.

Update 22.12.: Der Beitrag wurde um ein Statement von AMS-Chef Johannes Kopf ergänzt. Außerdem haben wir eine Angabe zu Katharina Zweig korrigiert, sie war nicht Mitglied der Datenethikkommission, sondern in der Enquete-Kommission Künstliche Intelligenz des Bundestags.