Österreichs Behörden streiten weiter über einen Algorithmus, der Jobchancen von Arbeitslosen vorhersagen soll. Die Datenschutzbehörde bringt den Fall nun vor das zuständige Höchstgericht. Sie habe „Amtsrevision an den Verwaltungsgerichtshof erhoben“, schreibt der stellvertretende Behördenchef Matthias Schmidl in einer E-Mail an netzpolitik.org
Der Algorithmus soll den Berater:innen des Arbeitsmarktservice (AMS) die Entscheidung erleichtern, welche Arbeitssuchenden Zugang zu Schulungen und Trainings erhalten. Doch das System sorgt seit seiner ersten Ankündigung für massive Kritik, da es aus Sicht von Forscher:innen und der Arbeiterkammer benachteiligte Gruppen weiter diskriminiert.
Die Datenschutzbehörde hat den Einsatz des Algorithmus im Sommer 2020 untersagt. Er verstoße gegen die Datenschutzgrundverordnung, beschied sie damals. Der Testbetrieb des Algorithmus wurde darauf eingestellt. Allerdings änderte sich die Lage im Dezember erneut, als das Bundesverwaltungsgericht die Entscheidung der Datenschützer:innen aufhob. Nun liegt der Fall beim übergeordneten Verwaltungsgerichtshof.
Algorithmus teilt Jobsuchende in drei Gruppen
Der AMS-Algorithmus teilt Jobsuchende in drei Kategorien ein. Um ihn zu entwickeln, fütterte eine Firma den Algorithmus mit Daten aus der Vergangenheit, darunter Alter, Geschlecht, Wohnort, der bisherigen Laufbahn, Betreuungsverpflichtungen oder Staatsangehörigkeit. Auf Basis dieser Daten sagt das System voraus, ob die Chancen einer Person für den Wiedereinstieg hoch, mittel oder niedrig sind. Aus einem Menschen macht es so eine statistische Wahrscheinlichkeit.
Das geschehe zwar schon bisher, sagen Kritiker:innen des Systems. Es mache aus der vermeintlichen Chancenlosigkeit von einzelnen Arbeitslosen jedoch praktisch eine Gewissheit, da das System ihre weitere Benachteiligung festschreibe. Das AMS betont hingegen, der Algorithmus treffe keine Entscheidung, sondern mache lediglich Empfehlungen. Die Letztentscheidung liege weiterhin bei menschlichen Berater:innen.
Wissenschaftler:innen, Bürgerrechtsorganisationen und die Arbeiterkammer hatten das System immer wieder kritisiert, weil es ohne öffentliche Debatte eingeführt wurde und offen Gruppen benachteilige, die bereits heute am Arbeitsmarkt diskriminiert werden. So erhalten etwa Frauen einen Punkteabzug. Sind sie Mütter, werden noch weitere Punkte abgezogen. Dadurch könnten ihnen wichtige Schulungen entgehen.
Trainingsdaten durch Pandemie veraltet?
Die Datenschutzbehörde sieht die automatisierte Verarbeitung von Daten, auf deren Basis der Algorithmus Menschen in Gruppen einteilt, als „eingriffsintensives Profiling“. Dafür fehle es an einer Rechtsgrundlage. Die allgemeine Ermächtigung, die dem AMS bislang bereits ermöglicht, personenbezogene Daten zu verarbeiten, reiche nicht aus.
Als Kritikpunkt führen Gegner:innen des Systems außerdem an, dass der Algorithmus mit alten Daten des Arbeitsmarktes trainiert wurde. Diese seien aber spätestens mit der Coronapandemie und den von ihr produzierten Verwerfungen am Arbeitsmarkt obsolet, der Algorithmus sei aber nicht selbstlernend und müsse daher praktisch neu geschrieben werden.
Für dieses Phänomen, die Verantwortung für die Benachteiligung bestimmter Menschengruppen auf einen Computeralgorithmus abzuwälzen, wie hier oder auch unlängst bei den UK Schulempfehlungen bräuchten wir eigentlich ein schmissiges Schlagwort, um die Bevölkerung für dieses Problem zu sensibilisieren. Ich würde sowas wie „Computer Aided Discrimination“ vorschlagen. Oder, weil CAD ja schon belegt ist, vielleicht „Computer Aided Stigmatisation“. Auch eine Anspielung auf „Little Britain“’s „Computer sagt nein…“ kommt mir bei sowas immer in den Sinn.