Künstliche Intelligenz: Niederländisches Gericht verbietet Betrugssuchmaschine

Am Mittwoch ordnete ein niederländisches Gericht den sofortigen Stopp eines Programms an, das vermeintlichen Sozialbetrug automatisiert erkennen sollte. Es sei unvereinbar mit der Europäischen Menschenrechtskonvention, urteilten die Richter:innen. Der UN-Sonderberichterstatter für extreme Armut und Menschenrechte, Philip Alston, nennt das Urteil auf Twitter „bahnbrechend“.

„System Risico Indicatie“ (SyRI) ist der Name des Tools, das seit 2014 offiziell verwendet wird. Gefüttert mit Daten aller möglichen Behörden rechnete es aus, wie hoch das Risiko einer bestimmten Person sei, den Staat um Sozialleistungen zu betrügen. Dazu analysieren die Behörden sensible Daten, die ursprünglich für andere Zwecke gesammelt wurden. Einige Menschen stuft das System dann als „Hoch-Risiko-Bürger:innen“ ein, daraufhin werden Ermittlungsverfahren gegen sie eingeleitet.

Aufgrund des Wohnorts verdächtigt

SyRI wird nur auf Daten von Personen aus bestimmten Regionen des Landes angewandt. Orte, an denen besonders viele Menschen unter einer nicht näher definierten Einkommensgrenze leben, wurden mit SyRI untersucht – obwohl es keinen Nachweis gibt, dass Personen aus diesen Regionen überdurchschnittlich häufig Sozialbetrug begehen.

Menschenrechtsaktivist:innen hatten 2019 Klage gegen SyRI eingereicht, weil es arme Menschen diskriminiere, so Human Rights Watch auf seinem Blog. SyRI verletze das Recht auf Privatsphäre und das Recht auf soziale Sicherheit, schreibt Alston, der UN-Sonderberichterstatter, in einem ausführlichen Bericht über SyRI an das Gericht. Darin verglich er das Tool mit Inspektor:innen, die in einer bestimmten Siedlung an alle Türen klopften – während in anderen, besser situierten Gegenden niemand geprüft werde.

Das niederländische Sozialministerium kündigt an, das Urteil „im Detail“ zu untersuchen. Die Stellungnahme des Ministeriums betont indes in einem ganzen Absatz die Wichtigkeit genauer Kontrollen für das Funktionieren des Sozialsystems.

Und führe sie nicht in Versuchung

Die Aussicht auf Effizienzsteigerung und Kosteneinsparung durch Automatisierung findet nicht nur das Sozialministerium der Niederlande verlockend.

Der zyprische Datenschutzbeauftragte verbot zuletzt einem Tourismuskonzern die Nutzung eines Tools, das die Häufigkeit und die Zeitpunkte von Krankmeldungen der Angestellten analysierte. Dies verstoße gegen die Datenschutzgrundverordnung. Der Konzern darf nun keine automatisierten Auswertungen des „Bradford Factor“ vornehmen, er muss alle gesammelten Daten löschen und 82.000 Euro Strafe zahlen.

Der Guardian berichtete indes von Bemühungen des britischen Ministeriums für Arbeit und Renten, die Vorgänge und Dienstleistungen in seinen Behörden an Maschinen abzugeben. „Schneller, akkurater und günstiger“ solle das Ministerium schließlich arbeiten können, sagte ein Vertreter dem Guardian.

Spannend also, ob Gerichte im Vereinigten Königreich und in anderen Ländern wie Dänemark, wo Behörden auch auf Automatisierung setzen, sich ein Vorbild an der niederländischen Rechtsprechung nehmen. Noch besser wäre natürlich, Sozialministerien verzichteten gleich auf Programme wie SyRI.

Update, 24.2.20: In der ursprünglichen Version des Artikel stand, das Urteil sei für die niederländische Regierung nicht bindend. Das stimmte nicht. Sie kann gegen das Urteil Berufung einlegen, muss sich aber daran halten.