Aufsicht und TransparenzWie die Niederlande aus KI-Skandalen lernen

Die Niederlande wollen vormachen, wie sich automatisierte Entscheidungssysteme einhegen lassen. Skandale wie die Kindergeldaffäre sollen mit einer neuen Algorithmenaufsicht und Transparenzregistern verhindert werden. Davon könnte sich die EU eine Scheibe abschneiden und den AI Act verbessern.

Ein Auto mit Kameras sucht in Amsterdam automatisiert nach Falschparkern.
Amsterdam sucht unter anderem teil-automatisiert nach falsch Parkenden. Die Gefahren solcher KI-Systeme soll eine Algorithmenaufsicht und ein Transparenzregister entschärfen. CC-BY-NC-SA 2.0 Foto: harry_nl / Bearbeitung: netzpolitik.org

Amsterdam ist eine begehrte Stadt und teilt damit die Probleme vieler anderer attraktiver Orte. Auf steigende Mieten und nicht abreißende Touristenströme reagierte die Stadtverwaltung etwa mit strengen Einschränkungen für die Vermietung privater Wohnräume über Online-Dienste wie AirBnb. Doch wie überprüft man, ob jemand die Regeln bricht und die eigene Wohnung illegal vermietet? Auch mit Hilfe sogenannter Künstlicher Intelligenz (KI). In einem Pilotversuch analysierte die Stadt zum Beispiel rechtswidrige Vermietungen der letzten fünf Jahre, um die Glaubwürdigkeit von Verdachtsmeldungen besser einschätzen zu können.

Doch solche (teil-) automatisiert getroffenen Entscheidungen können hochproblematisch sein. In vielen Algorithmen stecken Vorurteile und haltlose Annahmen, oft weiß kaum jemand, wie solche KI-Blackboxen genau funktionieren. Für Menschen kann das gravierende Konsequenzen haben. So auch in den Niederlanden. Dort hatte zuletzt die sogenannte Kindergeldaffäre offengelegt, wie mit diskriminierenden Kriterien gefütterte Algorithmen tausende Familien ungerechtfertigt in den finanziellen Ruin treiben können.

Transparenzdatenbank soll Sorgen nehmen

In Zukunft sollen solche Skandale nicht mehr möglich sein. Dabei helfen soll unter anderem eine Transparenzdatenbank. Darin sammelt die Stadt Amsterdam Anwendungen des öffentlichen Dienstes, bei denen algorithmische Entscheidungssysteme (auch als ADM-Systeme bekannt, vom Englischen Algorithmic Decision Making) im Spiel sind. In verständlicher Weise wird dort erklärt, auf welches Datenmaterial die Systeme zurückgreifen, wo mögliche Risiken lauern, welche Maßnahmen Diskriminierung verhindern sollen und wer das letzte Wort hat. So informiert das Register beispielsweise über das semi-automatisierte Aufspüren von illegalen Vermieter:innen, Falschparker:innen oder Müll auf der Straße.

Schon im Jahr 2020 hatte die Stadt in einem Weißbuch für eine Transparenzdatenbank plädiert. Demokratisches Regieren könne nur funktionieren, heißt es darin, wenn es Vertrauen zwischen Behörden und Bürger:innen gebe. Zunehmend würden aber algorithmische Systeme ausgerollt, die das Verhältnis zwischen der Regierung und Bürger:innen verändern würden. Dieser Wandel brauche Vertrauen, mahnen die Autor:innen – denn ohne Vertrauen „sind wir als Regierung nicht einmal qualifiziert, Algorithmen und kommunale Daten, die wir haben, einzusetzen“.

Inzwischen machen immer mehr niederländische Kommunen transparent, welche automatisierten Entscheidungssysteme sie wie einsetzen. Noch sind solche Transparenzregister weitgehend freiwillig, sollen aber künftig landesweit verpflichtend werden. Das Gesetz dazu ist bereits in Vorbereitung, zumindest hochriskante KI-Anwendungen könnten binnen zwei Jahren zwingend öffentlich begutachtet werden. Schon heute finden sich über 100 Einträge in einer nationalen Datenbank, sie dürfte in den kommenden Jahren stark wachsen.

Ausbaufähig seien aber auch die Informationen, die in der Datenbank liegen, schreibt Nadia Benaissa von der niederländischen Nichtregierungsorganisation Bits of Freedom an netzpolitik.org. „Im Algorithmenregister fehlen immer noch viele aussagekräftige Informationen, etwa Risiken für Menschenrechte, wie diese Riskien abgeschwächt werden sowie die rechtliche Begründung, warum Verwaltungen überhaupt Algorithmen einsetzen“, so Benaissa. Letzteres Feld würden Verwaltungen oft einfach nicht ausfüllen. Zudem seien die Beschreibungen oft recht eng gefasst und „geben nur bedingt darüber Auskunft, wie Algorithmen das Leben von Menschen beeinflussen können“, schreibt Benaissa.

Neue Algorithmenaufsicht

Neben dem Transparenzregister soll auch eine neue Aufsicht etwas Licht in den KI-Dschungel bringen. Seit Anfang Januar wacht die niederländische Datenschutzbehörde nicht nur über die Privatsphäre im Land, sondern soll auch dafür sorgen, dass Algorithmen transparent eingesetzt werden und niemanden diskriminieren. Mittelfristig sollen in Zusammenarbeit mit anderen Regulierungsbehörden allgemein akzeptierte Standards für den Umgang mit KI und automatisierten Entscheidungssystemen entstehen.

Das Echo aus der Zivilgesellschaft fällt überwiegend positiv aus. Eine Algorithmenaufsicht sei dringend notwendig, ordnet Benaissa in einem Blog-Beitrag ein. Bedauerlich sei jedoch, dass sich Bürger:innen nicht direkt an die Behörde wenden können, um sich über automatisiert gefällte Entscheidungen zu beschweren.

Das aber könnte die Aufdeckung von Skandalen wie der Kindergeldaffäre erschweren, so Benaissa zu netzpolitik.org. Betroffene Bürger:innen könnten zwar Datenschutzverletzungen bei der Behörde beanstanden, allerdings würden bei KI-Anwendungen nicht notwendigerweise durchgängig personenbezogene Daten verwendet. „Für diesen Teil des Prozesses ist die Datenschutzbehörde laut Datenschutz-Grundverordnung nicht zuständig“, so Benaissa.

Erfolg wird auch von Ausstattung abhängen

„Mit der neu etablierten ‚Algorithmenaufsicht‘ und dem Algorithmenregister geht die niederländische Regierung konkrete erste Schritte in Richtung verbesserter Aufsicht über den Einsatz von ADM-Systemen im öffentlichen Sektor“, schreibt auch Pia Sombetzki von der deutschen Nichtregierungsorganisation AlgorithmWatch.

Allerdings bleibe die Regierung in Hinsicht auf die zukünftig bei der Aufsicht liegenden Aufgaben und Befugnisse noch vage, so Sombetzki zu netzpolitik.org: Zunächst sollen die Regulierer vor allem den sektorübergreifenden Wissensaustausch zwischen Behörden fördern, die ADM-Systeme einsetzen. Erst später soll die Aufsicht gegebenenfalls neue Aufgaben übernehmen. „Es ist aber natürlich immer fraglich, ob eine Aufsicht alle möglichen Algorithmen aus allen möglichen Verwaltungsbereichen überwachen kann – zumindest wird sie das nur dann können, wenn sie mit entsprechenden Ressourcen und Expertise ausgestattet ist“, mahnt Sombetzki.

Tatsächlich fällt die Ausstattung erschreckend mager aus, kritisiert Bits of Freedom. Für das Jahr 2023 sei nur eine Million Euro für die Algorithmenaufsicht vorgesehen, bis 2026 soll die Summe auf 3,6 Millionen Euro steigen. Zum Vergleich: Laut ihrer Digitalisierungsstrategie fördern die Niederlande innovative AI-Anwendungen und zugehörige Forschung mit rund 45 Millionen Euro jährlich. Die Aufsicht könnte sich deshalb als „Papiertiger“ entpuppen, warnt Amnesty International Niederlande.

Unbestritten ist aber, dass die Niederlande einige Schritte weiter sind als die EU, von Deutschland ganz zu schweigen. Zwar bewegt sich auch hier etwas, allerdings nur langsam: Schon vor knapp zwei Jahren stellte die EU-Kommission einen Gesetzentwurf zur Regulierung von automatisierten Entscheidungssystemen vor, den sogenannten AI Act.

Der Rundumschlag soll einen sicheren, ethischen und grundrechtekonformen Einsatz von KI sicherstellen und berührt Bereiche von Chatbots bis hin zu biometrischen Überwachungssystemen. Allein im EU-Parlament sind über 3.000 Änderungsanträge zum Entwurf der beiden Berichterstatter eingegangen, die Verhandlungen über das Gesetz dürften sich noch eine Weile hinziehen.

Gesetz könnte EU-weit Transparenz schaffen

Das öffnet indes Raum für Verbesserungen: So hatte sich die deutsche Regierung im EU-Ministerrat dafür stark gemacht, eine Datenbank für alle KI-Systeme einzurichten, die von öffentlichen Stellen eingesetzt werden – wie es eben die Niederlande bereits schrittweise umsetzen. Im Kommissionsvorschlag war lediglich ein Transparenzregister für die Hersteller von als hochriskant eingestuften KI-Anwendungen vorgesehen. Außen vor blieben dabei jedoch alle Stellen, die solche ADM-Systeme auch tatsächlich in der Praxis einsetzen.

Ob und in welchem Ausmaß auch in Deutschland künftig teilautomatisiert arbeitenden Verwaltungen auf die Finger geschaut werden kann, dürfte maßgeblich vom AI Act abhängen. Sombetzki von AlgorithmWatch gibt sich optimistisch: Derzeit zeichne sich ab, dass die EU-Länder und das Parlament „hier weiter als der Kommissionsentwurf gehen und sich darauf einigen könnten, mindestens Hochrisiko-Anwendungen öffentlicher Behörden im Register öffentlich zu machen.“

Update, 2. Februar: Artikel um weitere Einschätzungen von Nadia Benaissa ergänzt.

0 Ergänzungen

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.