KI-Verordnung auf der Zielgeraden: Welche Schlupflöcher die EU jetzt noch schließen muss

Lena Rohrbach ist Referentin für Menschenrechte im digitalen Zeitalter und Rüstungsexportkontrolle bei Amnesty International.

„Es war so seltsam. Ich bekam einen Brief, in dem stand, dass ich zu Unrecht Kindergeld erhalten hatte. Ich war Anfang 20. Ich wusste nicht viel über die Steuerbehörden. Ich habe zusätzlich zu meinem Job angefangen, als Putzfrau zu arbeiten, um das Geld zurückzuzahlen. Ich sah einfach, wie mir alles entglitt.“

Das sagt Batya Brown, eine junge Mutter aus den Niederlanden, gegenüber Amnesty International. Weil die niederländische Steuerbehörde einen fehlerbehafteten Algorithmus eingesetzt hatte, verlangte sie von mehr als 20.000 Familien zu Unrecht hohe Summen an Kindergeld zurück. Der Fehler stürzte unzählige Familien in Armut, mehr als 1.000 Kinder landeten in Pflegestellen. Die niederländische Regierung musste Anfang 2021 in Folge des Skandals zurücktreten.

Das niederländische Beispiel sollte ein Weckruf für die EU-Regierungen sein. Damit Menschen nicht zu Schaden kommen, muss der Einsatz von KI-Systemen reguliert werden. Das hat sich die EU mit der KI-Verordnung vorgenommen, dem weltweit ersten umfassenden Regelwerk für Künstliche Intelligenz.

Am morgigen Dienstag will der spanische Ratsvorsitz weitere große Fragen der Verordnung klären. Im Fokus steht dabei unter anderem die Regulierung von sogenannter Hochrisiko-KI. EU-Parlament, Kommission und die Regierungen der Mitgliedsstaaten – der sogenannte Rat – müssen sich derzeit im sogenannten Trilog auf einen gemeinsamen Verordnungsentwurf einigen. Ob Fälle wie der von Batya Brown künftig verhindert werden, ist noch unklar. Denn die Verordnung weist bislang noch große Schlupflöcher auf.

Wofür muss sich die Bundesregierung in den Verhandlungen einsetzen, um Menschenrechte zu schützen?

1. Koalitionsvertrag einhalten – Gesichtserkennung und andere inakzeptable Technologien verbieten

Amnesty International und mehr als 150 weitere NGOs sind sich einig: Der Einsatz von Gesichtserkennungstechnologie an öffentlich zugänglichen Plätzen ist mit den Menschenrechten unvereinbar. Die Bundesregierung hat im Koalitionsvertrag zugesagt, dies zu verbieten. Erfreulicherweise setzt sie sich – ebenso wie das EU-Parlament – auch weiterhin für ein Verbot ein. Allerdings fordert sie Ausnahmen für Sicherheitsbehörden, die eine zeitverzögerte Analyse zulassen. Nun aber droht ein Rückschritt: Mehrere EU-Mitgliedsstaaten wollen derart viele Ausnahmen einführen, dass die Verordnung damit letztlich einer beschränkten Nutzungserlaubnis gleichkäme.

Ein Kompromissvorschlag für die Verhandlungen sieht vor, Gesichtserkennung auch in Echtzeit zu erlauben, etwa für die Prävention und Verhinderung bestimmter Verbrechen. Dafür würde bereits der Verdacht von Drogenhandel ausreichen. Mit einer solchen Begründung ließe sich vermutlich die halbe Berliner Innenstadt überwachen. Gesichtserkennung an öffentlichen Plätzen aber ist und bleibt ein Massenüberwachungsinstrument, das konsequent verboten werden muss.

Auch bei Predictive Policing, Emotionserkennungs-KI und Systemen zur biometrischen Kategorisierung drängen die Regierungen auf weitere Ausnahmen für Sicherheits- und Migrationsbehörden. Auch das wäre eine fatale Entscheidung. Amnesty International hat in Großbritannien und den Niederlanden nachgewiesen, wie Predictive Policing zu Massenüberwachung, Fehlentscheidungen und Diskriminierung führt.

2. KI-Einsatz durch Behörden darf kein Geheimnis sein

Batya Brown wusste nicht, dass die niederländische Steuerbehörde einen Algorithmus eingesetzt hatte. Sie wusste daher auch nicht, mit welcher Begründung sie die Entscheidung am besten anfechten kann. Menschen müssen jedoch darüber in Kenntnis gesetzt werden, wann und wo sie KI-gestützten Entscheidungen ausgesetzt sind und über welche Rechte sie verfügen. Daher ist es zu begrüßen, dass der Entwurf der KI-Verordnung eine EU-Datenbank vorsieht, die sogenannte Hochrisiko-KI transparent aufführt.

Allerdings will der Rat ausgerechnet Sicherheits- und Migrationsbehörden von dieser Transparenzpflicht entbinden. Diese Behörden sollen hochproblematische KI einsetzen und tief in Grundrechte der EU-Bürger*innen eingreifen dürfen. Künftig könnten Polizeibehörden dann Predictive Policing einsetzen, um zum Beispiel „Gefahrenprognosen“ für die menschenrechtlich problematische Präventivhaft zu erstellen – und dieser Einsatz würde dann obendrein dem Behördengeheimnis unterliegen. Pauschale Ausnahmen von der Registrierungspflicht darf es daher nicht geben. Aufsichten wie nationale Datenschutzbehörden sollten immer auf sämtliche Informationen zugreifen können. Transparenz schafft Überprüfbarkeit und führt damit zu mehr statt zu weniger Sicherheit.

3. Kein Blankoschein für Missbrauch unter dem Deckmantel „Nationale Sicherheit”

Der Rat will die Entwicklung und den Einsatz von KI zu Zwecken der „nationalen Sicherheit“ nicht durch die Verordnung zu regulieren. Auch das Bundesinnenministerium setzt sich für eine solche pauschale Ausnahme ein. Das für die Verordnung ebenfalls zuständige Justizministerium unter Minister Marco Buschmann schweigt bislang dazu.

Eine solche Ausnahme würde jedoch geradezu zum Missbrauch einladen. Denn „nationale Sicherheit“ ist unscharf definiert. In Ungarn wurde etwa ein Gesetzespaket, das die Zivilgesellschaft zum Schweigen bringen soll, mit der nationalen Sicherheit begründet. Vor diesem Hintergrund ist es wenig überraschend, dass sich in einer Umfrage des European Center for not-for-Profit-Law eine Mehrheit der Befragten gegen eine solche Ausnahme ausgesprochen hat. Kein anderes EU-Gesetz sieht übrigens eine solche pauschale Ausnahme vor.

Die Bundesregierung muss dem Blankoschein ihre Unterstützung entziehen, andernfalls ist Missbrauch vorprogrammiert. Die deutschen Ministerien begründen ihre Unterstützung damit, dass die KI-Verordnung sonst in Rechtsbereiche der nationalen Sicherheit eingreifen könne, die eigentlich Angelegenheit der Mitgliedsstaaten sind. Diese Sorge lässt sich mit einer einfachen Formulierung ausräumen, die auch in der Datenschutzgrundverordnung genutzt wird. Dort heißt es, die Verordnung finde „keine Anwendung“ bei jeder Tätigkeit, „die nicht in den Anwendungsbereich des Unionsrechts fällt“.

4. Keine Schlupflöcher in der Definition von „Hochrisiko“-KI

Die Verordnung soll KI-Systeme in verschiedene Risikokategorien einstufen. Die EU-Kommission hat eine klare Definition für sogenannte Hochrisiko-KI vorgeschlagen. Sie soll stärker reguliert werden, um Risiken, die von ihr ausgehen, effektiver zu begegnen. Als hochriskant gelten unter anderem Systeme, die darüber entscheiden, welche Bewerber*innen zum Vorstellungsgespräch eingeladen werden, welchen Bildungsweg Schüler*innen einschlagen oder die – wie im Fall von Batya Browns – ob Eltern Kindergeld erhalten. Auf Druck von Wirtschaftslobbyist*innen soll diese Definition aufgeweicht werden. Unseriöse Anbieter könnten sich dann den Anforderungen an Hochrisiko-KI entziehen. Dafür könnte bereits eine begründete Selbsteinschätzung ausreichen, dass sie keine Hochrisiko-KI anbieten.

Aus Sicht der Bundesregierung soll die Möglichkeit einer solchen Selbsteinschätzung vor allem kleine und mittlere Unternehmen entlasten. Profitieren würden aber vor allem Techkonzerne: Sie verfügen über große Rechtsabteilungen, die begründen können, warum die Ausnahmeregeln für sie gelten. Größere Unternehmen können dann auch drohende finanzielle, rechtliche und Reputations-Risiken tragen, wenn Menschen durch ihre KI-Produkte zu Schaden kommen. Gerade kleine Start-ups und Unternehmen verfügen hingegen meist über weniger Ressourcen und können dies nicht tun.

5. Nachdenken schützt vor Fehlern – Grundrechts-Folgeabschätzungen erhalten

Zu Recht verortet der Verordnungsentwurf eine große Verantwortung für KI-Systeme und deren Auswirkungen bei deren Anbietern. Allerdings weisen diese Systeme mitunter Risiken auf, die sich erst aus der konkreten Anwendung ergeben. Es ist daher hilfreich, sich zunächst der mittel- und langfristigen Auswirkungen eines KI-Einsatzes gewahr zu werden. Deshalb sollte die EU die Betreiber*innen von hochriskanten KI-Systemen dazu verpflichten, vor deren Einsatz eine Grundrechts-Folgenabschätzung (Fundamental Rights Impact Assessment) vorzunehmen. Die Bundesregierung lehnt dies bislang leider ab. Es ist zu hoffen, dass sie sich noch eines Klügeren besinnt. Die Niederlande sind bereits aus Schaden klug geworden und haben eine solche Folgeabschätzungen eingeführt – als Reaktion auf den Kindergeldskandal vor einigen Jahren.