KI-Verordnung: Schraffierte rote Linien als Kompromiss

Das erste demokratische und umfassende KI-Regelwerk der Welt steht. Nach zwei Marathon-Sitzungen seit vergangenem Mittwoch konnten sich EU-Parlament und Rat auf die Endfassung der geplanten KI-Verordnung einigen. Damit wird das Gesetz wohl noch vor den Europawahlen im Juni kommenden Jahres verabschiedet.

Die Erleichterung über die Einigung ist groß. EU-Binnenmarktkommissar Thierry Breton bezeichnete die Vereinbarung als „historisch“. Kommissionspräsidentin Ursula von der Leyen erklärte, das Rahmenwerk werde „die Sicherheit und Grundrechte von Menschen und Unternehmen“ schützen. Und Benifei Brando, der sozialdemokratische Verhandler des Parlaments, sagte, es sei der Hartnäckigkeit des Parlaments zu verdanken, dass die Rechte und Freiheiten im Mittelpunkt der Entwicklung dieser bahnbrechenden Technologie stünden.

Der genaue Text wird in den kommenden Tagen formell festgeschrieben und veröffentlicht. Solange er nicht vorliegt, „wissen wir nicht, was geopfert wurde“, schreibt derweil Daniel Leufer, Senior Policy Analyst bei Access Now, auf X. Allzu große Hoffnungen macht er sich offenbar nicht: „Wir haben bis zum Schluss um das gekämpft, was wir retten konnten, und das haben auch unsere Verbündeten im Parlament getan“, so Leufer, „aber der Text, der aus diesem Prozess hervorgeht, ist kein Goldstandard, er ist kein Wendepunkt.“

Tatsächlich ist schon jetzt abzusehen, dass das Verhandlungsergebnis zwar rote Linien vorsieht, wenn Systeme sogenannter Künstlicher Intelligenz (KI) zum Einsatz kommen. Allerdings werden diese wohl zahlreiche Lücken aufweisen. Das betrifft weniger die im Vorfeld der Verhandlungen breit diskutierten Basismodelle, sondern vor allem die biometrische Videoüberwachung und die nationalen Sicherheitsbehörden. Gerade hier konnten die Mitgliedstaaten offenbar gegenüber dem EU-Parlament einige ihrer Forderungen durchsetzen.

Zahlreiche Ausnahmen bei biometrischer Videoüberwachung

Zwar sollen fortan Systeme verboten sein, die biometrische Kategorisierungen anhand sensitiver Eigenschaften vornehmen. Das können politische oder religiöse Überzeugungen oder die sexuelle Orientierung sein. Diese Einschränkungen sollen Diskriminierungen verhindern. Außerdem will die EU es untersagen, dass Aufnahmen von Gesichtern aus dem Internet oder mit Hilfe von Aufnahmen von Videoüberwachungssystemen in Datenbanken gesammelt werden können. Die Emotionserkennung am Arbeitsplatz und im Bildungsbereich soll ebenfalls verboten werden, genauso wie sogenanntes Social Scoring. Solche Systeme sammeln, bewerten und sanktionieren das soziale Verhalten von Menschen.

Gleichzeitig sieht die erzielte Einigung aber offenkundig etliche Ausnahmen für Strafverfolgungsbehörden vor. So sollen biometrische Identifizierungssysteme in öffentlich zugänglichen Räumen bei bestimmten Straftaten und einer vorherigen richterlichen Genehmigung möglich sein. Auch eine sogenannte retrograde Identifizierung – also im Nachhinein – wäre unter bestimmten Bedingungen erlaubt, beispielsweise bei Terrorgefahr oder der gezielten Suche von Einzelpersonen beim Verdacht auf schwere Straftaten.

Damit könnte die KI-Verordnung, trotz aller Einschränkungen, einer neuen Form der Massenüberwachung und Vorratsdatenspeicherung den Weg ebnen. Denn auch für eine eingeschränkte retrograde Identifizierung müssten Behörden fortan Videoaufnahmen in großem Umfang erstellen – also den öffentlichen Raum überwachen – und über einen längeren Zeitraum speichern. Und um diese Aufnahmen abzugleichen, etwa mit dem Gesicht eines gesuchten Verdächtigen, müssten sie zudem biometrische Daten sammeln und Strafverfolgungsbehörden verfügbar machen.

Auch Predictive Policing mit Einschränkungen erlaubt

Auch für KI-Systeme, die als hochriskant eingestuft werden, haben sich die Verhandlungspartner:innen auf Regeln geeinigt. So soll es hier laut EU-Parlament künftig „klare Anforderungen an eine obligatorische Folgenabschätzung für die Grundrechte“ geben. KI-Systeme, die das Wahlverhalten von Bürger:innen und damit die Ergebnisse von Wahlen beeinflussen können, würden ebenfalls als hochriskant eingestuft.

Auch sogenanntes Predictive Policing – also der Versuch, aus vorhandenen polizeilichen Daten Vorhersagen abzuleiten – soll fortan erlaubt sein, wenn auch mit Einschränkungen. Wie Brando Benifei auf der nächtlichen Pressekonferenz mitteilte, müssten künftig „unabhängige Behörden“ die Erlaubnis für den Einsatz entsprechender Systeme erteilen. Dass soll Missbrauch durch die Polizei verhindern.

Unter anderem Amnesty International hatte in den vergangenen Jahren nachgewiesen, wie Predictive Policing in Großbritannien und in den Niederlanden zu Massenüberwachung, Fehlentscheidungen und Diskriminierung führt.

Welche Ausnahmen für die „nationale Sicherheit“?

Unklar ist derzeit noch, welche konkreten Regeln beim KI-Einsatz für die „nationale Sicherheit“ vorgesehen sind. Hier hatte vor allem die französischen Regierung im Vorfeld umfassende Ausnahmeregelungen gefordert. Würden sie kommen, könnte auch die ungarische Regierung mit Verweis auf die „nationale Sicherheit“ gefährliche KI-Systeme einsetzen. Dazu zählen auch biometrische Massenüberwachung und Social Scoring. Laut EU-Parlament soll dies gemäß der erzielten Einigung aber verboten sein. Es wird sich allerdings zeigen, ob der finale Text nicht doch noch Schlupflöcher offen lässt.

Dass eine solche Ausnahme dem Missbrauch geradezu Tür und Tor öffnen würde, zeigt auch die staatliche Spionagesoftware Pegasus, angeboten von der israelischen NSO Group. Diese Technologie wurde laut Herstellerangaben ausschließlich für Zwecke der nationalen Sicherheit entwickelt. Längst aber ist bekannt, dass auch Oppositionelle, Journalist:innen und Dissident:innen ins Visier gerieten.

Basismodelle unterliegen Auflagen

Bei einem Thema mussten die Regierungen von Frankreich, Deutschland und Italien zurückstecken. Sie hatten im Vorfeld der Verhandlungen weniger Regeln für sogenannte Basismodelle gefordert. Der Vorstoß hatte für großen Widerspruch gesorgt. Basismodelle sind KI-Systeme, die für verschiedene Zwecke eingesetzt werden können.

Verhandler:innen konnten hier offenbar bereits beim ersten Treffen am vergangenen Mittwoch eine Einigung erzielen. Sie sieht unter anderem vor, dass Unternehmen eine technische Dokumentation zu den von ihnen angebotenen Basismodellen erstellen müssen. Diese müssen detailliert darlegen, welche Inhalte für das Training der Modelle verwendet wurden. Basismodelle mit hohen systemischen Risiken unterliegen zudem weiteren Auflagen, darunter strengeren Tests und Berichtspflichten.

Das Parlament hatte in seinem Entwurf zur KI-Verordnung auch Folgenabschätzungen zu Grundrechten gefordert. Anwender:innen von Hochrisikosystemen müssen darin prüfen, welche Risiken mit der Benutzung dieser Systeme verbunden sind, wer von ihnen betroffen sein könnte und wie die Risiken umgangen werden könnten. Der Rat hatte sich gegen solche Folgenabschätzungen eingesetzt, hier konnte sich aber das Parlament durchsetzen.

„Gebt unsere Rechte nicht aus der Hand!“

Es hatte sich frühzeitig abgezeichnet, dass die Einigung zahlreiche Schlupflöcher aufweisen würde. Bereits nach der ersten, 22-stündigen Verhandlungsrunde wandten sich 54 zivilgesellschaftliche Gruppen und 26 Forschende gemeinsam in einem offenen Brief an den Rat. Darin wiesen sie dessen Forderungen nach weiteren Ausnahmen zurück. „Gebt unsere Rechte nicht aus der Hand!“, forderten sie außerdem die anderen Teilnehmenden am Trilog auf.

Hintergrund waren Berichte, wonach die spanische Ratspräsidentschaft die Verhandler:innen des Parlaments in der Nacht von Mittwoch auf Donnerstag unter erheblichen Druck gesetzt habe, damit diese umfangreiche Forderungen des Rats akzeptieren. Danach hätten Sicherheitsbehörden biometrische Systemen dazu verwenden dürfen, um Menschen nach geschützten Attributen – etwa der Ethnizität – zu sortieren.

Auch der liberale Parlamentsverhandler Dragoş Tudorache unterstützte diese Forderungen laut Euractiv offenbar zeitweise. Nach Widerstand des Sozialdemokraten Brando Benifei hatte sich die Parlamentsseite dann wieder zusammengeschlossen. Bei der zweiten Verhandlungsrunde konnte sie dann mehr Verbote im Sicherheitsbereich durchsetzen.

Verhaltene Reaktionen

Sarah Chander, Senior Policy Advisor bei EDRi, will den finalen Text nun genau prüfen: „Wir werden sehen, inwieweit die Kompromisse in der Praxis wirklich funktionieren“, so Chander auf X, „um die Schäden durch diskriminierende und massenhafte Überwachung zu verhindern und zu mindern.“

Die europäische Verbraucher:innen-Organisation BEUC kritisiert den Kompromiss. Systeme zur Emotionserkennung seien weiter zugelassen, was angesichts ihrer Unzuverlässigkeit beunruhigend sei, schreibt die Organisation. KI-Systeme, deren Risiko nicht als hoch eingestuft wird, etwa Spielzeug oder virtuelle Assistenten, würden nur unzureichend reguliert. Auch bei Basismodellen sei der endgültige Kompromiss nicht entschieden genug, etwa weil er keine Prüfungen durch unabhängige Organisationen vorsehe. „Der AI Act hätte insgesamt mehr tun sollen, um Verbraucher:innen zu schützen“, sagte Ursula Pachl, BEUC-Vizedirektorin. „Es ist jetzt essenziell, dass die Behörden diese Gesetzgebung richtig umsetzen, um Verbraucher:innen so viel wie möglich zu schützen.“

Auch die Industrieverbände CCIA und DigitalEurope zeigen sich unzufrieden. Ihrer Meinung nach droht die KI-Regulierung die Innovation in Europa einzuschränken.