AI Act: Wie die Ausnahmen in der KI-Verordnung landeten

Dieser Artikel wurde von dem Journalistenteam Investigate Europe recherchiert, das aus Reporterinnen und Reportern aus elf europäischen Staaten besteht. Die Recherche wird gemeinsam mit Medienpartnern wie Disclose (Frankreich), EU Observer (Belgien), Il Fatto Quotidiano (Italien), InfoLibre (Spanien), Publico (Portugal) und Efsyn (Griechenland) veröffentlicht.

Ab dem 2. Februar 2025 sind KI-Systeme, die ein unannehmbares Risiko darstellen, in der EU verboten. Das ist im AI Act, der europäischen KI-Verordnung, geregelt. Die ersten dieser Regeln werden bald gültig, bei anderen dauert es noch etwas. Aber der AI Act enthält Ausnahmen und Schlupflöcher. Deshalb dürfen etwa Strafverfolgungsbehörden weiter Gesichtserkennung auf Videoüberwachungsbilder anwenden und an der Grenze dürfen automatisiert die mutmaßlichen Emotionen von Geflüchteten ermittelt werden. Das sind nur einige der Punkte, die die EU-Staaten in den europäischen AI Act hineinverhandelt haben. Dabei sollte das Gesetz eigentlich die zahlreichen Grundrechtsbedenken beim Einsatz von KI-Systemen ausräumen.

Grund für die Ausnahmen ist unter anderem die geheime Lobbyarbeit Frankreichs und anderer EU-Staaten. Das zeigen interne Dokumente aus den Verhandlungen, die Investigate Europe vorliegen. Sie zeichnen ein Bild von Gesprächen, in denen es den Mitgliedstaaten gelang, den Gesetzestext zu verwässern und damit Polizei und Grenzschützern die Möglichkeit zu geben, Bürgerinnen und Bürger heimlich zu überwachen.

Ausnahmen für die „nationale Sicherheit“

„Eine Reihe von bürokratischen Schlupflöchern führt dazu, dass der AI Act nicht das Gesetz zum Schutz der Menschenrechte ist, auf das viele gehofft hatten“, sagt die Direktorin der Brüsseler Nichtregierungsorganisation Equinox, Sarah Chander, die sich gegen rassistische Diskriminierung einsetzt. „In Wirklichkeit ist der AI Act ein industriefreundliches Instrument, das den europäischen KI-Markt schnell voranbringen und den öffentlichen Dienst digitalisieren soll.“

Für die Recherche konnte Investigate Europe mehr als 100 Dokumente aus den Sitzungen des COREPER-Ausschusses sichten, in dem sich die ständigen Vertreter:innen der 27 Mitgliedstaaten treffen. Sie bereiten die Sitzungen des Rats der EU vor. Die Journalistinnen und Journalisten konnten auch mit mehreren Personen sprechen, die an den Verhandlungen beteiligt waren. Sie zeigen, wie Frankreich strategische Änderungen im Gesetzestext durchsetzen konnte.

Das KI-Gesetz verbietet den Einsatz von Gesichtserkennungssystemen im öffentlichen Raum. Ausnahmen, die von der Regierung Macron und ihren Unterstützern in das Gesetz hineinverhandelt wurden, ermöglichen es jedoch, dass Strafverfolgungsbehörden und Grenzschutzbeamte sich nicht immer an dieses Verbot halten müssen. Dies könnte beispielsweise dazu führen, dass Klimademonstrationen oder politische Proteste mit Hilfe von KI überwacht werden, wenn die Behörden eine Gefährdung der „nationalen Sicherheit“ befürchten.

Harter Kampf um Gesichtserkennung

In einer COREPER-Sitzung im November 2022 brachte der französische Verhandlungsführer die Wünsche seiner Regierung unmissverständlich zum Ausdruck. Er habe gefordert, dass „die Ausnahme von Sicherheit und Verteidigung vom Anwendungsbereich unbedingt beibehalten werden muss“, heißt es in einem Protokoll der Sitzung. Damit bezog er sich auf eine Passage im damaligen Gesetzentwurf, laut der nur das Militär Echtzeit-Gesichtserkennung im öffentlichen Raum einsetzen dürfen sollte. In einer späteren Sitzung unterstützten mehrere Staaten die französische Forderung, darunter Italien, Schweden, Finnland, Tschechien, Litauen, Rumänien, Ungarn und Bulgarien.

„Das war einer der härtesten Kämpfe, den wir am Ende verloren haben“, erinnert sich einer der Verhandlungsführer im Gespräch mit Investigate Europe, der seinen Namen nicht in diesem Bericht lesen möchte. Die endgültige Fassung des Gesetzes erlaubt es Staaten, Überwachungstechnologien einzusetzen, wenn es um die nationalen Sicherheit geht.

In der Praxis könnten sich dank dieser Regelung auch private Unternehmen sowie Drittstaaten an der Überwachung von EU-Bürgern beteiligen, wenn sie den Sicherheitsbehörden des Landes KI-Technologie zur Verfügung stellen. Das Gesetz sieht vor, dass die Überwachung zulässig ist – „unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt“.

Schlupfloch für private Unternehmen

„Dieser Artikel verstößt gegen jede Verfassung, gegen die Grundrechte und gegen europäisches Recht“, sagt ein Jurist der konservativen EVP-Fraktion im Europäischen Parlament im Gespräch mit Investigate Europe. „Frankreich könnte zum Beispiel die chinesische Regierung bitten, mit ihren Satelliten Fotos zu machen und diese an die französische Regierung zu verkaufen.“

Die Ausnahme widerspreche auch Urteilen des Europäischen Gerichtshofs, sagt die Rechtswissenschaftlerin Plixavra Vogiatzoglou von der Universität Amsterdam. In den Jahren 2020 und 2022 hatten die Luxemburger Richter geurteilt, dass französische Telekommunikationskonzerne gegen EU-Recht verstoßen hätten, weil sie Daten aus Gründen der nationalen Sicherheit gespeichert hätten. Vogiatzoglou: „Der EU-Gerichtshof hat gesagt, dass private Unternehmen nicht vom EU-Recht ausgenommen sind, auch wenn sie in Fragen der nationalen Sicherheit involviert sind.“

Auch außerhalb der Ratsverhandlungen hat Frankreich in den vergangenen Jahren auf den Einsatz von Überwachungstechnologien gedrängt. So genehmigte das Verfassungsgericht des Landes im Mai 2023 den Einsatz von KI-Systemen zur Videoüberwachung während der Olympischen Spiele in Paris. Diese Maßnahme wurde von Amnesty International als „ernsthafte Bedrohung für bürgerliche Freiheiten und demokratische Prinzipien“ kritisiert. In Zukunft könnte diese Ausnahme zur Regel werden.

Emotionserkennung an der Grenze erlaubt

Ab dem 2. Februar außerdem verboten sind KI-Systeme zur Emotionserkennung am Arbeitsplatz, in Schulen und Universitäten. Außerdem dürfen Unternehmen die Technologie nicht nutzen, um das Verhalten potenzieller Kunden in ihren Geschäften zu analysieren. Auch Arbeitgeber dürfen sie nicht einsetzen, um festzustellen, ob ihre Mitarbeiter zufrieden oder traurig sind. Dank des Einsatzes Frankreichs und anderer EU-Länder dürfen Sicherheitsbehörden und Grenzschützer die Systeme künftig jedoch nutzen.

Bei einer Verhandlungssitzung von COREPER am 29. November 2023 betonte der dänische Vertreter, dass ein Verbot „verhältnismäßig sein muss und nur dann gelten darf, wenn die Gefahr einer Diskriminierung besteht“. Die Niederlande, Portugal und die Slowakei vertraten bei dem Treffen eine ähnliche Position und äußerten sich kritisch zu einer Ausweitung des Verbots auf die Strafverfolgung.

Eine weitere umstrittene Anwendung von KI sind biometrische Kategorisierungssysteme. Deren Betreiber versprechen, damit die ethnische Zugehörigkeit oder sogar die sexuelle Orientierung einer Person bestimmen zu können. Das neue EU-Gesetz verbietet zwar ihren Einsatz, aber hier gibt es ebenfalls eine Ausnahme für Strafverfolgungsbehörden: „Dieses Verbot erstreckt sich nicht auf die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze … auf der Grundlage biometrischer Daten oder auf die Kategorisierung biometrischer Daten“.

Auch hier war es Frankreich, das die Beschränkungen des AI Act aufweichte. In einem schriftlichen Kommentar zum Gesetzentwurf schrieben die französischen Verhandlungsführer am 24. November 2023, es sei „sehr wichtig, die Suche nach einer Person zu ermöglichen, … die ihre religiösen oder politischen Ansichten zum Ausdruck bringt und beispielsweise ein Abzeichen trägt, wenn diese Person in gewalttätigen Extremismus verwickelt ist oder ein terroristisches Risiko darstellt“.

Gesichtserkennungssoftware kann in Echtzeit eingesetzt werden, wenn dies für die Strafverfolgungsbehörden „unbedingt erforderlich“ ist. Die Polizei kann die Technologie bei Ermittlungen zu 16 bestimmten Straftaten einsetzen, darunter „Umweltkriminalität“. Mehrere Staaten drängten darauf, die Liste um Dutzende von Straftaten zu erweitern. Aus dem Protokoll einer COREPER-Sitzung vom November 2023 geht hervor, dass Frankreich auf eine Ausweitung des Anwendungsbereichs drängte. Unterstützt wurde es dabei von den Vertreter:innen aus Italien, Zypern, Estland, Lettland, Bulgarien und Ungarn.

In derselben Verhandlungssitzung forderte der griechische Vertreter, dass Gefängnisse und Grenzgebiete ausdrücklich von jeglichem Verbot ausgenommen werden sollten. Vielmehr sollten die Behörden die Möglichkeit haben, Bürger und Geflüchtete mit Echtzeit-Überwachungstechnologie zu überwachen.

„Ende der Anonymität“

Mit biometrischen Systemen könnten Millionen von Gesichtern überwacht und mit nationalen Datenbanken abgeglichen werden, um Personen zu identifizieren. Der Einsatz dieser Technologie im öffentlichen Raum würde „das Ende der Anonymität an diesen Orten“ bedeuten, warnte bereits 2020 European Digital Rights. Zivilgesellschaftliche Organisationen warnen seit langem davor, dass der AI Act die Grundrechte in Europa massiv einschränken könnte.

„Wir leben in einem Klima, in dem unsere Regierungen auf immer mehr Ressourcen, Gesetze und Technologien drängen, um Menschen in ihrem Alltag leichter zu überwachen, zu kontrollieren und zu bestrafen“, sagt die Gründerin der Brüsseler Anti-Rassismus-Organisation Equinox, Sarah Chander. „Wir entfernen uns immer weiter von einer Zukunft, in der die wir unsere Ressourcen für soziale Vorsorge und Schutz ausgeben statt für Überwachungstechnologie.“

Als am 6. Dezember 2023 die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission über die endgültige Fassung des AI Act begann, drängte die spanische Ratspräsidentschaft darauf, den Gesetzestext noch vor den Europawahlen im Juni 2024 zu verabschieden. Offenbar fürchteten die spanischen Diplomaten das Erstarken rechtsradikaler Parteien. Ein Beamter, der an den Gesprächen teilnahm und um Anonymität bat, berichtete Investigate Europe, dass die Unterhändler eineinhalb Tage lang verhandelten. „Wir waren erschöpft, und erst nach einer durchverhandelten Nacht begannen wir um 6 Uhr morgens, über Verbote zu sprechen“, erinnert er sich heute. „Am Ende haben wir erreicht, dass jedes Produkt von einer unabhängigen nationalen Behörde zugelassen werden muss.“

Selbstzertifizierung möglich

Der Einsatz sogenannter Hochrisikotechnologien wie Echtzeitüberwachung ist an bestimmte Bedingungen geknüpft, darunter ein Gerichtsbeschluss, die Registrierung in einer europäischen Datenbank und eine Folgenabschätzung zur Wahrung der Grundrechte. Doch auch hier wurden die strengen Regeln in den Verhandlungen teilweise aufgeweicht. So fügten die Verhandlungsführer dem Gesetz einen Artikel hinzu, der es Unternehmen erlaubt, eine Selbstzertifizierung auszufüllen und damit zu entscheiden, ob es sich bei ihrem Produkt um eine Hochrisikotechnologie handelt oder nicht.

Investigate Europe liegt ein internes Arbeitspapier des juristischen Dienstes des Europäischen Parlaments vor, das diese Lösung in Frage stellt. „Den Unternehmen wird ein hohes Maß an Subjektivität überlassen, was im Widerspruch zum Ziel des AI Act steht, das Risiko von Hochrisiko-KI-Systemen zu regulieren.“

Tatsächlich dürften die Verhandlungspartner auch von dem Interesse getrieben gewesen sein, ihre eigenen Wirtschaftsunternehmen zu schützen. Die Regierung Macron warnte in einer Verhandlungsrunde am 15. November 2023, dass ohne einen breiten Einsatz von KI-Technologien „die Gefahr besteht, dass Unternehmen ihre Aktivitäten in Regionen verlagern, in denen Grundrechte keine Rolle spielen“.

Konkrete Auswirkungen noch nicht absehbar

Es bleibt abzuwarten, inwieweit die Mitgliedstaaten die Ausnahmen nutzen werden. Der niederländische Anwalt für digitale Rechte, Anton Ekker, glaubt, dass die Ausnahmen in der Praxis kaum Auswirkungen haben werden. „Ich bin sehr kritisch, wenn ein Staat Algorithmen einsetzt. Aber zu sagen, dass alles erlaubt ist, weil es Ausnahmen gibt, ist nicht richtig“, sagte er in einem Interview mit Investigate Europe. „Es gibt viele nationale Verfassungen, die Grundrechte schützen.“

Professorin Rosamunde van Brakel forscht an der Vrije Universiteit Brüssel zu ethischen Fragen rund um den Einsatz von KI. Sie befürchtet, dass das Gesetz Betroffenen kaum helfen wird. „In den meisten Fällen greifen Regulierung und Aufsicht erst, nachdem es zu einem Verstoß gekommen ist. Vorher schützen sie uns nicht“, sagt sie. „Außerdem betreffen KI-Anwendungen im öffentlichen Sektor oft schutzbedürftige Bevölkerungsgruppen, die nicht in der Lage sind, eine Beschwerde einzureichen oder darauf zu vertrauen, dass eine Beschwerde ernst genommen wird.“