Künstliche IntelligenzEU verbietet automatisierte Gesichtserkennung an öffentlichen Orten – „mit wenigen Ausnahmen“

Die EU-Kommission hat erstmals ein Gesetz zur Regulierung von automatisierten Entscheidungssystemen vorgelegt. „Massenüberwachung“ durch KI soll damit verboten werden, biometrische Echtzeit-Überwachung soll in einigen Fällen aber erlaubt bleiben.

Künstliche Intelligenz
In die Glaskugel schauen: Algorithmen entscheiden bereits heute mit. Gemeinfrei-ähnlich freigegeben durch unsplash.com Michael Dziedzic

Die Europäische Kommission hat einen Gesetzesvorschlag zur Regulierung von automatisierten Entscheidungssystemen vorgelegt. Hochriskante Anwendungen sollen genehmigungspflichtig werden, bestimmte Formen solcher Systeme möchte die Kommission gänzlich verbieten. Besonderes Augenmerk legt der Vorschlag auf biometrische Videoüberwachung an öffentlichen Orten. Diese soll wegen ihrer Risiken für den Grundrechteschutz grundsätzlich verboten werden, allerdings bleibt der Einsatz solche Technologie in „wenigen, eng definierten Ausnahmefällen“ erlaubt.

Der neue Gesetzesvorschlag ist Teil eines Bündels an Maßnahmen, die einen sicheren, ethischen und grundrechtekonformen Einsatz von sogenannter Künstlicher Intelligenz (KI) sicherstellen sollen. Darunter versteht die EU-Kommission nicht nur Software, die maschinelles Lernen und neuronale Netzwerke einsetzt, sondern im Grunde alle Arten algorithmischer Entscheidungs- und Empfehlungssysteme. Neben dem neuen KI-Gesetz schlägt die Kommission auch eine Maschinen-Verordnung vor, die neue Sicherheitsregeln für Roboter, 3D-Drucker und anderes Gerät schaffen soll.

Vorgestellte wurde das neue Gesetzespaket am heutigen Mittwoch in Brüssel von Kommissionsvizepräsidentin Margrethe Vestager und Binnenmarktkommissar Thierry Breton. Es handle sich um das erste Gesetz der Europäischen Union, das Künstliche Intelligenz reguliere, sagte Vestager. „Je höher das Risiko, das KI für unser Leben bedeutet, desto strenger die Regeln.“

EU schafft Liste von Hochrisiko-Systemen

Herzstück des Gesetzesvorschlags zur Künstlichen Intelligenz ist eine Liste mit Anwendungen, die künftig als „hochriskant“ eingestuft werden und genehmigungspflichtig sind. Als Beispiel nennt die Kommission  algorithmische Systeme in medizinischen Geräten und selbstfahrende Autos.

Für solche Anwendungen müssen Anbieter eine Risikoeinschätzung und Schutzmaßnahmen sowie eine detaillierte Dokumentation des Systems vorlegen. Auch ist für hochriskante Anwendungen die Verwendung eines „qualitativ hochwertigen Datensatzes“ vorgeschrieben, um Risiken und Diskriminierungseffekte durch die Anwendung zu vermeiden. Zudem sollen Aktivitäten der Systeme geloggt werden, um Entscheidungen nachvollziehbar für menschliche Kontrollinstanzen zu machen. Nutzer:innen müssten über die Wirkungsweise informiert werden.

Anwendungen, die „inakzeptable Risiken“ für Sicherheit, die Grundrechte oder die Lebensgrundlage von Menschen mit sich bringen, sollen gänzlich verboten werden. Unterlagen der Kommission nennen als Beispiel dafür Anwendungen, die den freien Willen ihrer Nutzer:innen manipulieren. Dazu gehöre etwa Spielzeug, dass durch eine Sprachfunktion Kinder zu gefährlichem Verhalten ermutige. Auch soll der Einsatz von „Social-Scoring-Systemen“ durch Regierungen verboten werden, wie sie nach Berichten in China bereits testweise eingesetzt werden.

Die neuen Regeln stufen biometrische Systeme zur Identifizierung von Menschen als hochriskante Anwendungen ein. Der Echtzeit-Einsatz solcher Systeme an öffentlichen Orten durch Strafverfolgungsbehörden, wie er am Berliner Bahnhof Südkreuz getestet wurde, stelle ein besonders große Gefahr für die Grundrechte dar. „Es gibt keinen Platz für Massenüberwachung in unserer Gesellschaft“, sagte Vestager.

Darum soll die Verwendung von Echtzeit-Erkennung an öffentlichen Orten auf wenige Ausnahmen beschränkt werden. Als Beispiel nennt die Kommission die gezielte Suche nach Opfern von Kriminalität in Datenbanken, zur Abwehr einer drohenden Terrorattacke oder zur Auffindung von mutmaßlichen Täter:innen bei schweren Straftaten. Das kann bedeuten, dass trotzdem die biometrische Videoüberwachung aller Bahnhöfe und Fussballstadien damit gerechtfertig wird.

Ein schlankere Set an Vorschriften soll es für Anwendungen geben, die als niedriges Risiko eingestuft werden. Für diese sollen Transparenzvorschriften gelten. Nutzer:innen müssten etwa darüber informiert werden, wenn sie es mit einem Chatbot zu tun haben. Die große Mehrheit der bislang in der EU genutzten KI-Systeme fielen in diese Kategorie, sagt die Kommission.

Nicht gelten sollen die neuen Vorschriften für militärische Anwendungen von Künstlicher Intelligenz. Diese fielen nicht unter die Binnenmarktregeln der EU, argumentiert die Kommission. Die EU-Staaten könnten hier eigene Regeln im Rahmen der Gemeinsamen Sicherheits- und Verteidigungspolitik schaffen.

Nationale Behörden sollen Regeln durchsetzen

Durchgesetzt werden sollen die neuen Regeln von nationalen Behörden in den EU-Staaten, als Vorbild dafür dienen sollen bestehende Aufsichtsstrukturen für die Produktsicherheit. Auch die nationalen Datenschutzbehörden dürften bei der Aufsicht eine Rolle spielen. In Deutschland sind die Bundesnetzagentur, das Bundesamt für die Sicherheit in der Informationstechnik und die Datenschutzbehörden mögliche Kandidaten für eine Rolle bei der Kontrolle der Regeln. Auf europäischer Ebene soll ein Europäischer Ausschuss für Künstliche Intelligenz geschaffen werden, der die nationalen Behörden mit Rechtsmeinungen bei der einheitlichen Durchsetzungen der Regeln unterstützt.

Bei Verstößen gegen das neue Gesetz drohen gesalzene Strafen. Für Herstellerfirmen etwa, die eine verbotene KI-Anwendung auf den Markt bringen oder gegen Vorschriften zum richtigen Umgang mit den Daten verstoßen, drohen Strafen von bis zu 30 Millionen Euro oder von bis zu sechs Prozent ihres globalen Jahresumsatzes. Damit ist der Höchstrahmen höher als jener von vier Prozent, den die Datenschutzgrundverordnung vorsieht.

Der Gesetzesvorschlag der Kommission geht nun an den Rat der EU-Staaten und an das EU-Parlament. Dort haben Abgeordnete in den vergangenen Monaten mehrfach auf strengere Regeln für gewisse KI-Anwendungen gedrängt, das Parlament könnte die Vorschläge nochmal nachschärfen. Ein Beschluss ist nicht vor nächstem Jahr zu erwarten.

10 Ergänzungen

  1. 2 Nachfragen:
    „Nicht gelten sollen die neuen Vorschriften für militärische Anwendungen von Künstlicher Intelligenz. “
    > Bedeuted das, dass zB der MAD Demonstrationen zu politischen Themen filmen und KI-Gesichtserkennung in Echtzeit einsetzen darf, wenn denn nur „vermutet“ würde, dass da ein paar Leute mitlaufen welche der Bundeswehr nicht geneigt sind?

    Außerdem: Was ist denn mit dem nachträglichen Einsatz von KI-Gesichtserkennung bei bereits vorliegenden Videoaufzeichnungen? Ich denke da durchaus auch an deutliche ältere Aufzeichnungen, die irgendwann mal (zB Demos, an Bahnhöfen., etc) gemacht wurden.

    1. Beide Fragen lassen sich mit Blick auf den vorliegenden Entwurf nicht ganz einfach beantworten. Kann aber gut sein, dass diese wichtigen Fragen im Laufe des Gesetzgebungsprozesses noch geklärt werden.

  2. Auf den ersten Blick klingt es ganz positiv, wenn die EU den „sicheren, ethischen und grundrechtekonformen Einsatz von sogenannter Künstlicher Intelligenz“ gewährleisten will.

    Ich habe aber meine Zweifel, ob diesem „Gesetz“ (die EU erlässt nur Richtlinien und Verordnungen) eine generell-abstrakt zu definierende „Ethik“ zugrunde liegt, oder doch nur konkret individuell ausgeprägte Vorurteile. Die Begriffe „hochriskante Anwendungen“, inakzeptable Risiken“ sprechen eher für undurchdachte Gefühle des zuständigen Desk Officers.

    Ein Beispiel dafür liefert der Artikel schon selbst: Für die gezielte Suche nach Opfern von Kriminalität gelten Ausnahmen für die Verbote. Für die Suche nach Tätern gelten die Ausnahme nur bei schweren Straftaten. D.h., der Täter genießt höheren Schutz als das Opfer. Ist das ethisch begründbar?

    1. Ein Wort zur vermeintlichen Beckmesserei zum Begriff Gesetz (Beckmesser ist ja nur, wer Recht hat). Dazu bemerkt Wikipedia:

      Unter Gesetz versteht man

      inhaltlich (materiell) jede Rechtsnorm, welche menschliches Verhalten regelt.
      förmlich (formell) jeden Willensakt, welcher im Gesetzgebungsverfahren zustande gekommen ist.

      Es folgt also, das Richtlinien, Verordnungen und andere EU-Rechtsakte unter dem Begriff „Gesetz“ zu subsumieren sind. Natürlich sind viele Dödeleien über Begrifflichkeiten möglich, aber bei der hier reicht es mal. Setzen, sechs!

    2. „Für die gezielte Suche nach Opfern von Kriminalität gelten Ausnahmen für die Verbote. Für die Suche nach Tätern gelten die Ausnahme nur bei schweren Straftaten. D.h., der Täter genießt höheren Schutz als das Opfer. Ist das ethisch begründbar?“

      Das Opfer hat idR dadurch keine Nachteile zu befürchten, sondern eher Vorteile bzw. Schutz.
      Die systematische Suche nach Täter*innen in einer praktisch grenzenlosen Menge Unschuldiger steht der Unschuldsvermutung im Rechtsstaat entgegen, und muss deshalb in angemessenem Verhältnis zur Tat stehen (Schwarzfahrer sucht man ja auch nicht per Rasterfahndung, auch wenn sich das manch ein Minister vom Kaliber Seehofer vielleicht gern wünscht!).

    3. Das hakt für mich an ganz anderer Stelle : Wie will ich das abgrenzen? Ein Gesichtserkennungssystem ist physisch vorhanden oder nicht. Wenn es vorhanden ist, hat der Passant (oder der Datenschutzbeauftragte) keine Möglichkeit zu wissen, ob es aktiviert ist. Und da es quasi immer in irgendeiner Akte noch einen ungelösten Entführungsfall geben wird, Kann sich die Exekutive permanent auf diese „Ausnahme“ berufen.

      Natürlich sind „schwere Straftaten“ 6 Monate nach Einführung dann auch Cannabis Dealer mit Kleinstmengen, das steht ja außer Frage.

      1. Alleine schon falsche Positive sind dann ein reales Problem.

        Und dann heißt es „man gucke ja drauf“, usw. aka „wir sind doch die Guten“. Dann kippt das Klima mal, und ein Wachthündchen hat in der Hand, per Knopfdruck den Zugriff einzuleiten, ein Wachtleithündchen darf die Parameter anpassen, es gibt Beugehaft ohne Anwalt usw. Wen genau es trifft usw. mal sehen.

        Die IT-Gesetzgebung in Deutschland kann gegenüber IT-Volk sehr schnell Repressionscharacter annehmen – Hausdurchsuchung …. Equipment neu kaufen und Haus wechseln? Oder besser vorher schon den Kontinent wechseln? Das wird ja eine Abwägung sein, oder ist es bereits…

  3. Damit ist Aufbau und Betrieb der fuer Totalueberwachung im oeffentlichen Raum notwendigen Infrastruktur zulaessig („wird ja nur fuer ganz wenige total schlimme Taten genutzt“). Und die Infrastruktur ist der kritische, weil teure und transparente Schritt. Alles danach ist relativ guenstig und vor allem intransparent machbar.

    Diese Regelung ist de facto der Einstieg in die dann moegliche und erfahrungsgemaess immer weiter ausgeweitete Nutzung, also der Einstieg in genau die automatisierte Gesichtserkennung an oeffentlichen Orten als Normalfall.

    Bitte nicht auf das framing reinfallen: hier ist nichts verboten worden, hier wurde erlaubt.

  4. Die neuen Regulierungen sind noch bei weiten nicht perfekt aber sicher ein guter Schritt in die richtige Richtung.
    Man sollte nun darauf achten, dass die genannten Ausnahmen nicht durch irgendwelche fragwürdigen Definitionen wieder ausgehebelt werden. Sollen ja einige Mitgliedsstaaten ganz gerne mal machen.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.