AI Act vs. Algorithmic Accountability Act: Wie die EU und die USA Algorithmen regulieren wollen

Ist die Person im Uber die, als die sie sich ausgibt? Geht das Spenderherz an den jungen oder den alten Patienten? Algorithmen unterstützen bei der Identitätsprüfung und verarbeiten digitalisierte Daten für medizinische Zwecke. Aktuell gefährden automatisierte Entscheidungssysteme (AES) allerdings mehr Menschen, als dass sie sich positiv auf sie auswirkten, ergab ein Bericht von AlgorithmWatch. Sie führen bei der Vergabe von Jobs, Studienplätzen oder in der medizinischen Versorgung immer wieder zu rassistischen Entscheidungen. Die Betroffenen wissen oft nicht, dass ein System entschieden hat. Auch über den genauen Vorgang oder darüber, welche Daten als Grundlage verwendet werden, ist häufig wenig bekannt. Für Betroffene ist es damit schwierig bis unmöglich, Entscheidungen anzufechten.

Um diesen Problemen entgegenzuwirken, wird in den USA und in Europa an Gesetzen zur Regulierung dieser Technologien gearbeitet. Im Februar wurde ein neuer Entwurf des Algorithmic Accountability Act in den US-Kongress eingebracht. Die Europäische Kommission hat bereits im April 2021 einen Verordnungsentwurf zu Künstlicher Intelligenz vorgelegt.

Doch die Ansätze unterscheiden sich schon im Kern. Während es im Artificial Intelligence Act (AIA) der EU um Regulierungen für ‚vertrauensvolle KI‘ geht, bei denen die Grundrechte im Mittelpunkt stehen sollen ohne Innovation zu hemmen, geht es im US-Entwurf eher darum, Unternehmen haftbar zu machen. Das Gesetz soll Entwickler:innen, Hersteller:innen und Unternehmen zu mehr Transparenz verpflichten. Wer automatisierte Entscheidungssysteme einsetzt, soll dafür zukünftig verantwortlich gemacht werden können.

„KI“ oder „Entscheidungssysteme“?

In dieser Unterscheidung liegt ein Knackpunkt. Denn welchen Einfluss die Gesetze am Ende haben, hängt stark vom festgelegten Anwendungsbereich ab. Der US-Entwurf zielt auf die Unternehmen ab, die solche Systeme einsetzen  – und stärkt so die Rechte der Nutzer:innen.

Im Mittelpunkt des Algorithmic Accountability Act 2022 steht der „augmented critical decision process“. Es geht also um Prozesse, in denen Berechnungen einer Software oder eines Systems als Basis für kritische Entscheidungen dienen. Entscheidungen zählen laut dem Entwurf immer dann als kritisch, wenn sie sich auf das Leben der Nutzer:innen in Bereichen wie beispielsweise Bildung, Familienplanung oder Gesundheit auswirken. Die konkreten Auswirkungen auf den Menschen beim Einsatz der Technologie stehen im Mittelpunkt.

Konkret heißt das: Hersteller:innen, Entwickler:innen und Unternehmen, die algorithmische Systeme in sensiblen Bereichen einsetzen, sind zu Folgenabschätzungen verpflichtet und müssen alle Details zur Technologie offen legen. „Bei den Folgenabschätzungen geht es darum, potenzielle Risiken zu verstehen und die notwendigen Maßnahmen zur Schadensreduktion zu ergreifen“, sagt Willmary Escoto von der Bürgerrechtsorganisation Access Now gegenüber netzpolitik.org.

Der europäische Entwurf dreht sich dagegen eher um die Technologien unter dem Schlagwort „Künstliche Intelligenz“. Der Anwendungsbereich soll sich nicht auf automatisierte Entscheidungen beziehen, sondern allgemein auf „KI“ oder „KI-Systeme“. Darunter fallen zwar auch Systeme, die Vorhersagen, Empfehlungen oder Entscheidungen treffen. Die zivilgesellschaftliche Organisation AlgorithmWatch kritisiert jedoch, dass der Begriff „Künstliche Intelligenz“ wenig aussagekräftig sei und Institutionen viel Spielraum biete, sich ihren Pflichten zu entziehen.

Es könne nicht sein, dass rassistische und diskriminierende Anwendungen einfach weiterlaufen können, weil sie „nicht KI genug“ seien, so Angela Müller von AlgorithmWatch. Nicht welche, sondern wie die Technologie eingesetzt wird und wie sie sich auswirkt, sei entscheidend. AlgorithmWatch fordert daher den EU-Rat und das Parlament auf, den Entwurf anzupassen und von automatisierten Entscheidungssystemen zu sprechen.

Wer wird reguliert?

In den USA wird die unabhängige Bundesbehörde ‚Federal Trade Commission‘ (FTC) berechtigt, Folgenabschätzungen für automatisierte Entscheidungssysteme und kritische Entscheidungsprozesse zu verlangen. Verpflichtend soll das für alle Privatpersonen, Unternehmen oder Kooperationen gelten, die einen durchschnittlichen Jahresumsatz von mindestens 50 Millionen Dollar erzielen, einen Eigenkapitalwert von mehr als 250 Millionen Dollar haben oder die Daten von mehr als einer Millionen Haushalten oder Geräten für automatisierte Entscheidungssysteme verarbeiten. Das betrifft beispielsweise große Gesundheitsfirmen oder Banken. Das Gesetz würde zusätzlich Hersteller:innen und Entwickler:innen haftbar machen, die davon ausgehen, dass ihre Algorithmen in kritischen Bereichen eingesetzt werden.

Willmary Escoto sagt, der Entwurf sei ein signifikanter Schritt, um die großen Plattformen verantwortlich machen zu können. Das Problem bestehe in der Frage, welche Plattformen als „groß“ und welche noch als „klein“ durchgehen. Unternehmen könnten schließlich schnell wachsen.

Die europäische Kommission hat im Gegensatz dazu nicht auf Umsatz oder Größe geschaut, sondern einen risikobasierten Ansatz gewählt. Die Regulierungen orientieren sich daran, welches Risiko einer Technologie zugeschrieben wird.

Wer Technologien mit ‚hohem Risiko‘ entwickelt, muss eine Risikoabschätzung in der technischen Dokumentation anfertigen. Obwohl das Risiko davon abhängt, wie die Systeme eingesetzt werden, sind aktuell nur die so genannten Anbietenden zu Auflagen verpflichtet – gemeint sind damit diejenigen, die ein bestimmtes System entwickeln. Über 120 zivilgesellschaftliche Organisationen fordern, dass bei ‚hohem Risiko‘ auch explizit die sogenannte Anwender:innen angesprochen werden, also all jene, die die Systeme später einsetzen.

Technologien, die in unkritischen Bereichen mit Menschen interagieren, wie beispielsweise Chatbots, fallen dagegen in die Kategorie ‚geringes Risiko‘. Die Unternehmen, die solche Bots anbieten, müssten Nutzende dann lediglich darauf hinweisen, dass sie es mit einem automatisierten System zu tun haben. Eine Risikoabschätzung ist für sie nicht vorgesehen.

Der Fall des diskriminierenden Chatbots „Lee Luda“, der Anfang 2021 von südkoreanischen Entwicklern nach homophoben und transfeindlichen Kommentaren offline genommen werden musste, zeigt jedoch, dass Risikoabschätzungen vor dem Einsatz eines Systems sinnvoll wären. In vorher festgelegten Risikokategorien kann nicht berücksichtigt werden, in welchem Kontext das System später eingesetzt wird und wie es sich konkret auf Menschen auswirkt.

Auch Angela Müller von AlgorithmWatch spricht sich für niedrigschwellige Folgenabschätzungen vor dem Einsatz des Systems aus. Sie schlägt eine unbürokratische erste Stufe vor, auf die anschließend, je nach Risiko, weitere Verpflichtungen für die Unternehmen oder Behörden folgen, die die Systeme einsetzen. Der öffentliche Sektor sollte ihrer Meinung nach für alle automatisierten Entscheidungssysteme eine Folgenabschätzung anfertigen müssen. Zum öffentlichen Sektor gehören etwa die Bundes- oder Landesregierungen, Gemeinden und deren Einrichtungen wie etwa Krankenhäuser, Rentenversicherer oder Krankenkassen.

AI Act: Was folgt aus der Risikobewertung?

Im Entwurf der EU-Kommission werden die Risiken in vier Kategorien unterteilt, von ’nicht akzeptable Risiken‘ bis ‚geringe Risiken‘.

• Nicht akzeptable Risiken bergen demnach KI-Systeme, die offensichtlich Meinungen und Menschen manipulieren, die Schwäche oder Schutzbedürftigkeit von Kindern oder Menschen mit körperlichen und psychischen Beeinträchtigungen ausnutzen, um ihr Verhalten zu beeinflussen, oder in Richtung von Sozialkredit-Systemen gehen. All diese Systeme sollen komplett verboten werden.
• Komplizierter wird es bei KI-Systeme mit ‚hohem Risiko‘. Sie werden unterteilt in solche, die als Sicherheitskomponenten für andere Technologien notwendig sind, beispielsweise im Bereich des Fliegens oder bei Fahrzeugen. Und solche, die etwa im Kontext der biometrischen Identifizierung von Personen, der Bildung, der Strafverfolgung oder bei Asylgesuchen oder Grenzkontrollen verwendet werden. Für Unternehmen, die sie verwenden, gelten besondere Auflagen: Sie müssen etwa eine hohe Datenqualität und ein Risikomanagement nachweisen, haben Transparenzpflichten gegenüber Nutzenden und müssen eine technische Dokumentation vorlegen. Darin müsste unter anderem offengelegt werden, woher die verwendeten Daten kommen, wie sie getestet und aufbereitet wurden, ob und wieso sie geeignet sind.
• Für KI-Systeme, die als ‚begrenztes Risiko‘ eingestuft werden, aber mit Menschen interagieren, sind die Anwender:innen lediglich verpflichtet, die Nutzenden auf das KI-System hinzuweisen. Auch wenn Systeme zur Emotionserkennung oder zur biometrischen Identifikation genutzt oder manipulierte Inhalte wie DeepFakes verwendet werden, müssen die Nutzenden darauf hingewiesen werden.
• Für Systeme in der Kategorie ‚geringes und minimales Risiko‘ gibt es dagegen keinerlei Verpflichtungen. Die Kommission bittet dennoch darum, Risikoabschätzungen anzufertigen.

Abgesehen von der fehlenden Kontextualisierung kritisiert AlgorithmWatch die starren Kategorien. Es sei nicht nur unklar, ab wann ein System als ‚hohes Risiko‘ gewertet werde. Der Ansatz sei außerdem wenig flexibel, wenn Systeme sich über die Zeit veränderten oder neue dazu kämen. Die vorgegriffene Bewertung verhindere, dass Unternehmen verpflichtet werden, deren Anwendung von ‚gering risiko‘ KI-Systemen durchaus gefährlich für die Gesellschaft sein könnten. Die minimalen Transparenzanforderungen für Systeme wie beispielsweise DeepFakes reichten auch nicht aus.

Was steht in der Folgenabschätzung?

Die verpflichtende Folgenabschätzung in den USA zwingt die Unternehmen zu mehr Transparenz. So müssen sie detailliert angeben, welcher Prozess durch das automatisierte Entscheidungssystem ersetzt wird, welche Vorteile das mit sich bringt und welches Ziel dahinter steht. Jegliche Kommunikation zwischen Stakeholdern und Entwickler:innen bezüglich des Systems würde ebenfalls offengelegt.

Die Unternehmen werden verpflichtet, das System immer wieder zu überprüfen, Mitarbeitende im Umgang mit dem System zu schulen und dafür Journalist:innen und Wissenschaftler:innen hinzuzuziehen. Außerdem muss der Prozess dokumentiert werden: Woher kommen die Daten, wurden sie kategorisiert oder gesäubert? Um gegen diskriminierende Systeme vorzugehen, müssen Unternehmen auf Grundlage dieser Dokumentation beantworten, ob diese Daten repräsentativ sind und unter welchen Annahmen sie ausgewählt wurden. Jede Beschwerde und Veränderung am System muss ebenfalls dokumentiert werden.

Willmary Escoto von Access Now hält die Folgenabschätzungen für ein sehr wirksames Instrument, damit große Plattformen ausformulieren und erklären, wie ihr Vorhaben die Gesellschaft beeinflusse. Sie könnten helfen, die Gefahren klarzustellen und setzten einen Standard bei der Offenlegung ihrer Arbeitsweise.

Ein Kritikpunkt sind die Ausnahmen, die für verpflichtete Unternehmen im Gesetzesentwurf stehen. Wenn „kein Zugang zu Daten“ bestehe, können sie demnach von der Folgenabschätzung ausgenommen sein. Welche Gründe hier als legitim gelten, muss die FTC noch festlegen. Sie will mit den Folgenabschätzungen außerdem einmal jährlich einen Bericht herausgeben, der die Entwicklungen aufzeigt, etwa in welchen Bereichen vermehrt automatisierte Entscheidungssysteme eingesetzt werden. Alle drei Jahre soll geprüft werden, welche Systeme zu Folgenabschätzungen verpflichtet sind.

Stärkung der Betroffenen

Im US-Entwurf ist geregelt, dass jede Person darauf hingewiesen werden muss, dass ein automatisiertes System verwendet wird. In den Berichten soll für Betroffene einsehbar sein, wie das System funktioniert und auf welcher Grundlage entschieden wird. Sie müssen die Möglichkeit haben, eine andere Entscheidungsgrundlage einzufordern, sich beschweren zu können und der Entscheidung zu widersprechen.

„Der Gesetzesentwurf wird Unternehmen zur Verantwortung ziehen, wenn ihre Algorithmen unfaire, voreingenommene, diskriminierende Entscheidungen treffen, die sich auf Millionen Menschen auswirken“, sagt Willmary Escoto.

Der europäische Entwurf ist dem amerikanischen in diesem Punkt deutlich unterlegen. Die Betroffenen werden zwar informiert, wenn ein KI-System verwendet wird. Wie genau die Entscheidung zustandekommt, muss hingegen nicht dokumentiert werden. Deswegen kritisiert eine Allianz aus mehr als 120 zivilgesellschaftlichen Organisationen, dass die Rechte der Betroffenen zu kurz kommen: Es sind keine Beschwerdestellen vorgesehen und es gibt keine vorgeschriebenen Rechtshilfen für Betroffene. Sie sollten auch rechtlich dagegen vorgehen können, einem automatisierten System ausgeliefert zu sein. Prüft beispielsweise ein System die Identität durch ein Foto und den Ausweis, werden Unternehmen nicht dazu verpflichtet eine menschliche Alternative bereit zu stellen.

Ein weiterer Schwachpunkt, auf den die Organisationen hinweisen: Sowohl der amerikanische als auch der europäische Entwurf beziehen sich auf ihre Bewohner:innen. In den USA würden Entwickler:innen, Hersteller:innen und Anwender:innen verpflichtet, Berichte an die Kommission zu liefern sobald ihre Software im Land für automatisierte Entscheidungen verwendet wird. Die Anforderungen im europäischen Entwurf würden für Unternehmen gelten, deren KI-Systeme in der EU genutzt werden. Das hat den Vorteil, dass Unternehmen die Anforderungen nicht umgehen können, indem sie im Ausland produzieren. Der Nachteil: Es wäre weiterhin erlaubt, KI-Systeme mit ‚hohem Risiko‘ in der EU herzustellen und dann an Drittstaaten zu verkaufen. AlgorithmWatch schlägt deswegen vor, den Entwurf zu erweitern um diese Option auszuschließen. Die Sicherheit der Menschen außerhalb der EU sollte ebenfalls gewährleistet werden.

Auch bei der Regulierung von KI im Arbeitskontext bleibt der Entwurf des AIA hinter seinen Möglichkeiten. Die Arbeitnehmenden müssen über den Einsatz eines KI-Systems und seine wichtigsten Eigenschaften informiert werden. Das im Whitepaper zu künstlicher Intelligenz vorgesehene Mitsprache-Recht der Arbeitnehmenden beim Einsatz von KI-Systemen am Arbeitsplatz ist nicht mehr vorgesehen. AlgorithmWatch kritisiert außerdem, dass trotz bekannter Fälle diskriminierender Bewerbungsverfahren, die Rechte der Arbeitnehmenden nicht zusätzlich gestärkt würden. Auch im Hinblick etwa auf die aktuellen Streiks bei Lieferdiensten wäre das ein bedeutender Schritt.

Mehr Rechte, mehr Kontrolle

Bei beiden Ansätzen stellt sich die Frage, ob sie wirklich dazu führen können, dass automatisierte Entscheidungssysteme überwiegend positive Auswirkungen auf den Menschen haben.

Der US-amerikanische Ansatz könnte ein erster Schritt in Richtung mehr Transparenz sein. Dass die Unternehmen bis ins kleinste Detail angeben müssen, wie ihr System funktioniert und welche Daten die Grundlage bilden, kann potenziell diskriminierende Systeme nicht verhindern, gibt den Betroffenen aber mehr Einflussmöglichkeiten. Die Prüfung möglicher negativer Folgen vor dem Einsatz scheint verantwortungsbewusster. Willmary Escoto findet, dass der Entwurf aufzeigt, wo die Probleme herkommen und wie sie gestoppt werden. Er biete die Möglichkeit, Macht über Algorithmen zurück zu gewinnen, die kritische Teile unseres Lebens kontrollierten.

Auch der europäische Ansatz ist ein erster Versuch. Dafür, dass die Grundrechte im Vordergrund stehen sollen, geht er vielen zivilgesellschaftlichen Organisationen allerdings nicht weit genug. Durch den risikobasierten Ansatz liegt der Fokus nicht darauf, wie KI-Systeme sich auf Betroffene auswirken, sondern auf den verwendeten Technologien, und auch hier bleibt der Entwurf hinter seinen Möglichkeiten.

„Dass der Verordnungsentwurf vorgelegt wurde, ist ein wichtiger Schritt“, sagt Angela Müller. „Es liegt jetzt am EU-Parlament und am EU-Rat dafür zu sorgen, dass wirklich die Grundrechte im Vordergrund stehen.“