Antidiskriminierungsbeauftragte: Gleichbehandlungsgesetz soll für automatisierte Entscheidungen angepasst werden

Die Unabhängige Bundesbeauftragte für Antidiskriminierung, Ferda Ataman, möchte den Schutz vor Diskriminierung durch sogenannte algorithmische Entscheidungssysteme (ADM) verbessern. Bisher sei nicht ausreichend gesetzlich geregelt, was bei Benachteiligungen durch automatisierte Entscheidungen passiere. Solche Entscheidungssysteme sind heute in allen Lebensbereichen zu finden: ob bei Bewerbungsverfahren, bei der Erstellung von Vertragskonditionen, in der medizinischen Diagnostik oder bei der Vergabe staatlicher Leistungen.

Die Antidiskriminierungsbeauftragte hat dazu am heutigen Mittwoch ein Rechtsgutachten sowie mehrere Vorschläge zur Anpassung des Allgemeinen Gleichbehandlungsgesetzes (AGG) vorgelegt. Das Gesetz, besser bekannt als Antidiskriminierungsgesetz, richtet sich gegen Diskriminierungen aller Art. Es ist die Basis für Betroffene von Diskriminierung etwa durch Arbeitgeber.

Das vorgestellte 102-seitige Gutachten mit dem Titel „Automatisch benachteiligt“ (PDF) sieht in der Fehleranfälligkeit automatisierter Entscheidungssysteme ein zentrales Problem: Die Qualität digitaler Entscheidungen hänge wesentlich von den Daten ab, die in das System eingespeist werden.

Ob diese fehlerfrei sind oder für ihren Zweck überhaupt geeignet waren, sei in der Regel weder für die Verwender:innen noch für die Adressat:innen der Systeme nachvollziehbar, heißt es in der Pressemitteilung der Antidiskriminierungsbeauftragten. Den Betroffenen sei häufig gar nicht bewusst, dass ein solches System eingesetzt wird.

Macht- und Infomationsasymmetrie

Die größte Herausforderung für einen rechtlich geprägten effektiven Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme stellten die Defizite des Antidiskriminierungsgesetzes bei der Rechtsdurchsetzung dar, heißt es in der Studie. ADM seien oft intransparent und es sei für Betroffene „mangels Ressourcen unmöglich, den Ursachen einer Benachteiligung auf die Spur zu kommen [..]“, fassen die Autor:innen das Problem zusammen.

Ataman schlägt deswegen vor, den Schutz vor automatisierter Diskriminierung im AGG zu verankern, um Betroffene besser zu schützen. „Digitalisierung gehört die Zukunft. Sie darf aber nicht zum Albtraum werden. Menschen müssen darauf vertrauen können, dass sie durch KI nicht diskriminiert werden – und sich wehren können, wenn es doch passiert.“ Deshalb brauche man klare und nachvollziehbare Regeln, sagt Ataman.

Konkrete Verbesserungsvorschläge vorgelegt

Neben der EU-Regulierung durch den AI Act schlägt die Antidiskriminierungsbeauftragte deswegen vor, zum Schutz der Grundrechte an Stellschrauben des Allgemeinen Gleichbehandlungsgesetzes zu drehen.

Konkret nannte die Unabhängige Bundesbeauftragte hierbei folgende Punkte:

• Die Erweiterung des Anwendungsbereichs des AGG. Künftig sollte „Handeln durch automatisierte Entscheidungssysteme“ als Benachteiligung in § 3 AGG aufgenommen werden.
• Auskunfts- und Offenlegungspflichten von Betreiber:innen von KI-Systemen, um einen Einblick in die genutzten Daten und in die Funktionsweise des Systems zu ermöglichen.
• Die Einrichtung einer unabhängigen Schlichtungsstelle bei der Antidiskriminierungsstelle des Bundes sowie die Regelung eines verpflichtenden Schlichtungsverfahrens im AGG.
• Anpassung der Beweislastregel: Bislang müssen Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die „Black Box“ digitaler Entscheidungen nicht hineinschauen. Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben. Ähnliche Regelungen zur Beweislasterleichterung stehen bereits in den EU-Richtlinien zum Schutz vor Diskriminierung und in der von der EU-Kommission vorgeschlagenen KI-Haftungsrichtlinie.