Ein neuer Ratgeber von AlgorithmWatch widmet sich dem Problem der automatisierten Diskriminierung. Er soll Berater:innen von Antidiskriminierungsstellen Instrumente an die Hand geben, um „Risiken besser zu erkennen, einzuschätzen und dadurch in konkreten Diskriminierungsfällen Betroffene besser unterstützen zu können“, so Jessica Wulf, Autorin des Ratgebers.
Jemanden aufgrund eines Persönlichkeitsmerkmals herabzuwürdigen ist rechtlich verboten und doch ist es in automatisierten Entscheidungsprozessen Alltag. Diskriminierung hat dabei viele Gesichter, auch wenn sie durch die Verwendung von Algorithmen geschieht. Etwa, wenn die Hautfarbe darüber entscheidet, ob jemand einen Hauskredit erhält. Oder das Geschlecht darüber, ob man eine Stellenanzeige zu sehen bekommt.
Die Rolle der Algorithmen
Automatisierte Entscheidungssysteme „können Entscheidungen unterstützen oder vorbereiten, indem sie Empfehlungen aussprechen oder Daten aufbereiten,“ so erklärt es Wulf. Sie können Menschen Entscheidungen vollständig abnehmen, wenn diese sie vorher mit Kriterien zur Entscheidungsfindung angereichert haben. Zu welchen Entscheidungen ein System gelangt, hängt dabei wesentlich davon ab, welche Parameter Menschen beim Aufbau des Systems angelegt haben.
Denn die Systeme arbeiten mit Algorithmen, mit regelbasierten und lernenden. Erstere führen vorgegebene Regeln aus. Letztere leiten aus Daten Regeln ab oder erlernen sie. Sowohl die Regeln als auch die Daten, die vorgegeben werden, hängen von Menschen ab und damit von bestimmten Meinungen, Vorurteilen und Informationen.
Die Handreichung benennt neben anderen folgendes Fallbeispiel: Als Clemens Li 2013 auf der deutschen Krypto-Börse Bitcoin.de Bitcoin kaufen will, hindert ihn das Online-Anmeldeformular daran. Sein Nachname wird nicht akzeptiert, weil er zu kurz ist. Nicht nur auf dieser Seite macht er diese Erfahrung. Auf mehreren kann er ein Formular aufgrund der Kürze seines Namens nicht ausfüllen, geschweige denn abschicken. In vielen Fällen erkennt das System Nachnamen erst ab drei Buchstaben. Als Li sich an den Kundenberater wendet, bittet der ihn, einen Punkt an seinen Namen zu setzen.
Aktiv werden gegen automatisierte Diskriminierung
Der Ratgeber vermittelt die Grundlagen zum Thema, wie automatisierte Diskriminierung aussieht, und führt sie anhand von Fallbeispielen näher aus. Dabei liegt der Fokus auf dem Zugang zu Gütern und privaten Dienstleistungen, zum Beispiel eine Versicherung abzuschließen.
Der Leitfaden gibt hierbei konkrete Empfehlungen, wie Berater:innen in Antidiskriminierungsstellen und Betroffene vorgehen können. Bei Verdachtsfällen sollten zum Beispiel zuerst Stellen angesprochen werden, die sich mit dieser Problematik beschäftigen. So etwa AlgorithmWatch, die Antidiskriminierungsstelle des Bundes oder der Antidiskriminierungsverband. Berater:innen und Betroffene könnten ferner eine verantwortliche Person, Organisation oder Stelle um eine Stellungnahme zu ihrem Verdacht bitten oder ein Beschwerdeschreiben verfassen.
Da das Diskriminierungsrisiko durch automatisierte Entscheidungssysteme ein eher neues Problem ist, legt die Handreichung außerdem nahe Diskriminierungsfälle über Pressearbeit sichtbar zu machen. Ferner gibt es einen Abschnitt zum Thema Klageverfahren und strategische Prozessführung. Schließlich soll ein Fragenkatalog helfen, Diskriminierung zu erkennen. Ein Glossar sorgt dafür, dass keine Vorkenntnisse notwendig sind, um die Handreichung nachzuvollziehen.
Antidiskriminierungsrecht muss nachgeschärft werden
Entstanden ist der Ratgeber im Rahmen des Projekts AutoCheck, das von AlgotrithmWatch ins Leben gerufen wurde, um Berater:innen von Antidiskriminierungsstellen bei ihrer Arbeit zu unterstützen. Dazu wurden 15 Mitarbeitende von Antidiskriminierungsstellen und Antidiskriminierungsexpert:innen zu ihren Erfahrungen befragt. Neben dem Ratgeber werden Weiterbildungskonzepte und Workshops angeboten.
Schlussendlich fordert die Autorin in dem Text auch politische Veränderungen, um besser gegen diskriminierende Algorithmen vorgehen zu können. So müsse etwa das Allgemeine Gleichbehandlungsgesetz nachgeschärft werden. Außerdem könne es helfen, zivilgesellschaftlichen Organisationen ein Verbandsklagerecht einzuräumen, damit sie stellvertretend für Einzelpersonen gerichtliche Verfahren anstreben können. Zudem brauche es mehr Transparenz über den Einsatz automatisierter Entscheidungssysteme.
Zumindest dieser letzte Punkt wird von der EU derzeit angegangen. Mit dem Digital Services Act sollen große Plattformkonzerne unter anderem verpflichtet werden zu erklären, wie auf den Plattformen algorithmische Entscheidungen getroffen werden und welche Auswirkungen diese Entscheidungen auf Nutzer:innen haben.
0 Ergänzungen
Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.