Ratgeber von Algorithm WatchAutomatisierte Diskriminierung erkennen und benennen

Individualisierte Preise im Onlinehandel oder Benachteiligung beim Abschließen einer Versicherung auf der Webseite: Die Fälle automatisierter Diskriminierung häufen sich, nicht immer sind sie leicht zu erkennen. Ein neuer Ratgeber soll Antidiskriminierungsstellen und Betroffenen helfen.

zwei Galtonbretter veranschaulichen normale Verteilung
Galtonbretter als Sinnbild dafür, wie Menschen ins Raster der Algorithmen fallen. CC-BY-SA 4.0 Rodrigo Tetsuo Argenton

Ein neuer Ratgeber von AlgorithmWatch widmet sich dem Problem der automatisierten Diskriminierung. Er soll Berater:innen von Antidiskriminierungsstellen Instrumente an die Hand geben, um „Risiken besser zu erkennen, einzuschätzen und dadurch in konkreten Diskriminierungsfällen Betroffene besser unterstützen zu können“, so Jessica Wulf, Autorin des Ratgebers.

Jemanden aufgrund eines Persönlichkeitsmerkmals herabzuwürdigen ist rechtlich verboten und doch ist es in automatisierten Entscheidungsprozessen Alltag. Diskriminierung hat dabei viele Gesichter, auch wenn sie durch die Verwendung von Algorithmen geschieht. Etwa, wenn die Hautfarbe darüber entscheidet, ob jemand einen Hauskredit erhält. Oder das Geschlecht darüber, ob man eine Stellenanzeige zu sehen bekommt.

Die Rolle der Algorithmen

Automatisierte Entscheidungssysteme „können Entscheidungen unterstützen oder vorbereiten, indem sie Empfehlungen aussprechen oder Daten aufbereiten,“ so erklärt es Wulf. Sie können Menschen Entscheidungen vollständig abnehmen, wenn diese sie vorher mit Kriterien zur Entscheidungsfindung angereichert haben. Zu welchen Entscheidungen ein System gelangt, hängt dabei wesentlich davon ab, welche Parameter Menschen beim Aufbau des Systems angelegt haben.

Denn die Systeme arbeiten mit Algorithmen, mit regelbasierten und lernenden. Erstere führen vorgegebene Regeln aus. Letztere leiten aus Daten Regeln ab oder erlernen sie. Sowohl die Regeln als auch die Daten, die vorgegeben werden, hängen von Menschen ab und damit von bestimmten Meinungen, Vorurteilen und Informationen.

Die Handreichung benennt neben anderen folgendes Fallbeispiel: Als Clemens Li 2013 auf der deutschen Krypto-Börse Bitcoin.de Bitcoin kaufen will, hindert ihn das Online-Anmeldeformular daran. Sein Nachname wird nicht akzeptiert, weil er zu kurz ist. Nicht nur auf dieser Seite macht er diese Erfahrung. Auf mehreren kann er ein Formular aufgrund der Kürze seines Namens nicht ausfüllen, geschweige denn abschicken. In vielen Fällen erkennt das System Nachnamen erst ab drei Buchstaben. Als Li sich an den Kundenberater wendet, bittet der ihn, einen Punkt an seinen Namen zu setzen.

Aktiv werden gegen automatisierte Diskriminierung

Der Ratgeber vermittelt die Grundlagen zum Thema, wie automatisierte Diskriminierung aussieht, und führt sie anhand von Fallbeispielen näher aus. Dabei liegt der Fokus auf dem Zugang zu Gütern und privaten Dienstleistungen, zum Beispiel eine Versicherung abzuschließen.

Der Leitfaden gibt hierbei konkrete Empfehlungen, wie Berater:innen in Antidiskriminierungsstellen und Betroffene vorgehen können. Bei Verdachtsfällen sollten zum Beispiel zuerst Stellen angesprochen werden, die sich mit dieser Problematik beschäftigen. So etwa AlgorithmWatch, die Antidiskriminierungsstelle des Bundes oder der Antidiskriminierungsverband. Berater:innen und Betroffene könnten ferner eine verantwortliche Person, Organisation oder Stelle um eine Stellungnahme zu ihrem Verdacht bitten oder ein Beschwerdeschreiben verfassen.

Da das Diskriminierungsrisiko durch automatisierte Entscheidungssysteme ein eher neues Problem ist, legt die Handreichung außerdem nahe Diskriminierungsfälle über Pressearbeit sichtbar zu machen. Ferner gibt es einen Abschnitt zum Thema Klageverfahren und strategische Prozessführung. Schließlich soll ein Fragenkatalog helfen, Diskriminierung zu erkennen. Ein Glossar sorgt dafür, dass keine Vorkenntnisse notwendig sind, um die Handreichung nachzuvollziehen.

Antidiskriminierungsrecht muss nachgeschärft werden

Entstanden ist der Ratgeber im Rahmen des Projekts AutoCheck, das von AlgotrithmWatch ins Leben gerufen wurde, um Berater:innen von Antidiskriminierungsstellen bei ihrer Arbeit zu unterstützen. Dazu wurden 15 Mitarbeitende von Antidiskriminierungsstellen und Antidiskriminierungsexpert:innen zu ihren Erfahrungen befragt. Neben dem Ratgeber werden Weiterbildungskonzepte und Workshops angeboten.

Schlussendlich fordert die Autorin in dem Text auch politische Veränderungen, um besser gegen diskriminierende Algorithmen vorgehen zu können. So müsse etwa das Allgemeine Gleichbehandlungsgesetz nachgeschärft werden. Außerdem könne es helfen, zivilgesellschaftlichen Organisationen ein Verbandsklagerecht einzuräumen, damit sie stellvertretend für Einzelpersonen gerichtliche Verfahren anstreben können. Zudem brauche es mehr Transparenz über den Einsatz automatisierter Entscheidungssysteme.

Zumindest dieser letzte Punkt wird von der EU derzeit angegangen. Mit dem Digital Services Act sollen große Plattformkonzerne unter anderem verpflichtet werden zu erklären, wie auf den Plattformen algorithmische Entscheidungen getroffen werden und welche Auswirkungen diese Entscheidungen auf Nutzer:innen haben.

No Tracking. No Paywall. No Bullshit.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.

Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Jetzt spenden


Jetzt spenden

Eine Ergänzung

  1. Galtonbretter als ( – ein eher schlechtes- ) Sinnbild dafür, wie Menschen ins Raster der Algorithmen fallen.

    Siehe áuch „Traue keiner Statistik, die Du nicht selber erstellt hast.“

    https://www.elektroniktutor.de/fachmathematik/galton.html

    Die derzeit gebräuchlichen KI-Modelle waren und werden
    nicht in der Lage sein eine „automatisierte Diskriminierung “ ,
    die sich aus den Fakten der Wissensbasis zwangsweise ergibt,
    zu erkennen.

    Das bleibt wohl bis auf weiteres der „natürlichen KI“ vorbehalten.

Ergänzung an ANON_AI Ergänzung abbrechen

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.