Hasskommentare und Künstliche IntelligenzWarum automatisierte Filter rassistisch sind

Mark Zuckerberg will mit sogenannter Künstlicher Intelligenz Hass aus dem Netz filtern. Aktuelle Verfahren reproduzieren jedoch rassistische Muster. Es ist schwer, diese Fehler zu überwinden.

Frau sitzt hinter Laptop, der mit Stickern beklebt ist
Wenn in einem Kommentar der Begriff „schwarze Frau“ auftaucht, wird das als potenziell toxischer gewertet als „weiße Frau“. – Public Domain Christina Morillo

Johannes Filter ist freiberuflicher Softwareentwickler und Aktivist für Informationsfreiheit, Civic Tech und Open Data. In seiner Masterarbeit hat er sich mit der automatisierten Klassifikation von Kommentaren beschäftigt und im Rahmen des Prototype Fund analysierte er anhand von 13 Millionen Online-Kommentaren, wie sich Sprache in Kommentarspalten verändert hat.

Künstliche Intelligenz soll Facebooks Moderationsprobleme lösen, verkündete Mark Zuckerberg schon im Jahr 2018. Eine Untersuchung von AlgorithmWatch zeigt nun, dass automatisierte Entscheidungsalgorithmen derzeit noch große Probleme haben.

AlgorithmWatch hat die Perspective-API begutachtet, einen kostenlosen Service von Google, um automatisiert Hasskommentare zu entdecken. Ein Kommentar bekommt dabei einen Toxicity-Wert zwischen 1 und 100 zugewiesen. Je höher der Wert, desto toxischer ist der Kommentar potenziell. In der Analyse kam heraus, das Kommentare mit dem Begriff „schwarze Frau“ als auch „schwarzer Mann“ einen höheren Score als mit „deutsche Frau“ und „deutscher Mann“ hatten. Um zu verstehen, woran das liegt, muss man sich die Grundlagen automatisierter Moderation anschauen.

Computer versuchen, Entscheidungen von Menschen zu imitieren

Unter dem Begriff „Künstliche Intelligenz“ versteht man heutzutage meistens maschinelles Lernen, Machine Learning. Bei diesen lernt ein Computerprogramm – die Maschine – von Entscheidungen aus alten Daten, Entscheidungen für neue Daten zu fällen. Dafür wird ein Machine-Learning-Modell trainiert, eine Sammlung von Einstellungen für ein spezifisches Programm.

Für ein solches Training benötigt man zunächst die sogenannte „Ground Truth“, also die Wahrheit über einen Sachverhalt. Im Bereich von Hasskommentaren ist dies beispielsweise eine Liste von Kommentare und eine Wertung, ob es sich um einen Hasskommentar handelt oder nicht. Diese Kommentaren werden händisch annotiert und das Machine-Learning-Modell wird mit diesen Daten gefüttert. Die Maschine versucht anschließend, die Entscheidungen der Menschen zu imitieren.

Damit die Maschine mit dem Text umgehen kann, werden mittels mathematischer Verfahren aus der Computerlinguistik aus Wörtern Zahlen. Unter der Annahme, dass Wörter mit ähnlicher Bedeutungen in ähnlichen Kontexten vorkommen, verstehen Computer Sprache. Detailliert habe ich das in meinem Online-Projekt kommentare.vis.one erklärt.

Aus Sicht der Maschinen sind Minderheiten mit Hass assoziiert

Wo sich Hass gegen Minderheiten richten, tauchen in Hasskommentaren oft Wörter auf, die diese Minderheiten beschreiben. Daher sind etwa Begriffe wie „schwarze Frau“ in der Welt der Maschinen negativ assoziiert. Wenn jetzt „schwarze Frau“ in einem Kommentar auftaucht, dann ist der Toxicity-Score höher als für „deutsche Frau“ – egal, ob der Kommentar tatsächlich toxisch ist oder nicht.

Aus Sicht der Maschinen sind Minderheiten mit Hass assoziiert. Es liegt also in der Natur der Sache, dass Machine-Learing-basierte Filtersystem rassistische Muster reproduzieren.

Es gibt bereits Bemühungen, diesen Bias – den Fehler – zu entfernen. Nach dem Training wird das Modell manuell so geändert, das Unterschiede mit Bezug zu Geschlecht oder Ethnizität verschwinden. Doch ein Paper mit dem Namen „Lipstick on a Pig“ zeigte am Beispiel vom Gender-Bias, dass es nicht funktioniert. Ein Fazit der Autorin: Ungleichbehandlungen sind viel zu systematisch in der echten Welt, und damit auch in Texten, zu finden. Eine faire Repräsentation durch Machine Learning bleibt schwierig.

Es ist unklar, ob eine neue technische Errungenschaft jemals für faire automatisierte Filter sorgen wird. Solange können wir dafür sorgen, dass es weniger Rassismus im echten Leben gibt. Denn: Künstliche Intelligenz wird uns (wahrscheinlich) nicht retten.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

23 Ergänzungen

  1. Mir scheint als ginge es um Diskriminierung im allgemeinen und nicht ausschließlich um Rassismus.
    Dennoch wird Rassismus im Artikel wesentlich stärker hervorgehoben z.B. im Titel: „Warum automatisierte Filter rassistisch sind“
    Ist also das Problem hier eigentlich fast nur bei „Rassismus“ oder doch eher Allgemein gehalten?
    @autor/in

    1. Der Artikel ist allgemeiner als die Ueberschrift, aber irgendwo muss man dort ja schon ein bisschen zuspitzen. Letztlich ist Rassismus eine relativ einfach sichtbare und nachvollziehbare Diskriminierung, und vermutlich auch die verbreitetste.

      Letztlich sucht Machine Learning selbststaendig Entscheidungsmuster in den Trainingsdaten und wendet diese Musten dann auf neue Daten an. Dabei wird potentiell jede Art von Diskriminierung in den Trainingsdaten reproduziert, denn der Algorithmus optimiert auf Reproduktion der als „Wahrheit“ zur Verfuegung gestellten Trainingsentscheidungen. Letztlich kann man sagen: der Algorithmus muss Diskriminierung lernen und anwenden, wenn die Trainingsdaten Diskriminierung enthalten, denn sonst waere er nicht optimal im Lernen und Reproduzieren des Gelernten.

      Wie gesagt haben wir zZt nur ein sehr beschraenktes Verstaendnis von der Musterbildung im Machine Learning. Die Maschine hat viel weniger Weltwissen und Weltverstaendnis als ein Mensch, sie kommt teilweise zu ueberraschenden Mustern und Kriterien. Und sie ist zT enorm gut darin, auch sehr unbewusste Diskriminierung zu erkennen und selber zu verwenden, eben weil der reine Machine Learning Code selber einen voellig unvoreingenommenen Blick auf die Daten hat oder zumindest haben kann, wenn man da keine manuelle Bewertung reinsetzt. Eine solche manuelle Bewertung ist aber der Holzhammer mit unklaren Nebenwirkungen.

      Das verschiebt das Diskrimierungsproblem weg vom eigentlichen Code auf die Aufbereitung der Trainingsdaten: die muessten frei von Diskriminierung sein. Das ist praktisch nicht machbar, denn die Diskussion, was Diskriminierung konkret im Einzelfall des Datenpunktes ist, ist offen, dynamisch und damit in der Masse endlos (das ist ein feature).

      Die grosse Gefahr ist die Glaeubigkeit der Menschen an die automatisierten Entscheidungen, die von Herstellern wie Verantwortungsvermeidern gefoerdert wird. Ganz netter Artikel dazu ist https://www.heise.de/news/Missing-Link-Wie-KI-das-menschliche-Handlungsvermoegen-untergraebt-4726359.html

      1. Erganzend: Leute, die Diskriminierung auf Grund ihrer eigenen Vorstellungen oder eigener Vorteile daraus gut finden, haben natuerlich kein Problem damit, dass Machine Learning diese Diskriminierung reproduziert, ganz im Gegenteil. Das sollte man bedenken, wenn man sich anguckt, wer den Einsatz von Machine Learning wo fordert und foerdert…

      2. Nochmal ergaenzend, sorry: durch das sehr beschraenkte bis nicht vorhandene Weltwissen und Weltverstaendnis „erkennt“ Machine Learning uU Entscheidungsmuster, die fuer einen Menschen abwegig oder jedenfalls fernliegend sind. Dadurch kann Diskriminierung sogar verstaerkt oder aus einem Kontext in andere Kontexte extrapoliert werden, denn die Maschine erkennt diese Kontexte ueberhaupt nicht als solche. Rassismus hier im Artikel ist da ein gutes Beispiel: die Maschine verbindet lernt aus den Hasskommentare in den Trainingsdaten, dass „schwarze Frau“ mit hoeherer Wahrscheintlichkeit eine negative Konnotation hat, und wendet dieses Muster auf alle neuen Daten an. Damit werden auch positive Kommentare oder Selbstbeschreibungen mit diesem Textfragment negativ belastet, denn die Maschine kennt wenig Kontext und versteht Texte und Umfeld nicht wirklich.

        Machine Learning hat einen sehr eigentuemlichen Blick auf die Daten: auf der einen Seite mit fuer den Menschen unmoeglicher Vollstaendigkeit in Detail und Gesamtumfang, auf der andere Seite ohne jegliches Verstaendnis von Welt, Kontext oder Konsequenz der Entscheidung. Das macht ML in einigen Bereichen zu einem sehr guten Werkzeug und in anderen zu einem sehr schlechten bis gefaehrlichen.

  2. Wer die Sprachentwicklung der IT/Tech-Szene auf Internet-Foren die letzten Jahre beobachtet hat, hätte schon vor 2015 bemerken können, dass in der Programmierer-/Developer-Szene ein Sprachgebrauch raumgreifend wuchert, der immer weniger mit liberalem aufgeklärtem Denken beschrieben werden konnte.

    Meritokratie, Sozial-Darwinismus, Ressentiments wurden immer stärker wahrnehmbar. Einstellungen von Usern wurden durch die Benennung von Nicknames und Hostnames erkennbar, die wenig mit demokratischem Denken zu tun haben.

    Der Mensch ist, was er denkt, und seine Sprachproduktion stammt nun mal aus seinem eigenen Hirn, selbst wenn nur nachplappert wird.

    Wer sind nun diejenigen Menschen, die rassistische und diskriminierende Algorithmen schreiben? Wer ist erfolgreich in dieser Branche und warum? Wer entscheidet darüber, wer menschenverachtenden Code schreiben darf bzw. soll?

    Zeige mir deinen Algorithmus und ich sage dir, welche Einstellung du zu Mensch und Gesellschaft hast.

    1. Du hast also weder den Artikel noch Machine Learning verstanden, hast aber eine klare Meinung dazu. Ich bin mir nicht sicher, ob das Satire oder eine Demonstration von Dunning-Krueger ist…

      Machine Learning reproduziert Strukturen der Trainingsinformationen. Der Code kann voellig neutral sein, das erlernte Verhalten trotzdem diskriminierend. Das ist nicht einfach zu erkennen, wenn ueberhaupt, denn unser Verstaendnis der Strukturerkennung und Verhaltensbildung bei Machine Learning ist noch sehr begrenzt. Teilweise werden fuer Menschen ueberraschende Strukturen identifiziert und verwendet, was wiederum eigene „Vorurteile“ darstellen kann.

      Uebrigens sind wenige OSS Projekte demokratisch organisiert, und eine Meritokratie bildet sich idR schon dadurch heraus, dass die Personen, die machen koennen eben machen koennen. Schonmal aktiv bei sowas mitgearbeitet?

      1. Wie kann sich die Einstellung des IT/Tech Volks (oder des Forums?) auf eine KI auswirken?

        Bei dem Vorpost ist mir nicht klar, ob es nicht eher auf die Gesamtsituation abzielt. „Rassistischer Algorithmus“ ist zwar formal inkorrekt, aber überspitzt könnte es auf die Möglichkeiten hinweisen, die man eben hat. Die Dinge so einzusetzen, wird vielleicht zwangsweise zu Problemen wie Rassismus führen, wenn das bearbeitete Feld irgendwie empfänglich dafür ist.

        Zudem ist der Druck, mit eingeschränkten Mitteln ein System zu bauen, mit verantwortlich, es wird also schon auch auf den Prozess angespielt. In wichtigen Bereichten sind oft mehrere Sicherungen eingebaut, z.B. Geschwindigkeitssensoren bei Flugzeugen. Bei Gesichtserkennung steht man dann auf dem Schlauch … zwei mal das gleiche einbauen?

        1. Ich wuerde Machine Learning wirklich nicht als „KI“ bezeichnen, auch wenn das sehr gerne gemacht und vor allem als solche verkauft wird: das ist das Erlernen und Anwenden von Mustern, da ist keine genuine Intelligenz, Reflektions- oder Erkenntnisfaehigkeit drin. Das ist mE auch kein nitpicking, das ist ein extrem wichtiger Punkt zur Einschaetzung und Positionierung dieser Technologie.

          Die Einstellung der Hersteller beeinflusst offensichtlich das Produkt. Wer kein Problembewustsein hat, oder das Problem als Feature sieht, wird entsprechende Produkte anbieten und einsetzen. Die Trainingsdaten muessen erstellt und aufbereitet werden, Prozesse wie auch Ausgabefilter haben Parameter fuer Gewichtungen und uU Schranken oder Mindestanforderungen. All das verstehen idR nur die Experten, die das ganze bauen. Der Rest sieht nur Ergebnisse auf einem Bildschirm. Glaubst Du, zB Palantir wuerde irgendeinem Kunden genau erklaeren, was da passiert, oder irgendeiner ihrer Kunden wuerde das verstehen (oder verstehen wollen?)?

          Das ist fuer ein ML-basiertes Expertensystem zur Erkennung von Hautkrebs kein Problem.
          Das ist fuer ein ML-basiertes Expertensystem zur Strafmassfindung auf Grund von Rueckfallwahrscheinlichkeit ein grosses Problem.

          1. Pardon?

            Objekterkennung mittels ML ist weiterhin Mustererkennung, keine genuine Intelligenz mit einer Vorstellung von der Weltbedeutung oder Rolle eines solchen Objektes.

            Deswegen kann Objekterkennung mittels ML in geeignetem Kontext und Aufgabenstellung durchaus sehr gut und auch durchaus der menschlichen Faehigkeit ueberlegen sein.

            Out of context wird es uU schnell fatal, und auch Angriffsmuster sind ein sehr interessantes Thema…

          2. ML in der heutigen bekannten Form mit genuiner Intelligenz zu verwechseln wäre wirklich blöd. Marketingregulierung ist allerdings auch ein weite(re)s kaum bestelltes Feld.

            Genuine Intelligenz ist eine sehr starke Forderung, und erstere haben wir auf künstliche Weise nicht, zumindest nirgendswo offiziell. Insofern ist „künstliche Intelligenz“ als grobes Fachgebiet mit allerlei Anwendung nicht nur auf das Erreichen des nicht Erreichten zu münzen. Wäre etwas auf genuin künstlich intelligente Weise ebenbürtig, wäre es „intelligent“, nicht künstlich :).

            Frage ist worum es gehen soll: die „Intelligenz“ die hinter einem System steckt, und zufällig mit Methoden aus dem (Fach-) Bereich KI gespickt ist? Also etwas mit/von KI-Bereich. Oder geht es um die Frage, ab wann ein System selbst „KI“ heißen darf? Will man sich ständig verschiebende Grenzen?

            Das ist jetzt eventuell aber eine begriffliche Perspektive von Außerhalb.

          3. Wo wir gerade bei begrifflichen Perspektiven von Außerhalb sind:

            eine künstlich geschaffene wirkliche Intelligenz könnte verschiedene Eigenschaften haben, die sie aber nicht notwendigerweise mehr oder weniger intelligent machen, es sei denn sie könnte vielleicht diese Eigenschaften selbst irgendwie nutzen:
            – Anhaltbar. Auch destruktiv, also schon noch wieder fortführbar, aber dann mit gewissen Einschränkungen oder möglichem Gedächtnisverlust.
            – Nondestruktiv Anhaltbar. D.h. auch nach beliebiger Zeit fortführbar, ohne den Zustand zu schädigen (vielleicht bis auf den Filmriß).
            – Auslesbar. Auch destruktiv, unabängig davon, ob angehalten oder nicht, so könnte das Auslesen Änderungen einbringen.
            – Nondestruktiv auslesbar.

            Dann noch der Zeitfaktor:
            – Läuft in Echtzeit oder schneller. Das ist schon ein zweifelhaftes Kriterium – wären „wir halb so schnell“, würden wir dann eben mit 15 statt 30 FPS wahrnehmen? Wo wären die Unterschiede? Das zielt wohl mehr auf eine Simulation ab, falls die Intelligenz in einer Simulation läuft, die selbst nicht echtzeitfähig ist oder sein kann.
            – Auslesen in Echtzeit oder schneller möglich. Hier könnte es interessant werden, vgl. „Battlestar Galactica“.

            Und dann noch der Bandbreitenaspekt:
            – Intelligenz ist ein Verbund, in dem die Intelligent N Instanzen als Simulation verbunden hat, die sie selbst anhalten und auslesen kann. Sowie neu erschaffen.

  3. Hmmm. I dunno. Where I come from we do not use the term ‚Ground Truth‘. We do, however use the term ‚Base Line‘, or ‚The Mean/Median‘ and so on, and so on. It is, in short, not a question of truth, at all. It is a question of what to measure against. Of course, you can discriminate with that. But then, learning is ALWAYS also DISCRIMINATION. You must leave some information away or be overwhelmed by information.

    The field of machine learning is currently dominated by fewer actors (tensor flow and co. ala google, for instance) than the actual breadth of academic work would lead us to believe. Between Amazon and Google, the techniques, the variations in mechanisms (feedback, features, etc) are being increasingly limited by the utility of using the big players implementations.

    But that is comparable with the economic behavior of humans. Steering headlong along the route of least resistance (cheapest, billig).

    Sadly, this has nothing to do with the breadth of advances being made in machine learning, or more generally in AI. It is dubious that prejudice prevails in the general case.

    1. I don’t know where you came from but ‚baseline‘ and ‚ground truth‘ are established concepts in the area of machine learning and don’t mean the same.

      1. Canada. And I studied linguistics and psychology in the 1980s, so I’m obviously old.

        I don’t like the phrase since it’s ambiguous. The wikipedia definition: ‚Ground truth is a term used in various fields to refer to information provided by direct observation (i.e. empirical evidence) as opposed to information provided by inference.‘ Suggests empirical. However, in this context we’re still at inference. The value or weight of the term is infered by the operator. I mean the context of:
        ‚eine Liste von Kommentare und eine Wertung, ob es sich um einen Hasskommentar handelt oder nicht.‘

        My point is that the models, perhaps even the ‚Ground Truth‘, are flawed abstract simplifications which are likely to perform in a ‚biased‘ manner.

  4. Of course, I do concur that you can’t expect to extirpate racism from people with AI. But, who the hell expected that to be the case! Filters are a symptom, not a cure. What in the world is ‚fair‘ about ‚filters‘. Filters are by definition discrimination. The question is ‚which bias you wish to impose‘???

    In the end, it is a question of the polymorphous nature of the model. Until it is malleable enough to model real usage, it is prone to error. But as we know from the algorithmic composition of music with a well known model (eg. Bach), it is possible to not just recognize, but to reproduce ‚human behaviour‘. If you wish, you can discriminate against the machines in favour of Bach.

  5. Oh, boy. Can’t help myself.

    Bias is not error. It can be partiality and it can prevent objective observation. Or it can be the slant of the tangent. Bias is often measurable ‚deviation‘ from some ‚arbitrary‘ norm.

    That is not the hallmark of something that attains to truth.

      1. Sorry, you missed my point. Since the very first definition is:
        ‚ a strong feeling in favour of or against one group of people, or one side in an argument, often not based on fair judgement‘, and your article is about that very thing conflating bias and error, even if they can by synonyms is misleading.

  6. Hmm. And then again, perhaps the last 15 years of ML/AI news are illusory. A survey of recent critical assessments: https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real

    A detail and ‚ouch‘:
    https://dl.acm.org/doi/abs/10.1145/3331184.3331340
    „Our meta-analysis shows
    that comparisons to weak baselines still pervade the literature. The
    high water mark on Robust04 in terms of average precision was
    actually set in 2009, and no reported results since then (neural or
    otherwise) come close. „

  7. ich verstehe nicht wo das Problem ist wenn „deutscher Mann / deutsche Frau“ einen niedrigeren Score zur beurteilung von Rassismus erhalten als „schwarzer Mann / schwarze Frau“.
    Es ist schließlich wissenschaftlich bewiesen das es keinen Rassismus gegen Deutsche oder Weisse gibt.

    1. Das Problem ist, dass nicht rassistische Äußerungen bei Nennung von „schwarzer Mann / schwarze Frau“ automatisiert als rassistisch eingestuft werden können, was im Artikel gut dargestellt wird.
      Das heißt, die Künstliche Intelligenz reproduziert rassistisches Verhalten, da auch solche Beiträge dann diskriminiert werden :-(

      1. Das wird erst richtig lustig, wenn eine „KI“ in den Dialog mit Nutzern in Frage gestellter Posts tritt, um herauszufinden, ob es sich um ein rassistisches Stück Text gehandelt haben könnte.

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.