Öffentlichkeit

Wie man den Hass schürt? Risiken privatisierter Rechtsdurchsetzung

Trotz guter Intentionen: Das Netzwerkdurchsetzungsgesetz birgt die Gefahr, den Hass und die Hetze in sozialen Netzwerken zu verstärken. Automatisierte Filtermechanismen könnten dazu beitragen, undemokratische Normen zu etablieren. Die Entwicklung künstlicher Intelligenz stellt neuartige Herausforderungen an die Debatte um strafbare Inhalte. Ein Überblick und Ausblick.

Die einen rufen zum Feuer. Und die anderen? (Symbolbild) CC-BY 2.0 Falk Lademann

Der Hass in sozialen Netzwerken sowie die massive Verbreitung von Gerüchten und Lügen stellen Herausforderungen dar, denen nicht einfach zu begegnen ist. Ungeachtet des Hypes im Kontext aktueller Wahlen zeigen aktuelle Studien, dass diese Phänomene nur die Spitze eines Eisberges darstellen: Sie zeigen die digital sichtbaren Auswüchse davon, wie sich Teile der Gesellschaft radikalisieren.


netzpolitik.org - ermöglicht durch Dich.

Wie zunächst eine amerikanische Studie zeigte, wird diese Radikalisierung durch die systematische Etablierung so genannter rechts-orientierter Medien-Ökosysteme begleitet, die soziale Netzwerke sehr geschickt als Rückgrat nutzen, um durch stark politisierende Inhalte Gegenöffentlichkeiten zum medialen Mainstream herzustellen. Die Facebook-Analysen der Süddeutschen Zeitung und die Twitter-Analysen vom Tagesspiegel in Kooperation mit netzpolitik.org zeigen zwar auf, dass derartige Gegenöffentlichkeiten in Deutschland noch recht isoliert und am Rande der recht breiten gesellschaftlichen Mitte zu finden sind – zumindest im Vergleich zu den hoch polarisierten USA. Allerdings bestätigten sie die Aussagen zur systematischen Etablierung rechts-orientierter Medien-Ökosysteme, hier etwa um Medien wie die Junge Freiheit, Russia Today Deutschland oder Compact herum, sowie eine Entwicklungslinie, die den Hass und die Hetze befördert und der Gegenmaßnahmen Rechnung tragen sollten.

Welche Wirkungen sind in diesem Kontext von dem in Deutschland nun im Bundestag debattierten Netzwerkdurchsetzungsgesetz zu erwarten? Und: Bieten die aktuell seitens der Plattformen entwickelten Maßnahmen eine Lösung, die dem Gesetzesvorschlag überlegen ist?

Rechtsdurchsetzung? Ach, hasst doch, wie Ihr wollt!

Bekanntermaßen soll das Netzwerkdurchsetzungsgesetz die Rechtsdurchsetzung bei strafbaren Inhalten, insbesondere strafbaren Hasskommentaren, in sozialen Netzwerken verbessern. Dazu sollen die Plattformanbieter verpflichtet werden, Inhalte nach Nutzermeldung zu löschen: Nicht Gerichte, sondern Mitarbeitende der sozialen Netzwerke würden dann in über 20 komplexen Straftatbeständen entscheiden und gegebenenfalls zügig löschen. Die Tatbestände reichen von Volksverhetzung über die Bildung terroristischer Vereinigungen bis hin zum Tatbestand der landesverräterischen Fälschung. Löschten die Plattformen nicht oder nicht schnell genug, drohten hohe Bußgelder.

Die Vorgaben erstrecken sich auch auf Kopien der als strafbar identifizierten Inhalte. Daher müssten die Plattformen alle von Nutzerinnen und Nutzern hochgeladenen Inhalte durch entsprechende Content-Recognition-Technologie (Content-ID) scannen und abgleichen.

Risiken privatisierter Rechtsdurchsetzung

Von vielen Seiten wurde kritisiert, dass ein solches Vorgehen ein übermäßiges Löschen von Inhalten wahrscheinlich macht und gleichzeitig zum Missbrauch von Meldungen einlädt. Auch kritisiert wurde die Privatisierung der Rechtsdurchsetzung, aber wo liegt hier das Problem?

Trotz der Warnungen, Nutzer könnten das Meldesystem missbrauchen, sieht der Gesetzentwurf kein Widerspruchsrecht vor. Nutzerinnen und Nutzer könnten bei zweifelhaften Eingriffen in die Meinungsfreiheit lediglich vor ordentlichen Gerichten klagen, denn Grundrechte bestehen gegenüber dem Staat, nicht Unternehmen.

Nun mag man einwenden, dass die Plattformbetreiber mit dem Gesetzesentwurf auch zur Auskunft über ihr Beschwerdemanagement verpflichtet werden. Diese Berichtspflichten sind komplex und und umfangreich. Allerdings werden sie nicht aussagen können, ob Inhalte zu Recht oder zu Unrecht gelöscht wurden. Der Gesetzgeber verzichtet hier auf Überblick, was im Netz passiert.

Am meisten gibt zu denken: Obwohl der Gesetzesentwurf die Rechtsdurchsetzung verbessern will, verbessert er sie an keiner Stelle. Die vielfach positiv hervorgehobene Verpflichtung der Plattformen, einen so genannten inländischen Zustellungsbevollmächtigten zur Verbesserung der Kooperation der Plattformen mit Ermittlungsbehörden bereit zu stellen, ist durch die Begründungen zum entsprechenden Paragraphen §5 von weiteren Verpflichtungen wie etwa die Verpflichtung auf Auskunftsrechte entkoppelt. Dort wird gleichfalls betont, die bislang mangelhafte freiwillige Kooperation bliebe erhalten. Damit ist es weiterhin kaum möglich, strafbaren Hassinhalten durch Strafverfolgung zu begegnen.

Mögliche Folgen einer privatisierten Rechtsdurchsetzung

Wenn der Gesetzgeber implizit auf sein Strafrecht verzichtet, sendet er ein verheerendes Signal an Betroffene von Hassrede: Deren Rechtsschutz wäre weiterhin kaum zu gewährleisten. Das erfahrene Unrecht würde nicht einmal als solches benannt, wie es bei einer Verurteilung der Fall wäre. Aber wenn dem Hass und der Hetze weiterhin kaum strafrechtlichen Maßnahmen gegenüber stehen und zeitgleich ein Rechtsruck in Teilen der Gesellschaft zu beobachten ist – muss man dann nicht davon ausgehen, dass ein solches Vorgehen dazu führen könnte, trotz guter Intentionen vor allem Öl ins Feuer gesellschaftlicher Radikalisierung gießen?

Der Gesetzesentwurf impliziert letztlich: „Hasst doch, wie Ihr wollt, im Zweifelsfall wird höchsten gelöscht – mehr habt ihr nicht zu befürchten!“ Und wenn man sich fragt, wie effektiv Löschvorgaben sind, um strafbare Hassinhalte einzudämmen, sollte man mit Blick auf die Dynamik sozialer Netzwerke bedenken: Der Gesetzgeber sieht 24 Stunden vor, um offensichtlich strafbare Inhalte zu löschen. Bei nicht-offensichtlich strafbaren Inhalten beträgt die Frist sieben Tage. Das sind Fristen, in denen sich zweifelhafte Inhalte entweder bereits weit verbreitet sowie mögliche Propaganda- oder Einschüchterungsziele erreicht hätten oder zumeist irrelevant geworden wären – zumindest für die Allgemeinheit.

Wohin führt künstliche Intelligenz? (Symbolbild) CC-BY-NC-SA 2.0 Joshua McKenty

Schlimmer geht immer? Perspektiven der Inhalte-Moderation

Die hiesige Debatte um strafbare Hassinhalte oder Fake News ist von internationalen Debatten begleitet. Etwa zum Umgang mit Incitement Speech in Israel, mit extremistischen Inhalte in Großbritannien, mit Gewalt und Racheakten in den USA oder toxischen Kommunikations-inhalten wie Harassment ganz im Allgemeinen. Harassment meint die Beleidigung von Individuen auf Basis ihrer Zugehörigkeit zu etwa einem bestimmten Geschlecht, Religion, Nationalität oder Rasse. Der Begriff steht dem umgangssprachlichen Verständnis von Hate Speech in Deutschland recht nah. In der englischsprachigen Debatte wird er von Hate Speech jedoch häufig unterschieden – einem Begriff, der in seinem Ursprung wesentlich auf die Bezeichnung des verbalen Angriffs auf Gruppen im Sinne der Volksverhetzung zielte.

Unabhängig von den Debatten um die treffende Begrifflichkeit und in Bezug auf national oder kulturell unterschiedliche Phänomene nicht legitimer Inhalte: Die großen Plattformanbieter entwickeln nun auch ihre eigenen Filtersysteme in Bezug auf ihre eigenen Regeln weiter. Diese waren beispielsweise bei Facebook vor allem durch mangelnde Transparenz, Konsistenz und kulturelle Sensibilität geprägt. Ihre Weiterentwicklung greift nun auf Technologien der künstlichen Intelligenz (KI), insbesondere des maschinellen Lernens zurück. In der Presse werden solche Maßnahmen zumeist gelobt, á la „Endlich wird was getan, die Plattformen stellen sich ihrer Verantwortung!“ Wie zuletzt die Pläne von Theresa May zeigen: Die britische Regierung bevorzugt solche Lösungen gegenüber dem deutschen Modell.

Aber wie können diese privaten Normsetzungs- und -durchsetzungsmaßnahmen bezüglich der Übertragung staatlicher Rechtsdurchsetzungskompetenzen an soziale Netzwerke bewertet werden? Ist davon auszugehen, dass sie den Wünschen des Gesetzgebers beziehungsweise der deutschen Öffentlichkeit entsprechen? Wir stehen am Anfang der Debatte.

Google und Twitter: KI gegen Harassment

Google arbeitet seit Februar unter anderem mit Wikipedia zusammen, um die Onlinediskussion zu zivilisieren. Mithilfe der Diskussionsseiten des Online-Lexikons und anderer Quellen trainiert das Unternehmen Jigsaw, welches zur Google-Muttergesellschaft Alphabet Inc. gehört, Algorithmen darauf, problematische Inhalte zukünftig leichter erkennen und bekämpfen zu können. Harassment wird mithilfe automatisierter Verfahren und künstlicher Intelligenz herausgefiltert, auf Basis eines offenen Quellcodes namens „Perspective“.

Dabei wurde eine Toxizitätsskala entwickelt, auf Basis derer neue Kommentare bewertet werden können, beispielsweise anhand einer Einschätzung, nach welchem Kommentar man eine Diskussion verlassen würde. „Du bist keine nette Person“ könnte damit eine Toxizitätsrate von acht Prozent erlangen, „Du bist eine gemeine Frau“ dagegen 92 Prozent (Sprache: englisch).

Im Vergleich zu der deutschen Diskussion, strafbare Inhalte möglichst zuverlässig zu löschen, stellt sich hier nicht nur die Frage, ob der Filter korrekt ist und wie Kommentare vom Kontext abhängen. Interessanterweise verschiebt sich bei dieser Methode der Fokus von einer möglicherweise rassistischen Idee hin zur Sprache beziehungsweise dem formell adäquaten Ausdruck dieser unter Umständen rassistischen Idee. Bedeutet dies, dass Rassismus bald nur gut formuliert sein muss, um akzeptabel zu sein?

Auch gravierend scheint, wie sich die Normsetzung verschiebt. Bislang kreiste die deutsche Debatte darum, wer wie und wo bereits definiertes Recht durchsetzen kann. Bei der Entwicklung solcher Filter ist dagegen die Entwicklung der Kriterien selbst, nach denen Inhalte legitim oder nicht legitim sind und was der Algorithmus als „toxisch“ lernt, Teil eines Experiments – mit offener Wirkung. Wohin führt das, wenn die Welt nach rechts rückt? Und wohin führt uns eine Entwicklung, bei der sich die Bewertung von konkreten Inhalten von Politikern und Richtern zu Entwicklern und Moderatoren verschiebt? Ähnliche Fragen stellen sich, wenn Filtermechanismen gegen Harassment bei Twitter weiterentwickelt werden: Auch hier fehlt nicht nur Transparenz über Maßnahmen, Widerspruchsrechte oder Erklärungen. Twitter schlägt nun ebenfalls – in Partnerschaft mit IBM Watson – neue Wege in Richtung künstliche Intelligenz ein. Im Fokus steht dabei die Verbindung von Sentimentanalyse, die automatisierte Stimmungserkennung, mit maschinellem Lernen.

Facebook: KI gegen Fake News

Ankündigungen von Mark Zuckerberg lassen erahnen, welche Maßnahmen Facebook aktuell einleitet, um gegen andere Formen problematischer Inhalte vorzugehen, vor allem gegen Fake News oder Gewalt: Er schlug vor, der Verbreitung von Fake News eine Art Meinungsmatrix entgegen zu setzen, in die einzelne Beiträge eingeordnet werden. Diese soll Menschen eine Orientierung über ihre jeweilige Positionierung ermöglichen und Quellen identifizieren und stärken, die eine Vielfalt von Perspektiven liefern.

Diese Ideen sind anschlussfähig an Vorschläge, die nach der US-Wahl zum Umgang mit Fake News debattiert wurden. Dazu gehört etwa die Möglichkeit, Nachrichtenquellen oder Nutzern in Abhängigkeit von Ihrer Reputation zu ranken, um positiv bewerteten Akteuren eine höhere Verbreitung zu ermöglichen. Eine andere Möglichkeit bestünde darin, alle Inhalte zu indexieren und solche Inhalte zu befördern, die bereits überparteilich geteilt werden. Auch bei diesen Maßnahmen stünde nicht nur das Scannen und Indexieren aller von Nutzerinnen und Nutzern hoch geladenen Inhalte zur Debatte, die Neutralität der Plattform oder Möglichkeiten des Gamings. Sondern alle bereits im Kontext von Google angerissenen Probleme künstlicher Intelligenz.

Digitalen Diskursen das richtige Fundament bauen. (Symbolbild) CC0 WikiImages

Von autonom fahrenden Autos lernen

Die hier angerissenen Perspektiven reißen ein breites Feld auf, was durch verschiedene Formen problematischer Inhalte, unterschiedliche Entwicklungsstadien entsprechender Technologien und in ihrer Funktionsweise stark variierende Plattformen geprägt ist. Eine umfassende Betrachtung ist durch die schnellen Entwicklungen recht schwierig – und scheint dennoch notwendig, gerade mit Blick auf das Netzwerkdurchsetzungsgesetzes: Es sieht vor, Verantwortlichkeiten im Bereich der Rechtsauslegung und -durchsetzung an die Plattformanbieter zu übertragen und legitimiert damit deren sowieso vorhandenes Engagement im Bereich der Normsetzung und -durchsetzung. Ist dem Gesetzgeber bewusst, mit welcher Art von Normsetzung wir es zu tun haben, wie diese Technologien funktionieren und welche Gefahren und Risiken sie bergen?

Zuckerberg träumt bereits, dass Facebook aktiv und weitreichend Normen setzt und durchsetzt (eigene Übersetzung):

Die Idee ist es, einen umfassenden demokratischen Prozess zu entwickeln, um (Community-)Standards zu ermitteln, die mit Hilfe von Technologien künstlicher Intelligenz durchgesetzt werden.

Doch auch ohne diese Vision: Bislang waren die konkreten Regeln bei Inhaltemoderation intransparent und es gab keine angemessenen Widerspruchsrechte. Auch nachdem mediale Diskurse im Zuge von Brexit und Trump eskaliert sind, ist intransparent, wie bisherige Algorithmen beispielsweise im Newsfeed auf Probleme wie die Herstellung von Echokammern oder die Verbreitung von Fake News wirken. Nun sollen neue Technologien der Inhaltemoderation die digitalen Probleme lösen. Sie basieren auf Daten, Mustern, Modellen und Resultaten, die der Öffentlichkeit und politischen Entscheidungsträgern wie im Falle von Google kaum oder gar nicht zugänglich sind. Während anzuerkennen ist, dass einzelne rechtspopulistische oder nationalistische Akteure sehr viel fitter sind als die breite demokratische Mitte, Inhalte und Technologien zu Gunsten ihrer Interessen einzusetzen.

Ist eine solche Entwicklungsrichtung zielführend, um gegen den Hass zu kämpfen, oder könnte sie ihn nicht viel eher bestärken? Bräuchten wir hier nicht eine technische Folgenabschätzung, bevor wir die Rechtsdurchsetzung privatisieren und KI-unterstützte Inhaltemoderation nicht nur durch politischen Druck, sondern auch durch eine Verpflichtung auf Content-Recognition-Technologien – Voraussetzung für automatisierte Inhaltemoderation – voran bringen?

Aus der Debatte zum autonomen Fahren kennen wir die ethischen Grundprobleme, die auftreten, wenn Maschinen entscheiden. Ist es nicht an der Zeit, anstelle des Aktionismus gegen soziale Netzwerke im Kontext von Hate Speech eine Debatte zu den Regeln automatisierter Entscheidungen im Kontext neuer Mediensysteme zu führen – eine Debatte, die der Funktion öffentlicher Diskurse und der vierten Gewalt gerecht wird?

7 Kommentare
  1. Die Pflicht zur Prüfung hochgeladener Inhalte (Upload-Filter) stand in einer früheren Fassung des NetzDG, ist aber im aktuellen Entwurf nicht mehr enthalten.

    1. Hallo Horst,
      danke für Deinen Hinweis! Allerdings: Der Gesetzesentwurf beinhaltet immer noch die Verpflichtung, „sämtliche auf den Plattformen befindlichen Kopien des rechtswidrigen Inhalts ebenfalls unverzüglich“ zu entfernen oder sperren (§3 (2) 6). Siehst Du technisch eine Möglichkeit, dieser Verpflichtung ohne Upload-Filter nachzukommen?
      Viele Grüße!
      Julia

  2. Ich habe mir diese sozialen Netze jetzt angetan. Da kann man vielleicht Urlaubsziele finden, Kochen lernen small talk veranstalten, … ,aber sie sind geistig reichlich hohl. Von irgendwelchem Hass war nichts zu sehen. Vielleicht in ein paar untergeordneten Filterblasen. Dieses Gesetz ist kompletter Unsinn. Als wenn es im Internet nur die Meinung der Tagesschau und anderer „Qualitäts-“ medien geben dürfte. Mit diesem Gesetz geht es um Zensur die der Staat gern Konzerne machen lassen will, weil er es selbst nicht darf. Dagegen stünde nämlich das Grundgesetz. Die Typen von Google, Twitter, Facebook & co. sollen sich für den „Staat“ zum Affen machen, wobei sie dadurch Kunden und Geld verlieren, was ihnen natürlich nicht in den Kram passt. Aber, wie anfangs geschrieben, diese „sozialen Medien“ sind ungefähr so informativ, wie Tagesschau, Wochenschau, aktuelle Kamera und Schwarzer Kanal, ganz überwiegend bla, bla, bla … . Das kann man mögen, oder sein lassen.

  3. Eine „Toxizitätsskala“, die sich danach richtet, nach welchem Kommentar man eine Diskussion verlassen würde, halte ich für eine schlechte Idee. Erstens sind die Kriterien, nach denen irgendjemand eine Diskussion verlassen würde, völlig verschieden und zweitens sind abweichende Meinungen oder unangenehme Tatsachen sehr oft schmerzhaft und gehören genau deswegen zu einer guten Diskussion.
    Es scheint vielen nicht klar zu sein, das jeder bei uns sehr wohl sagen darf: „Herr X ist ein Betrüger, ein Mörder und/oder ein Dieb“. Man muss es nur beweisen können. Dann fällt es unter Meinungsfreiheit. Kann man es nicht, ist es strafbare Verleumdung. Eine „KI“, die mit Toxizitätsskalen arbeitet, hätte diese Aussage auf jeden Fall gefiltert. Egal, ob sie stimmt, oder nicht. Dadurch wird man eine grosse Zahl wichtiger Tatsachen und Entdeckungen niemandem mehr mitteilen können.
    Auch scheinen viele nicht zu begreifen, das „Demokratie“ auf der freien Entscheidung des Wählers beruht. Diese ist abhängig von ungefilterter, zuverlässiger Information und intellektueller Vielfalt. Werden Informationen oder Meinungsvielfalt gefiltert oder Informationen gefälscht, wird die „freie Entscheidung“ manipuliert und ist nicht mehr „frei“. Das führt zu einem „weichen Totalitarismus“ in dem diejenigen herrschen, die die Macht über den Informationsfluss haben. Demokratie wird dann zur Illusion. Lässt man das erstmal zu, ist e schon zu spät, gegenzusteuern. Weil man sein Ansinnen nicht mehr veröffentlichen kann.

  4. Irgendwie begreife ich das nicht. o.O

    Es ist doch ganz gut untersucht, was zu den Problemen,
    so man sie den so sehen will, führt.
    Also nicht als Kausalzusammenhang, dafür ist der Mensch zu komplex,
    aber sicher als Korrelation.
    (Und FB weiss es, aufgrund der Datenbanken,
    vermutlich besser als alle anderen :> )

    Beispiel Xenophobie … es wird kaum jemand bezweifeln,
    das es eher auf Leute zu trifft die am unteren Rand der Nahrungskette rumdümpeln.
    Oder auf Leute die noch nie weiterreichenden Kontakt zu Fremden hatten.
    (Sonst wüssten sie das es Menschen wie du und ich sind,
    die ihren Kaffee auch mit Wasser kochen ^^ )
    Warum führt man dann Hartz IV ein?
    Oder warum macht man kein Pflichtauslandsjahr für alle Schüler?

    ach ja … da war was.
    „Regieren ist die Kunst, Probleme zu schaffen,
    mit deren Lösung man das Volk in Atem hält.“
    Ezra Pound, amerikanischer Dichter, 1885 – 1972

    Wie im Kindergarten.
    Jetzt wollen sie das Unkontrollierbare kontrollieren.
    Miguel de Cervantes würde vermutlich schmunzeln.
    Aber wenn FB und Konsorten tot reguliert wird,
    geht zumindest nichts von Wert verloren.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.