Wie man den Hass schürt? Risiken privatisierter Rechtsdurchsetzung

Der Hass in sozialen Netzwerken sowie die massive Verbreitung von Gerüchten und Lügen stellen Herausforderungen dar, denen nicht einfach zu begegnen ist. Ungeachtet des Hypes im Kontext aktueller Wahlen zeigen aktuelle Studien, dass diese Phänomene nur die Spitze eines Eisberges darstellen: Sie zeigen die digital sichtbaren Auswüchse davon, wie sich Teile der Gesellschaft radikalisieren.

Wie zunächst eine amerikanische Studie zeigte, wird diese Radikalisierung durch die systematische Etablierung so genannter rechts-orientierter Medien-Ökosysteme begleitet, die soziale Netzwerke sehr geschickt als Rückgrat nutzen, um durch stark politisierende Inhalte Gegenöffentlichkeiten zum medialen Mainstream herzustellen. Die Facebook-Analysen der Süddeutschen Zeitung und die Twitter-Analysen vom Tagesspiegel in Kooperation mit netzpolitik.org zeigen zwar auf, dass derartige Gegenöffentlichkeiten in Deutschland noch recht isoliert und am Rande der recht breiten gesellschaftlichen Mitte zu finden sind – zumindest im Vergleich zu den hoch polarisierten USA. Allerdings bestätigten sie die Aussagen zur systematischen Etablierung rechts-orientierter Medien-Ökosysteme, hier etwa um Medien wie die Junge Freiheit, Russia Today Deutschland oder Compact herum, sowie eine Entwicklungslinie, die den Hass und die Hetze befördert und der Gegenmaßnahmen Rechnung tragen sollten.

Welche Wirkungen sind in diesem Kontext von dem in Deutschland nun im Bundestag debattierten Netzwerkdurchsetzungsgesetz zu erwarten? Und: Bieten die aktuell seitens der Plattformen entwickelten Maßnahmen eine Lösung, die dem Gesetzesvorschlag überlegen ist?

Rechtsdurchsetzung? Ach, hasst doch, wie Ihr wollt!

Bekanntermaßen soll das Netzwerkdurchsetzungsgesetz die Rechtsdurchsetzung bei strafbaren Inhalten, insbesondere strafbaren Hasskommentaren, in sozialen Netzwerken verbessern. Dazu sollen die Plattformanbieter verpflichtet werden, Inhalte nach Nutzermeldung zu löschen: Nicht Gerichte, sondern Mitarbeitende der sozialen Netzwerke würden dann in über 20 komplexen Straftatbeständen entscheiden und gegebenenfalls zügig löschen. Die Tatbestände reichen von Volksverhetzung über die Bildung terroristischer Vereinigungen bis hin zum Tatbestand der landesverräterischen Fälschung. Löschten die Plattformen nicht oder nicht schnell genug, drohten hohe Bußgelder.

Die Vorgaben erstrecken sich auch auf Kopien der als strafbar identifizierten Inhalte. Daher müssten die Plattformen alle von Nutzerinnen und Nutzern hochgeladenen Inhalte durch entsprechende Content-Recognition-Technologie (Content-ID) scannen und abgleichen.

Risiken privatisierter Rechtsdurchsetzung

Von vielen Seiten wurde kritisiert, dass ein solches Vorgehen ein übermäßiges Löschen von Inhalten wahrscheinlich macht und gleichzeitig zum Missbrauch von Meldungen einlädt. Auch kritisiert wurde die Privatisierung der Rechtsdurchsetzung, aber wo liegt hier das Problem?

Trotz der Warnungen, Nutzer könnten das Meldesystem missbrauchen, sieht der Gesetzentwurf kein Widerspruchsrecht vor. Nutzerinnen und Nutzer könnten bei zweifelhaften Eingriffen in die Meinungsfreiheit lediglich vor ordentlichen Gerichten klagen, denn Grundrechte bestehen gegenüber dem Staat, nicht Unternehmen.

Nun mag man einwenden, dass die Plattformbetreiber mit dem Gesetzesentwurf auch zur Auskunft über ihr Beschwerdemanagement verpflichtet werden. Diese Berichtspflichten sind komplex und und umfangreich. Allerdings werden sie nicht aussagen können, ob Inhalte zu Recht oder zu Unrecht gelöscht wurden. Der Gesetzgeber verzichtet hier auf Überblick, was im Netz passiert.

Am meisten gibt zu denken: Obwohl der Gesetzesentwurf die Rechtsdurchsetzung verbessern will, verbessert er sie an keiner Stelle. Die vielfach positiv hervorgehobene Verpflichtung der Plattformen, einen so genannten inländischen Zustellungsbevollmächtigten zur Verbesserung der Kooperation der Plattformen mit Ermittlungsbehörden bereit zu stellen, ist durch die Begründungen zum entsprechenden Paragraphen §5 von weiteren Verpflichtungen wie etwa die Verpflichtung auf Auskunftsrechte entkoppelt. Dort wird gleichfalls betont, die bislang mangelhafte freiwillige Kooperation bliebe erhalten. Damit ist es weiterhin kaum möglich, strafbaren Hassinhalten durch Strafverfolgung zu begegnen.

Mögliche Folgen einer privatisierten Rechtsdurchsetzung

Wenn der Gesetzgeber implizit auf sein Strafrecht verzichtet, sendet er ein verheerendes Signal an Betroffene von Hassrede: Deren Rechtsschutz wäre weiterhin kaum zu gewährleisten. Das erfahrene Unrecht würde nicht einmal als solches benannt, wie es bei einer Verurteilung der Fall wäre. Aber wenn dem Hass und der Hetze weiterhin kaum strafrechtlichen Maßnahmen gegenüber stehen und zeitgleich ein Rechtsruck in Teilen der Gesellschaft zu beobachten ist – muss man dann nicht davon ausgehen, dass ein solches Vorgehen dazu führen könnte, trotz guter Intentionen vor allem Öl ins Feuer gesellschaftlicher Radikalisierung gießen?

Der Gesetzesentwurf impliziert letztlich: „Hasst doch, wie Ihr wollt, im Zweifelsfall wird höchsten gelöscht – mehr habt ihr nicht zu befürchten!“ Und wenn man sich fragt, wie effektiv Löschvorgaben sind, um strafbare Hassinhalte einzudämmen, sollte man mit Blick auf die Dynamik sozialer Netzwerke bedenken: Der Gesetzgeber sieht 24 Stunden vor, um offensichtlich strafbare Inhalte zu löschen. Bei nicht-offensichtlich strafbaren Inhalten beträgt die Frist sieben Tage. Das sind Fristen, in denen sich zweifelhafte Inhalte entweder bereits weit verbreitet sowie mögliche Propaganda- oder Einschüchterungsziele erreicht hätten oder zumeist irrelevant geworden wären – zumindest für die Allgemeinheit.

Schlimmer geht immer? Perspektiven der Inhalte-Moderation

Die hiesige Debatte um strafbare Hassinhalte oder Fake News ist von internationalen Debatten begleitet. Etwa zum Umgang mit Incitement Speech in Israel, mit extremistischen Inhalte in Großbritannien, mit Gewalt und Racheakten in den USA oder toxischen Kommunikations-inhalten wie Harassment ganz im Allgemeinen. Harassment meint die Beleidigung von Individuen auf Basis ihrer Zugehörigkeit zu etwa einem bestimmten Geschlecht, Religion, Nationalität oder Rasse. Der Begriff steht dem umgangssprachlichen Verständnis von Hate Speech in Deutschland recht nah. In der englischsprachigen Debatte wird er von Hate Speech jedoch häufig unterschieden – einem Begriff, der in seinem Ursprung wesentlich auf die Bezeichnung des verbalen Angriffs auf Gruppen im Sinne der Volksverhetzung zielte.

Unabhängig von den Debatten um die treffende Begrifflichkeit und in Bezug auf national oder kulturell unterschiedliche Phänomene nicht legitimer Inhalte: Die großen Plattformanbieter entwickeln nun auch ihre eigenen Filtersysteme in Bezug auf ihre eigenen Regeln weiter. Diese waren beispielsweise bei Facebook vor allem durch mangelnde Transparenz, Konsistenz und kulturelle Sensibilität geprägt. Ihre Weiterentwicklung greift nun auf Technologien der künstlichen Intelligenz (KI), insbesondere des maschinellen Lernens zurück. In der Presse werden solche Maßnahmen zumeist gelobt, á la „Endlich wird was getan, die Plattformen stellen sich ihrer Verantwortung!“ Wie zuletzt die Pläne von Theresa May zeigen: Die britische Regierung bevorzugt solche Lösungen gegenüber dem deutschen Modell.

Aber wie können diese privaten Normsetzungs- und -durchsetzungsmaßnahmen bezüglich der Übertragung staatlicher Rechtsdurchsetzungskompetenzen an soziale Netzwerke bewertet werden? Ist davon auszugehen, dass sie den Wünschen des Gesetzgebers beziehungsweise der deutschen Öffentlichkeit entsprechen? Wir stehen am Anfang der Debatte.

Google und Twitter: KI gegen Harassment

Google arbeitet seit Februar unter anderem mit Wikipedia zusammen, um die Onlinediskussion zu zivilisieren. Mithilfe der Diskussionsseiten des Online-Lexikons und anderer Quellen trainiert das Unternehmen Jigsaw, welches zur Google-Muttergesellschaft Alphabet Inc. gehört, Algorithmen darauf, problematische Inhalte zukünftig leichter erkennen und bekämpfen zu können. Harassment wird mithilfe automatisierter Verfahren und künstlicher Intelligenz herausgefiltert, auf Basis eines offenen Quellcodes namens „Perspective“.

Dabei wurde eine Toxizitätsskala entwickelt, auf Basis derer neue Kommentare bewertet werden können, beispielsweise anhand einer Einschätzung, nach welchem Kommentar man eine Diskussion verlassen würde. „Du bist keine nette Person“ könnte damit eine Toxizitätsrate von acht Prozent erlangen, „Du bist eine gemeine Frau“ dagegen 92 Prozent (Sprache: englisch).

Im Vergleich zu der deutschen Diskussion, strafbare Inhalte möglichst zuverlässig zu löschen, stellt sich hier nicht nur die Frage, ob der Filter korrekt ist und wie Kommentare vom Kontext abhängen. Interessanterweise verschiebt sich bei dieser Methode der Fokus von einer möglicherweise rassistischen Idee hin zur Sprache beziehungsweise dem formell adäquaten Ausdruck dieser unter Umständen rassistischen Idee. Bedeutet dies, dass Rassismus bald nur gut formuliert sein muss, um akzeptabel zu sein?

Auch gravierend scheint, wie sich die Normsetzung verschiebt. Bislang kreiste die deutsche Debatte darum, wer wie und wo bereits definiertes Recht durchsetzen kann. Bei der Entwicklung solcher Filter ist dagegen die Entwicklung der Kriterien selbst, nach denen Inhalte legitim oder nicht legitim sind und was der Algorithmus als „toxisch“ lernt, Teil eines Experiments – mit offener Wirkung. Wohin führt das, wenn die Welt nach rechts rückt? Und wohin führt uns eine Entwicklung, bei der sich die Bewertung von konkreten Inhalten von Politikern und Richtern zu Entwicklern und Moderatoren verschiebt? Ähnliche Fragen stellen sich, wenn Filtermechanismen gegen Harassment bei Twitter weiterentwickelt werden: Auch hier fehlt nicht nur Transparenz über Maßnahmen, Widerspruchsrechte oder Erklärungen. Twitter schlägt nun ebenfalls – in Partnerschaft mit IBM Watson – neue Wege in Richtung künstliche Intelligenz ein. Im Fokus steht dabei die Verbindung von Sentimentanalyse, die automatisierte Stimmungserkennung, mit maschinellem Lernen.

Facebook: KI gegen Fake News

Ankündigungen von Mark Zuckerberg lassen erahnen, welche Maßnahmen Facebook aktuell einleitet, um gegen andere Formen problematischer Inhalte vorzugehen, vor allem gegen Fake News oder Gewalt: Er schlug vor, der Verbreitung von Fake News eine Art Meinungsmatrix entgegen zu setzen, in die einzelne Beiträge eingeordnet werden. Diese soll Menschen eine Orientierung über ihre jeweilige Positionierung ermöglichen und Quellen identifizieren und stärken, die eine Vielfalt von Perspektiven liefern.

Diese Ideen sind anschlussfähig an Vorschläge, die nach der US-Wahl zum Umgang mit Fake News debattiert wurden. Dazu gehört etwa die Möglichkeit, Nachrichtenquellen oder Nutzern in Abhängigkeit von Ihrer Reputation zu ranken, um positiv bewerteten Akteuren eine höhere Verbreitung zu ermöglichen. Eine andere Möglichkeit bestünde darin, alle Inhalte zu indexieren und solche Inhalte zu befördern, die bereits überparteilich geteilt werden. Auch bei diesen Maßnahmen stünde nicht nur das Scannen und Indexieren aller von Nutzerinnen und Nutzern hoch geladenen Inhalte zur Debatte, die Neutralität der Plattform oder Möglichkeiten des Gamings. Sondern alle bereits im Kontext von Google angerissenen Probleme künstlicher Intelligenz.

Von autonom fahrenden Autos lernen

Die hier angerissenen Perspektiven reißen ein breites Feld auf, was durch verschiedene Formen problematischer Inhalte, unterschiedliche Entwicklungsstadien entsprechender Technologien und in ihrer Funktionsweise stark variierende Plattformen geprägt ist. Eine umfassende Betrachtung ist durch die schnellen Entwicklungen recht schwierig – und scheint dennoch notwendig, gerade mit Blick auf das Netzwerkdurchsetzungsgesetzes: Es sieht vor, Verantwortlichkeiten im Bereich der Rechtsauslegung und -durchsetzung an die Plattformanbieter zu übertragen und legitimiert damit deren sowieso vorhandenes Engagement im Bereich der Normsetzung und -durchsetzung. Ist dem Gesetzgeber bewusst, mit welcher Art von Normsetzung wir es zu tun haben, wie diese Technologien funktionieren und welche Gefahren und Risiken sie bergen?

Zuckerberg träumt bereits, dass Facebook aktiv und weitreichend Normen setzt und durchsetzt (eigene Übersetzung):

Die Idee ist es, einen umfassenden demokratischen Prozess zu entwickeln, um (Community-)Standards zu ermitteln, die mit Hilfe von Technologien künstlicher Intelligenz durchgesetzt werden.

Doch auch ohne diese Vision: Bislang waren die konkreten Regeln bei Inhaltemoderation intransparent und es gab keine angemessenen Widerspruchsrechte. Auch nachdem mediale Diskurse im Zuge von Brexit und Trump eskaliert sind, ist intransparent, wie bisherige Algorithmen beispielsweise im Newsfeed auf Probleme wie die Herstellung von Echokammern oder die Verbreitung von Fake News wirken. Nun sollen neue Technologien der Inhaltemoderation die digitalen Probleme lösen. Sie basieren auf Daten, Mustern, Modellen und Resultaten, die der Öffentlichkeit und politischen Entscheidungsträgern wie im Falle von Google kaum oder gar nicht zugänglich sind. Während anzuerkennen ist, dass einzelne rechtspopulistische oder nationalistische Akteure sehr viel fitter sind als die breite demokratische Mitte, Inhalte und Technologien zu Gunsten ihrer Interessen einzusetzen.

Ist eine solche Entwicklungsrichtung zielführend, um gegen den Hass zu kämpfen, oder könnte sie ihn nicht viel eher bestärken? Bräuchten wir hier nicht eine technische Folgenabschätzung, bevor wir die Rechtsdurchsetzung privatisieren und KI-unterstützte Inhaltemoderation nicht nur durch politischen Druck, sondern auch durch eine Verpflichtung auf Content-Recognition-Technologien – Voraussetzung für automatisierte Inhaltemoderation – voran bringen?

Aus der Debatte zum autonomen Fahren kennen wir die ethischen Grundprobleme, die auftreten, wenn Maschinen entscheiden. Ist es nicht an der Zeit, anstelle des Aktionismus gegen soziale Netzwerke im Kontext von Hate Speech eine Debatte zu den Regeln automatisierter Entscheidungen im Kontext neuer Mediensysteme zu führen – eine Debatte, die der Funktion öffentlicher Diskurse und der vierten Gewalt gerecht wird?