Terrorismus im Netz: Eine Datenbank soll’s richten

Fast 500 Mal wurde vergangene Woche eine Veranstaltung einer rechten US-Miliz auf Facebook gemeldet. Aus gutem Grund: Die Gruppe „Kenosha Guard“ hatte nach einem erneuten Polizeiübergriff auf einen Schwarzen im US-Bundesstaat Wisconsin dazu aufgerufen, protestierenden „Black Lives Matter“-Aktivist:innen bewaffnet entgegenzutreten.

Facebooks Moderationsteam sah keinen Verstoß gegen die Gemeinschaftsregeln und reagierte erst, als es zu spät war. Ein 17-jähriger Möchtegernpolizist erschoss zwei Demonstranten und verletzte einen weiteren. Ein bedauerlicher Fehler, sagt Facebook.

Nur wenige Tage später stirbt wieder jemand, diesmal im linksliberalen Portland, Oregon. Dort hatten rechte Gruppen aus der Umgebung zu einer „Trump 2020 Cruise Rally“ aufgerufen und die Veranstaltung ungestört auf Facebook beworben. Unter noch ungeklärten Umständen wurde einer der Teilnehmer erschossen, vermutlich ein Mitglied der rechten „Patriot Prayers“-Miliz.

Nazis raus – oder lieber nicht?

In dieser Manier wird es wohl weitergehen – zu tief ist dieses Gedankengut in unsere Gesellschaften eingeschrieben. Die Vorfälle zeigen, wie überfordert die sozialen Netze sind. Facebook etwa will einerseits „Hassreden, glaubwürdige Drohungen oder direkte Angriffe auf Einzelpersonen oder Personengruppen“ nicht auf der Plattform erlauben. Tatsächlich entfernt das Unternehmen inzwischen regelmäßig hetzerische Inhalte, erst kürzlich löschte es hunderte Gewalt verherrlichende Gruppen.

Andererseits stößt diese Absicht schnell an ihre Grenzen, da von solchen Maßnahmen zuvorderst US-Konservative betroffen wären. Das ergab vor Jahren eine interne, unter den Teppich gekehrte Studie. Fingerspitzengefühl ist gefragt, will man es sich nicht mit mächtigen Republikanern verscherzen, ohne Blut an den Händen kleben zu haben.

Twitter wiederum brüstete sich lange Zeit damit, als letzte Bastion der Meinungsfreiheit zu gelten und möglichst wenig zu moderieren. Mittlerweile konnte sich das Unternehmen aber immerhin dazu durchringen, Tweets des US-Präsidenten vereinzelt als „gefährlich“ zu markieren.

Abseits der großen Plattformen sieht es nicht notwendigerweise besser aus. Mal moderieren diese gar nicht und sind gar stolz darauf, Nazis und anderen Extremisten eine Bühne zu geben. Mal moderieren sie zu viel, meist mit Hilfe automatisierter Methoden, löschen dabei unbeabsichtigt legitime Inhalte und verprellen so ihre Nutzer:innen. Ein Spiel, bei dem es keine wirklich guten Antworten zu geben scheint.

Vermeintliches Allheilmittel Uploadfilter

Schon seit Jahren stehen Online-Dienste und deren radikalisierendes Potenzial im Visier von Regierungen und Ermittlungsbehörden. Und zunehmend formalisiert sich der Druck, der radikalisierende Inhalte aus dem Netz fegen soll. Als Instrument der Wahl hat sich jedoch ein Ansatz kristallisiert, dem Fingerspitzengefühl grundsätzlich fremd ist: das automatisierte Entfernen von Inhalten mittels Uploadfiltern.

Bereits heute ist eine Datenbank in Betrieb, in der inzwischen über 300.000 digitale Fingerabdrücke von mutmaßlich terroristischem Material liegen. Ist ein sogenannter „Hash“ eines bestimmten Inhalts in der Datenbank erfasst, lassen sich Dateien mit dem selben – oder sehr ähnlichen – Fingerabdruck nicht mehr auf eine teilnehmende Plattform hochladen.

Diese Hash-Datenbank war 2017 an den Start gegangen, als Folge einer islamistisch motivierten Anschlagserie in Frankreich und Belgien. Auf Druck der USA und der EU hatten Facebook, Twitter, Youtube und Microsoft das „Global Internet Forum to Counter Terrorism“ (GIFCT) ins Leben gerufen.

Unter dem Mantel des Konsortiums betreiben die großen Plattformen die Datenbank und helfen kleineren Online-Diensten, sich daran anzuschließen. Insgesamt 13 Firmen nehmen inzwischen an dieser Filterung von Inhalten teil, darunter Reddit, Amazon oder Dropbox.

Zwar kamen diese Uploadfilter mittlerweile auch bei rechtsextremem Terrorismus zum Einsatz, etwa nach dem antisemitischen Anschlag in Halle. Doch der Fokus liegt, bis auf Weiteres, auf islamistischer Propaganda.

Über den Tellerrand schauen

„Es war die weite Verbreitung von Online-Aktivitäten und Inhalten, die mit ISIS und al-Qaeda in Verbindung standen, die zu der anfänglichen Dringlichkeit bei der Entstehung und Arbeit des GIFCT beigetragen haben“, sagt der GIFCT-Chef Nick Rasmussen über einen Sprecher zu netzpolitik.org. „Aber Terrorismus und gewalttätiger Extremismus umfasst eindeutig auch andere Ideologien, unter anderem ‚White Supremacy‘, anti-muslimische Vorurteile und Antisemitismus“, sagt Rasmussen.

Der US-Amerikaner ist erst kürzlich zum ersten „Executive Director“ des Konsortiums bestellt worden. Er hat eine lange Karriere in der Terrorismusbekämpfung hinter sich, zuletzt leitete er das National Counterterrorism Center. Nach dem 11. September 2001 hieß Terrorismusbekämpfung allerdings in erster Linie, Krieg im Nahen und Mittleren Osten zu führen – und das Internet möglichst weitflächig zu überwachen.

Alleine das sollte schon misstrauisch stimmen. Doch das eilig in die Welt gesetzte GIFCT – so besteht erst seit diesem Jahr eine Führungsstruktur, die noch nicht vollständig ausgefüllt ist – muss auch so schon mit Kritik leben.

„Das Blockieren und andere Formen der Inhaltemoderation entwickeln sich rasch zum Mittel der Wahl für Politiker und Unternehmen, um gegen Terrorismus im Internet vorzugehen“, sagt Deborah Brown von der Menschenrechtsorganisation Human Rights Watch. Das GIFCT sollte in „robustem Austausch“ mit zivilgesellschaftlichen Gruppen stehen, fordert die Aktivistin. „Das soll sicherstellen, dass Maßnahmen, die die Welt sicher machen sollen, nicht die Grundrechte von Menschen zertrampeln“.

Bislang wurden diese Stimmen nicht ausreichend gehört, scheint es. Seit Anfang des Jahres weisen zivilgesellschaftliche Gruppen, darunter Privacy International, die Electronic Frontier Foundation oder das Kriegsverbrechen dokumentierende Syrian Archive, auf die blinden Flecken des GIFCT-Ansatzes hin – allerdings ohne großen Erfolg.

Privatisierte Rechtsdurchsetzung ohne demokratische Aufsicht

Eine zentralisierte und bis auf Weiteres völlig intransparent betriebene Datenbank mit mutmaßlich terroristischem Material könnte Regierungen dazu verleiten, auf einer globalen Ebene unerwünschte Inhalte verschwinden zu lassen, ohne sich einer demokratischen Debatte stellen zu müssen, heißt es etwa in einem Brief vom Februar.

„Das würde nicht nur signifikant die formalen Mechanismen untergraben, mit denen Regierungen und private Unternehmen zur Verantwortung gezogen werden können“, schreiben die Menschenrechtler, „sondern auch unweigerlich dazu führen, dass geschützte Rede stärker zensiert wird, unabhängiger Journalismus und Forschung behindert wird und Beweise versteckt oder zerstört werden, die für die Verfolgung von Kriegsverbrechen notwendig sind“.

Aus der Luft gegriffen sind diese Beispiele nicht. So löschte etwa Youtube (teil-)automatisiert hunderttausende Videos, die Gräueltaten aus dem syrischen Bürgerkrieg zeigen. Menschenrechtsaktivist:innen wollten damit zur Aufklärung von Verbrechen beitragen, die größte Videoplattform der Welt hielt dies aber augenscheinlich für Terrorismus. Passiert ist der Fehler im Jahr 2017, noch unabhängig von der GIFCT-Datenbank.

Zwar können Online-Dienste, die am GIFCT teilnehmen, selbst entscheiden, wie sie mit in der Datenbank enthaltenen Inhalten umgehen. Trotzdem könnten einmal getroffene Entscheidungen dazu führen, dass unerwünschte Inhalte per Mausklick aus weiten Teilen des Internets verschwinden.

Damit entsteht etwas, das die Forscherin Evelyn Douek „Inhalte-Kartelle“ nennt: Ein Zusammenschluss privater Firmen mit einem Hauch von Regierungsbeteiligung, der selbstständig und ohne effektive demokratische Aufsicht darüber entscheidet, was in weiten Teilen des Internets gesagt werden darf und was verschwindet. Und ist eine solche Infrastruktur erst einmal aufgebaut, lässt sie sich für beliebige andere Dinge instrumentalisieren, warnt Douek.

Dies beginnt schon bei der Definition von „Terrorismus“ oder „Extremismus“. Für Herbert Reul etwa, den Innenminister von Nordrhein-Westfalen, fallen Umweltaktivist:innen darunter. Auch die britische Anti-Terror-Polizei warf Gruppen wie Greenpeace und Extinction Rebellion in einen Topf mit Neo-Nazis. Die Unschärfe der Begriffe erlaubt es, je nach politischer Großwetterlage, katalanische Separatist:innen oder polnische Menschenrechts-Aktivist:innen pauschal als gewalttätige Extremisten einzustufen.

Druck auf kleine Plattformen

Gleichzeitig ist das Problem von Terrorpropaganda im Netz durchaus real – und unabhängig von den gesellschaftlichen Implikationen könnten Plattformen in Grund und Boden geklagt werden, gehen sie nicht ausreichend gegen illegale Inhalte vor. Europa schickt sich zudem an, den Druck weiter zu erhöhen. Durch einen noch nicht endgültig abgesegneten Gesetzesentwurf will die EU-Kommission möglichst viele Plattformen dazu drängen, ebenfalls auf automatisierte Inhalteentfernung zu setzen.

„Das Problem ist besonders akut für kleine Plattformen und Start-ups, die sich womöglich in der Situation wiederfinden, andere Inhalte als die zu hosten, die sie beim Start ursprünglich im Blick hatten“, schreibt Douek. So könne es schnell passieren, dass eine Textschnipsel-Plattform von ISIS-Enthauptungsvideos überflutet wird oder sich eine Chat-Plattform für Gamer zum Treffpunkt für Nazis entwickelt.

Große Moderationsteams können sich aber vor allem kleine Online-Dienste nicht leisten, genauso wie sie technologisch hinterherhinken. Rund 100 Millionen US-Dollar hat etwa Youtube in sein Content-ID-System gesteckt, um Urheberrechtsverletzungen aufzuspüren. Wieviel das von Facebook entwickelte ThreatExchange gekostet hat – die technische Grundlage der Hash-Datenbank und inzwischen teils quelloffen – ist nicht bekannt, dürfte aber das Budget kleiner Firmen um ein Vielfaches übersteigen.

Unabhängiges Beratungsgremium soll mithelfen

Diese Warnungen sind zumindest bei Bjørn Ihler angekommen. Der norwegische Friedensaktivist sitzt dem neu eingerichteten, unabhängigen Beratungsgremium (Independent Advisory Committee, IAC) vor. Dieses soll das GIFCT dabei unterstützen, Prioritäten zu setzen und Expertise im Kampf gegen Terror zu liefern.

Derzeit befinde sich das GIFCT in einer „transformativen Phase“, sagt Ihler zu netzpolitik.org. Genau deshalb sei es wichtig, die Kritik zivilgesellschaftlicher Gruppen ernst zu nehmen. „Als IAC-Vorsitzender ist es in der Tat meine Absicht, einige dieser Stimmen ans Licht zu bringen, während wir die Organisation aufbauen“.

Trotzdem sorgen sich viele dieser Gruppen, als Feigenblatt zu dienen. Denn das IAC soll zwar mit zwölf Vertretern der Zivilgesellschaft bestückt werden, allerdings auch mit Abgesandten von Regierungen, unter anderem der USA, Frankreich und der EU-Kommission. Welche NGOs mitmachen werden, ist offiziell noch nicht bekannt.

Abgewunken hat etwa Human Rights Watch. „Unsere Erfahrungen mit Multi-Stakeholder-Initiativen, die private Unternehmen, zivilgesellschaftliche Gruppen und Regierungen umfassen, sind gemischt“, schreiben die Menschenrechtler. „Aber wenn Unternehmen undurchsichtig und gegenüber Regierungsvertretern unterwürfig handeln, dann können Regierungen einen außerordentlichen Einfluss auf den Ausgang solcher Initiativen nehmen“. Genau dies sei beim GIFCT passiert, mahnen die Unterzeichner des Briefs.

„Extreme Maßnahme“ Uploadfilter

Auch die Digital-NGO Access Now ist nicht zufrieden. Eine formale Antwort auf die offenen Briefe und die darin enthaltene Kritik habe man bislang nicht erhalten, sagt Javier Pallero, der Policy-Chef der NGO. Allerdings würden Gespräche laufen, etwa im Rahmen von Arbeitsgruppen oder einem kürzlich veranstalteten Multi-Stakeholder-Forum.

Den Einsatz von Uploadfiltern hält Pallero jedenfalls für eine „extreme Maßnahme“. Sie würden schnelle Takedowns versprechen, gleichzeitig aber oft legitime Inhalte aus dem Netz fegen. „Wir glauben, dass Uploadfilter eine Rolle in sehr spezifischen und außerordentlichen Fällen spielen können – gesetzt den Fall, dass diese Systeme transparent sind und regelmäßig durchleuchtet werden“, sagt Pallero.

Idealerweise sollte aber Präventionsarbeit im Fokus stehen, fordert Pallero. Und man müsse auch endlich die Funktionsweise der Plattformen genauer unter die Lupe nehmen, welche die Verbreitung solcher Inhalte anreizen, sagt Pallero: „Design-Entscheidungen, die Nutzer:innen zu immer extremistischeren Inhalten führen.“