Chatkontrolle : Was Unternehmen schon freiwillig tun

Vielen Dank für eure Bemühungen, aber das reicht uns noch lange nicht. So in etwa lautet sinngemäß die Botschaft der EU-Kommission an Facebook, Google und andere Tech-Konzerne, die heute schon mit verschiedenen Technologien ihre Dienste nach Darstellungen von Gewalt gegen Kinder durchsuchen. „Trotz des wichtigen Beitrags einiger Anbieter haben sich die freiwilligen Maßnahmen als unzureichend erwiesen, um den Missbrauch von Online-Diensten zum Zwecke des sexuellen Missbrauchs von Kindern zu bekämpfen.“

Das steht im Gesetzesentwurf, den die Kommission vor zwei Wochen vorgelegt hat. Sie will im Zweifel alle „Anbieter von Telekommunikation“ – von Messengern bis zu Spieleplattformen mit Chatfunktion – dazu zwingen können, in privaten Nachrichten ihrer Nutzer:innen nach Spuren von sexualisierter Gewalt gegen Kinder zu suchen.

Sie sollen dabei nicht nur bereits bekannte Bilder oder Videos erkennen und melden. Suchen sollen sie auch nach bislang neuen, verdächtigen Aufnahmen und nach sogenanntem Cybergrooming in Textnachrichten. So bezeichnet man es, wenn jemand online Kontakt zu Minderjährigen anbahnt, etwa um Nacktfotos von ihnen zu bekommen. Es ist eine Anordnung zur massenweisen Durchleuchtung der Privatnachrichten von Millionen.

Dabei arbeiten eine ganze Reihe von Unternehmen heute schon freiwillig daran, genau diese Gewalt auf ihren Servern und Diensten zu tilgen. Vor allem die Großen wie Google, Facebook oder Microsoft haben in den vergangenen Jahren teils hohe Summen investiert, um eigene Technologien zur Erkennung entwickeln. Damit verfolgen sie genau die Ziele, die auch die EU-Kommission nun als oberste Priorität ausgegeben hat: Material finden, an Behörden melden, verhindern, dass solche Inhalte sich weiter verbreiten. Wer will schon zum Kanal für Gewalt gegen Kinder werden.

Unternehmen von Google bis Twitter haben zudem im Jahr 2020 die so genannten „Voluntary Principles to Counter Online Child Sexual Exploitation and Abuse“ unterzeichnet, eine freiwillige Vereinbarung, die unter anderem beinhaltet, Gewaltdarstellungen und Grooming aufzuspüren.

Google sucht nach neuen Bildern, aber nicht direkt auf dem Handy

Google etwa meldete im vergangenen Jahr mehr als 800.000 Mal Bilder, Videos, Nachrichten oder ganze Accounts an das National Center for Missing and Exploited Children (NCMEC). Die US-amerikanische Organisation ist eine internationale Zentralstelle für die Erfassung von „Child Sexual Abuse Material“, kurz CSAM, und führt eine der wichtigsten Datenbanken bekannter Aufnahmen.

Google sucht heute schon nach zwei der drei Dinge, die die EU-Kommission nun zur Pflicht machen will. Zum einen scannt der Konzern mit einer eigenen Erkennungstechnologie YouTube nach bereits bekannten Aufnahmen von Gewalt. Das funktioniert mit einer Software, die für Bilder einen so genannten Hashwert berechnet, eine Art digitalen Fingerabdruck, und diesen mit Datenbanken von bereits bekannten Aufnahmen abgleicht, um Treffer zu finden.

Gleichzeitig sucht Google nach neuen, verdächigen Aufnahmen, die Gewalt zeigen könnten. Dafür setzt der Konzern auf die automatisierte Erkennung von Bildern: So genannte Klassifikatoren scannen die Bilder und markieren, mit welcher Wahrscheinlichkeit es sich dabei um Darstellungen von sexualisierter Gewalt gegen Kinder handelt. Menschliche Moderator:innen sichten das auffällige Material – und melden bestätigte Fälle an das NCMEC. Google setzt die Technologien mindestens seit 2019 ein, damals bestätigte das eine Mitarbeiterin bei einer Anhörung in London.

Ob sich die Suche auch auf private Kommunikation und Kanäle erstreckt, unterschlägt Google diskret in seinem eigenen Blog. Aus Behördenanfragen und Medienberichten geht jedoch hervor, dass Google offenbar zumindest Gmail-Konten und Inhalte auf seinem Cloudservice Google Drive scannt. Die Android-Geräte seiner Nutzer:innen durchsucht Google dagegen offenbar nicht.

Facebook: auch „child grooming“

Platz 1 in den Meldelisten des NCMEC hält jedoch Facebook. Die Social-Media-Plattform belegt seit Jahren den Spitzenplatz, was die Zahl der Meldungen angeht und hat auch im vergangenen Jahr mehr als 22 Millionen Meldungen an die Hotline der Organisation geschickt. Zum Vergleich: Snapchat hat im gleichen Zeitraum 512.522 Meldungen gemacht, TikTok 154.618, Apple gerade mal 265. WhatsApp und Instagram, die wie Facebook zum Meta-Konzern gehören, sind bei dieser Zahl nicht mal einberechnet. 

Facebook weist darauf hin, dass interne Untersuchungen diese Zahlen in ein anderes Licht rücken: Man habe festgestellt, dass teils die Hälfte der Meldungen auf nur wenige Bilder zurückgehen – die dafür millionenfach  geteilt werden. Größtenteils geschehe das ohne ein Bewusstsein dafür, dass man gerade Gewaltdarstellungen reproduziert. Um das zu unterbinden, hat der Konzern vergangenes Jahr Warnungen eingeführt, die darauf hinweisen, dass es sich dabei womöglich um eine Straftat handelt.

Das eigentliche Scanning nach Gewaltdarstellung betreibt Facebook „seit Jahren“, auch die Suche nach „möglicherweise unangebrachten Interaktionen mit Kindern oder Grooming“ falle darunter, schreibt Sicherheitschefin Antigone Davis in einem Blogpost. Facebook verwende dafür „Technologie“, welche, das bleibt offen.

Der Elefant im Raum ist allerdings die Frage der Ende-zur-Ende-Verschlüsselung. Facebook hat mehrfach angekündigt, dass es nach und nach alle privaten Nachrichten von Nutzer:innen auf Instagram und im Facebook Messenger verschlüsseln will. Das hieße, dass in diesen Nachrichten nicht mehr nach Inhalten gesucht werden kann, nur noch nach Mustern von Kommunikation oder Metadaten.

Die EU-Kommission bezeichnet das als „Licht ausschalten“ und befürchtet, dass die Zahl der Meldungen weltweit, die von Plattformen bei NCMEC eingehen, um die Hälfte oder sogar zwei Drittel einbrechen könnte, sollte Facebook ernst machen. Damit würde ein Großteil der „Beweisbasis“ wegfallen, auch wäre es schwer, weiter Aussagen über das Ausmaß von Gewaltdarstellungen gegen Kinder im Netz zu machen.

Apple: Gerätedurchsuchung erst mal auf Eis

Eine Möglichkeit für Anbieter, den Forderungen der Kommission nachzukommen, wäre, die Kommunikation ihrer Nutzer:innen zu durchleuchten noch bevor diese durch einen verschlüsselten Tunnel geschickt wird, das so genannte Client-Side-Scanning. Apple hatte vergangenes Jahr mit der Ankündigung für Empörung gesorgt, Bilder seiner Nutzer:innen in Zukunft auf genau diese Weise nach möglichen Darstellungen von Gewalt gegen Kinder durchsuchen zu wollen.

Dafür sollten Bilder auf den Geräten selbst gescannt werden. Das Feature wurde nach den empörten Reaktionen erst mal verschoben. In Großbritannien führte Apple vor kurzem allerdings eine verwandte Funktion ein. Dort können Eltern nun auf den Smartphones ihrer Kinder einschalten, dass deren Nachrichten automatisch nach Nacktbildern durchsucht werden. Die Kinder sollen dann Hinweise erhalten, etwa, ob sie einen Erwachsenen zur Hilfe holen wollen.

Apple bemüht sich zu betonen: Weder Konzern noch Behörden werden über die Funde benachrichtigt. Die dabei verwendete Technologie wäre allerdings genau die gleiche, mit der Apple auf den Geräten auch nach Bildern von Gewalt gegen Kinder fahnden könnte, um diese an Behörden zu melden. Das Feature ist auch für Australien, Kanada und Neuseeland angekündigt.

PhotoDNA: Microsofts Tool für bekannte Bilder als Standard

Eine lobende Erwähnung in den Dokumenten der EU-Kommission bekommt Microsoft. Das Unternehmen hat bereits 2009 damit begonnen gemeinsam mit dem Forscher Hany Farid eine Technologie zu entwickeln, mit der man bekanntes Bildermaterial wie mit einem digitalen Fingerabdruck immer wieder identifizieren kann – in Internetjahren ist das eine halbe Ewigkeit. PhotoDNA wird heute von Unternehmen und Behörden auf der ganzen Welt eingesetzt, um Darstellungen von Gewalt gegen Kinder zu suchen.

Das funktioniert, indem für jedes Bild ein einzigartiger Wert berechnet wird, der sich auch nicht durch Änderungen der Größe oder Farbgebung verändert, der so genannte Hashwert. Für jedes bereits gefundene und bekannte Bild wird ein solcher Wert berechnet und in einer Datenbank gespeichert. Unternehmen oder Behörden können mit PhotoDNA also Massen von Daten scannen, und abgleichen, ob sich darunter schon bekannte Bilder finden. Sogar für Videos funktioniert das inzwischen.

Microsoft selbst verwendet PhotoDNA auf seiner Suchmaschine Bing oder auf seinem Filehosting-Dienst. Aber auch Google, Twitter, Facebook, Reddit oder Discord lassen die Technologie auf ihren Servern laufen. Formal gehört sie nach einer Spende von Microsoft inzwischen dem National Center for Missing and Exploited Children, das sie wiederum Unternehmen und Behörden weltweit kostenlos zur Verfügung stellt.

Thorn und Microsoft: Suche nach Grooming

Wer zum Thema Cybergrooming und Gegenmaßnahmen recherchiert, stößt unweigerlich auf die Organisation Thorn. Die US-amerikanische NGO wurde unter anderem von den Hollywood-Stars Ashton Kutcher und Demi Moore gegründet und will „jedes Kind vor sexuellem Missbrauch online“ schützen. Dafür bietet Thorn ein Softwareprodukt namens Safer, eine Art Komplettpaket für die Suche nach Darstellungen von sexueller Gewalt gegen Kinder. Mit Safer soll sich auch Cybergrooming erkennen lassen.

Entwickelt wurde die Technologie ursprünglich unter Leitung von Microsoft, damals noch unter dem Codenamen „Project Artemis“. Auf einem Hackathon 2018 bauten Fachleute aus verschiedenen Unternehmen einen ersten Prototypen –  mit dabei waren auch Roblox, der Messenger KIK und andere Unternehmen mit sehr junger Zielgruppe.

Inzwischen hat Thorn die Verwaltung der Software übernommen und stellt sie auf Anfrage kostenlos Unternehmen, NGOs oder sogar Strafermittlungsbehörden zur Verfügung. In einem Bericht, der den Gesetzentwurf der Kommission begleitet, taucht Thorn zigfach auf und bekommt ganze Abschnitte gewidmet. Die Organisation hat über Jahre stark in Brüssel lobbyiert.

Technisch funktioniert die Grooming-Erkennung ähnlich wie bereits die Suche nach neuen Bildern: Nachdem sie mit historischen Chatnachrichten vorbereitet wurde, soll sie anhand der Muster erkennen können, mit welcher Wahrscheinlichkeit es sich bei einem neuen Nachrichtenaustausch ebenfalls um Grooming handelt. Ebenso wie Verfahren zur Bilderkennung muss auch ein Texterkennungsalgorithmus zuvor möglichst viele Beispiele erfassen, um neue Fälle erkennen zu können. Woher dieses Material im Fall von Safer stammt, ist nicht bekannt. Eine Anfrage ließ die Organisation unbeantwortet.

Microsoft setzt das Tool laut einem Blogeintrag seit Jahren zur Überwachung seiner eigenen XBox-Spieleplattform ein, ein Einsatz für Chats etwa auf Skype werde „erforscht“. Weitere „Kunden“, die auf der Webseite von Safer genannt werden, sind Flickr, Vimeo und der Domainregistrar GoDaddy.

Was Unternehmen tun und was die Kommission will

Entscheidender als die Frage, was Unternehmen bisher schon freiwillig tun, um Gewaltdarstellungen zu finden und zu melden, ist aber, was sie bislang nicht tun. Keines der Unternehmen überprüft systematisch und massenweise die gesamte private Kommunikation seiner Kund:innen. Genau das will aber die EU-Kommission im Zweifel durchsetzen können.

Sie verweist dabei explizit auf das Problem, dass Unternehmen, die heute bestimmte Maßnahmen durchführen, es sich morgen auch ganz anders überlegen könnten. „Da die Aufdeckung freiwillig ist, können die Unternehmen ihre Politik nach Belieben ändern“, heißt es dazu in der Folgenabschätzung, die den Gesetzentwurf der Kommission flankiert.

Als Schreckensszenario beschwört das Dokument etwa die Ankündigung von Facebook, Nachrichten in seinem Messenger ab kommendem Jahr standardmäßig zu verschlüsseln. Auch Google hat für seine Chatnachrichten bereits Ende-zu-Ende-Verschlüsselung eingeführt. Was, wenn noch weitere Dienste „das Licht ausschalten“?

Vor allem dreht es sich aber um die Frage, welche Anbieter bisher definitiv nicht nach Gewaltdarstellungen oder Anbahnung suchen: Nämlich all jene Messenger wie Signal, Telegram oder Threema, die die Vertraulichkeit der Kommunikation zu ihrem Markenkern gemacht haben. Selbst WhatsApp verschlüsselt inzwischen standardmäßig Nachrichten. Diese Dienste könnten Vorgaben gar nicht erfüllen, ohne die Vertraulichkeit der Kommunikation für all ihre Kund:innen aufweichen zu müssen. Am Ende laufen die Pläne der Kommission wohl darauf hinaus, sie in die Knie zu zwingen.

Und im Zweifel auch jene in die Zwinge nehmen zu können, bei denen sich die „freiwilligen Maßnahmen“ bisher als „unzureichend“ erwiesen haben.