Falscher Verdacht gegen VaterEin Fall aus den USA zeigt die Gefahr der geplanten Chatkontrolle

Ein Vater fotografiert den Genitalbereich seines kleinen Sohnes für den Kinderarzt – plötzlich wird sein Google-Account gesperrt. Die automatische Bilderkennung hatte falschen Alarm ausgelöst. Für die geplante Chatkontrolle lässt das wenig Gutes erwarten.

Symbolbild – Alle Rechte vorbehalten IMAGO / Panthermedia

Ein Fall aus San Francisco macht anschaulich, was passieren kann, wenn automatische Bilderkennung einen falschen Verdacht hegt. Die Geschichte beginnt im Februar 2021. Ein Vater bemerkt, dass sein kleiner Sohn Schmerzen am Penis hat. Wegen der Pandemie bietet der Kinderarzt eine Videosprechstunde an. Man solle vorab ein Foto der schmerzenden Stelle schicken. So berichtet es die New York Times. Was der Vater nicht ahnt: Die Fotos vom Genitalbereich seines kleinen Sohnes landen auch auf Google-Servern und werden dort automatisch gescannt.

Die automatische Synchronisierung von Fotos lässt sich auf Android-Geräten ein- und ausschalten. In diesem Fall war sie eingeschaltet, und Google scannte die Fotos auf der Suche nach sexualisierter Gewalt gegen Kinder. Bei mindestens einem Foto schlug die automatische Bilderkennung Alarm. Mit schweren Folgen: Das Erstellen sogenannter Kinderpornografie ist auch in den USA eine schwere Straftat. Der Vater verlor seinen Google-Account, die Polizei wurde eingeschaltet. Zahlreiche US-amerikanische und deutsche Nachrichtenmedien haben inzwischen darüber berichtet.

KI kennt keinen Kontext

Hier zeigt sich das Problem von automatischer Bilderkennung, die auf Machine Learning aufbaut, auch bekannt als Künstliche Intelligenz. Die Software hat an dieser Stelle wie vorgesehen gearbeitet und eine mutmaßlich kriminelle Situation erkannt. Eine erwachsene Hand, der Genitalbereich eines Kindes – genau solche Bilder soll die Software erkennen. Doch sie versteht den Kontext nicht. 

Für den Vater aus San Francisco endete der Fall noch glimpflich. Die Polizei kam bei ihren Ermittlungen zum Ergebnis, dass keine Straftat vorlag. Bloß seinen Google-Account hatte der Vater verloren, samt aller privaten Daten.

Das macht den Fall zu einem Paradebeispiel für die Schwächen automatischer Bilderkennung. Irrtümliche Treffer, false positives, sind nicht nur eine Randnotiz in der Statistik. Sie treffen das Leben realer Menschen. Der Fall zeigt auch, wie machtlos Nutzer:innen gegenüber den Tech-Giganten sind. Trotz Beschwerden wurde die Sperre des Google-Accounts nicht aufgehoben.

Die deutsche Google-Pressestelle teilt auf Anfrage von netzpolitik.org mit, dass Google Verdachtsfälle händisch überprüfe, bevor ein Konto gesperrt werde. Nutzer:innen hätten die Möglichkeit, Einspruch zu erheben, und Einsprüche würden durch das Team überprüft. Außerdem leite Google Verdachtsfälle sexualisierter Gewalt gegen Kinder an eine zentrale Meldestelle in den USA weiter, das NCMEC. Über die Arbeit des NCMEC haben wir hier ausführlich berichtet. Bei Fällen im Ausland kontaktiert das NCMEC wiederum lokale Behörden, in der EU ist es beispielsweise Europol.

Vorschau auf die Chatkontrolle

Der Fall ist auch im Hinblick auf die sogenannte Chatkontrolle spannend. Die Europäische Kommission plant mit diesem Gesetzesvorhaben, dass Tech-Unternehmen bekannte Darstellungen sexualisierter Gewalt gegen Kinder automatisch erkennen sollen, auch in privaten Chats. Darüber hinaus sollen sie auch bislang unbekannte Aufnahmen erkennen.

Genau das birgt viele Fallstricke. Vorgänge wie der aus San Francisco könnten sich wiederholen. Fotos für Kinderärzt:innen können ebenso falschen Alarm auslösen wie Chatgruppen, in den Familienmitglieder Fotos vom Baden am See posten, oder einvernehmliches Sexting unter Jugendlichen. Schon heute ist mehr als Hälfte der Tatverdächtigen bei sogenannter Kinderpornographie selbst minderjährig.

Dass False Positives erwartet werden, gibt die EU-Kommission selbst zu, aus technologischer Sicht sind sie unvermeidlich. Auch wenn sich die Fehlerquoten durch Training der Bilderkennung senken lassen – bei Abermillionen täglich verschickten Fotos bedeuten selbst geringste Fehlerquoten, dass reihenweise unbescholtene Menschen unter Verdacht geraten können. Die mögliche Folge wären teils monatelange Ungewissheit, wie Ermittlungsbehörden mit dem Verdacht umgehen.

Datenschützer:innen und Bürgerrechtsorganisationen aus ganz Europa warnen seit Monaten davor, massenhaft die private Kommunikation von Internet-Nutzer:innen zu durchleuchten. EU-Datenschutzbehörden haben das Vorhaben komplett auseinandergenommen. Es bedroht Grundrechte und birgt die Gefahr einer neuen Form von anlassloser Massenüberwachung. Als nächstes wird der Entwurf der EU-Kommission im EU-Parlament diskutiert.

17 Ergänzungen

  1. Die Ablehnung der Chatkontrolle ist sicherlich zu begrüßen. aber wenn Sie den kommt, wovon ich ausgehe, ist das Schlimmste dabei die private Rechtsdurchsetzung von Großkonzernen, denen man Hilflos ausgeliefert ist, und wo man das Ganze im Falsch-Fall kaum zurückdrehen kann.

    Das wäre so als, wenn der Staat in vergleichbaren Fällen deine Existenz aus allen Behörden und Akten löscht, alle Dokumente ungültig werden und alle Leistungen des Sozialstaates incl. Rente eingezogen werden.

  2. Auch andere Medien haben darüber berichtet. In den Kommentarspalten dort (z.b. spiegel.de) durfte ich beim Lesen feststellen, dass die Studie zum angeblichen „millionenfachen Missbrauch“ (Netzpolitik-Link: https://netzpolitik.org/2022/sexualisierte-gewalt-gegen-kinder-bka-verbreitet-irrefuehrende-pressemitteilung/) bereits Wirkung entfaltet hat: der aktuelle Fall wurde sodann von nicht wenigen als Lapalie abgetan oder als angemessenes „Opfer“ für die Kindersicherheit betrachtet. Manche sahen darin sogar ein Positiv-Beispiel für die Chatkontrolle („der Vater wurde schließlich nicht verurteilt, das System funktioniert also“).

  3. „Außerdem leite Google Verdachtsfälle sexualisierter Gewalt gegen Kinder an eine zentrale Meldestelle in den USA weiter, das NCMEC. Über die Arbeit des NCMEC haben wir hier ausführlich berichtet. Bei Fällen im Ausland kontaktiert das NCMEC wiederum lokale Behörden, in der EU ist es beispielsweise Europol.“

    Ist das jetzt der Nachweis, dass Google offiziell gegen das Schrems II-Urteil verstößt und personenbezogenen Daten unerlaubt an die USA weiterleitet?
    Wär doch mal wieder was für NOYB…

  4. „KI kennt keinen Kontext“

    Hier wird vielleicht noch „diskutiert“ werden, denn die Chatkontrolle ist NICHT auf Bilder beschränkt. Das wird letztlich bzgl. der Bös- und Blödheit des Vorhabens auch keinen Unterschied machen, weil das Anwendungsfeld der Chatkontrolle noch mal viel weiter werden soll als es bei Kinderpornoerkennung der Fall wäre.

  5. Es ist nicht so, dass die EU-Kommission und die Befürworter der Chatkontrolle sich des Risikos falscher Alarme und des möglichen Missbrauchs nicht bewusst seien. Das Problem ist, dass ihre Angst, der Staat werde ohne derartige Überwachungsmittel die Kontrolle verlieren, mittlerweile so groß und so verbreitet ist, dass die damit verbundenen Risiken in ihrer Risikobewertung deutlich mehr Gewicht haben als die Gefahr, die Leben zahlreicher unbescholtener Bürgerinnen und Bürger zu zerstören.

    Inhaltlich würde ich da sogar durchaus mitgehen, dass ohne diese Mittel irgendwann diverse Gruppierungen wie Terroristen, Rechtsextreme, Pädokriminelle etc., nicht mehr zu kontrollieren wären, wie es mit ihnen der Fall wäre. Nur hat der Staat schon in den Zeiten, als es ohne Massenüberwachung einfach war, nichts signifikant gegen diese Strukturen unternommen, und tut es immer noch nichts. Rechtsextreme in den eigenen Reihen werden nicht zur Rechenschaft gezogen, die katholische Kirche gibt es immer noch, Kindesmissbrauchsaufnahmen werden nicht gelöscht, sondern lieber als „Köder“ benutzt, um mehr Kriminelle anzulocken und somit die eigene Statistik und Quote aufzuhübschen, ganz zu schweigen von den benötigten Mitteln zur Prävention, die der Staat nicht bereitstellt. Anders gesagt: Auch jetzt reizt der Staat die rechtsstaatlichen Mittel, die ihm zur Verfügung stehen, nicht aus, bevor er auf unrechtsstaatliche Mittel zurückgreifen will. Nicht einmal ein Verfallsdatum für entsprechende Gesetze – m.E. die Mindestanforderung, um wenigstens etwas Restvertrauen zu verdienen – ist dafür vorgesehen. Damit sollte klar sein, dass bei Chatkontrolle, Client-Side-Scanning, Staatstrojanern etc. niemals Opferschutz, sondern Machterhalt und -ausbau das Ziel ist. Und somit ist es ihnen egal, ob wir in Zukunft häufiger Fälle wie jenen in den USA erleben werden.

    Leider geht ein erheblicher Teil der Bevölkerung, gerade bei einem Thema wie Kindesmissbrauch, damit auch noch konform: Wenn es hilft, Täter zu schnappen, ist es ihnen egal, ob es mal einen Unschuldigen erwischt und sein Ruf und sein Leben dadurch für immer ruiniert werden – ein vertretbarer Kollateralschaden, und außerdem, irgendwas Dummes muss der ja angestellt haben, sonst wäre er gar nicht erst unter Verdacht geraten. „ICH habe ja NICHTS zu verbergen!“ – Bis es sie selbst trifft…

    1. Nach Angaben der NYT geht es um „texting“, und zwar vom Telefon des Vaters zum Telefon der Mutter, von der Mutter aus gelangte das Bild dann zum Arzt. Dieses „texting“ der Eltern löste den Google-Scan aus, die Software warf dabei den CSAM-Alarm aus. Mit „texting“ meinen die US-Amerikaner in der Regel SMS oder eben MMS, also kein Messenger.

      1. Ich würde davon ausgehen, dass das texting irrelevant ist. Die Bilder wurden von Google Photos als Backup auf Google Server geladen und dort gescannt. Das passierte nach dem Photographieren automatisch.

        Jedenfalls kann ich dem NYT Artikel nicht entnehmen, dass das texting den scan ausgelöst habe?

          1. Ich sehe das auch so, es steht nicht überall übereinstimmend, in welcher Reihenfolge was passiert. Ich antwortete aber eigentlich nur auf die Frage, welcher Messenger beteiligt war (nämlich offenbar keiner).

          2. No offense, aber Du hast in Deinem Kommentar geschrieben

            ‚Dieses „texting“ der Eltern löste den Google-Scan aus,‘

          3. Das habe ich auch genauso gemeint, denn es wird auch so beschrieben, dass darin die Ursache des Scans gelegen haben könnte. Ich zitiere mal eine Quelle, die keine Paywall hat, damit jeder es lesen kann und es verständlich wird, warum dieser Ablauf ein ziemlich wahrscheinlicher ist:
            „In texting them — in Google’s terms, taking “affirmative action,” — it caused Google to scan the material, and it’s AI-based detector flagged the image as potential CSAM.“
            (siehe https://www.techdirt.com/2022/08/22/horrifying-google-flags-parents-as-child-sex-abusers-after-they-sent-their-doctors-requested-photos/ )

            Ich halte das für eine schlüssige Begründung. (Und ich wollte aber eigentlich nur sagen, dass kein Messenger im Spiel war. :)

          4. Techdirt referenziert den nyt article, und den habe ich gelesen.

            Zitat daraus: „When Mark’s and Cassio’s photos were automatically uploaded from their phones to Google’s servers, this technology flagged them. Jon Callas of the E.F.F. called the scanning intrusive, saying a family photo album on someone’s personal device should be a “private sphere.” (A Google spokeswoman said the company scans only when an “affirmative action” is taken by a user; that includes when the user’s phone backs up photos to the company’s cloud.)“

  6. Kleine Rechtschreib-Korrektur im letzten Paragraphen.

    „EU-Datenschutzbehörden haben „an“ das Vorhaben komplett auseinandergenommen. „Es“ Vorhaben bedroht Grundrechte und birgt die Gefahr einer neuen Form von anlassloser Massenüberwachung. “

    „an“ rausstreichen und „Es“ gegen „Das“ austauschen.

    Gerne einfach im Text ändern und dann den Kommentar löschen. Danke.

      1. Das Problem ist doch dass wie bereits erwähnt,es eigentlich ausreichende mittel gibt. Die Behörden machen nur ihre Arbeit nicht. Das.hauptproblem, ist meiner Meinung nach, nicht nur die Verletzung der Grundrechte aller, sondern die Privatisierung von Ermittlungen.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.