EU-Pläne einfach erklärt Warum die Chatkontrolle Grundrechte bedroht

Online-Anbieter sollen unter anderem Chats durchleuchten, um sexuelle Gewalt gegen Kinder zu finden. Verdächtige Inhalte sollen sie Behörden melden müssen. Liest bald die Polizei auf WhatsApp mit? Die wichtigsten Antworten.

Ein Polizist mit Taschenlampe, eine Hand mit Smartphone
Chatkontrolle heißt: Jedes Handy ist verdächtig (Symbolbild) – Alle Rechte vorbehalten Polizist: Imago/ YAY Images, Smartphone: Pixabay, Montage: netzpolitik.org

Hinter dem Vorhaben der EU-Kommission zur Chatkontrolle steht ein über 130-seitiger Gesetzentwurf. Wir haben uns durchgearbeitet und Antworten auf die wichtigsten Fragen gesammelt.

Was will die EU mit meinem Handy machen?

Die EU-Kommission will Handys in Alarmanlagen für Darstellungen sexueller Gewalt verwandeln. Das gilt auch für Laptops und andere Geräte. Geplant ist ein System der Kontrolle und Durchsuchung von Kommunikationsinhalten. Das ist mit „Chatkontrolle“ gemeint. Außerdem will die EU-Kommission ein neues „EU-Zentrum gegen Kindesmissbrauch“ in Den Haag schaffen. Mit der geplanten Regulierung sollen Onlinedienste gezwungen werden können, die Kommunikation ihrer Nutzer:innen zu scannen, wenn sie eine entsprechende Anordnung bekommen haben. Finden sie verdächtige Aufnahmen oder Texte, müssen sie die Inhalte an das EU-Zentrum weiterleiten.

Für das eigene Handy bedeutet das: Kommunikation wäre in Zukunft nicht mehr vertraulich. Das kann auch verschlüsselte Messenger betreffen. Die EU-Kommission will Anbieter nicht nur dazu zwingen können, bereits bekannte Bilder oder Videos zu erkennen. Suchen sollen sie auch nach neuen, verdächtigen Aufnahmen und nach „Cybergrooming“. So nennt man es, wenn Erwachsene sexuellen Kontakt zu Minderjährigen anbahnen. In der Praxis heißt das, dass Anbieter unsere Kommunikation auswerten müssten.

Messenger wie WhatsApp und Signal sind Ende-zu-Ende-verschlüsselt. Da kann doch niemand mitlesen?

Die Antwortet laut: Ja, aber. Es stimmt, Ende-zu-Ende-Verschlüsselung soll verhindern, dass jemand außer Sender:in und Empfänger:in eine Nachricht mitlesen kann. Alle anderen Stationen im Internet dazwischen sehen nur Zeichensalat, aber nicht die Inhalte. Diese Verschlüsselung ist wichtig, damit weder kriminelle Hacker:innen noch Staaten unsere private Kommunikation lesen können. Auf den ersten Blick lässt sich eine Chatkontrolle also nicht mit Ende-zu-Ende-Verschlüsselung vereinbaren. Aber die Regulierung würde Unternehmen verpflichten, Inhalte trotzdem irgendwie zu scannen. Die EU-Kommission lässt offen, wie das technisch gehen soll.

Generell sollen die betroffenen Anbieter laut EU-Kommission zwar „vermeiden, die Sicherheit und Vertraulichkeit der Kommunikation von Nutzern zu unterminieren“. Doch das ist die Quadratur des Kreises: Entweder werden vertrauliche Inhalte automatisch überprüft und Treffer an Dritte weitergeleitet – oder nicht. Niemand kann garantieren, dass dabei keine Fehler passieren oder die Kontrolle nicht missbraucht und ausgeweitet wird.

Wie könnte die Chatkontrolle technisch aussehen?

Vorstellbar sind derzeit vor allem zwei Varianten, um etwa Bilder und Videos zu durchleuchten: Die erste nennt sich Client-Side-Scanning. Dabei werden auf dem Endgerät, also dem Handy, Tablet oder Computer, die privaten Nachrichten und Dateien schon vor dem Verschicken per E-Mail oder Messenger durchsucht. Die EU-Kommissarin Ylva Johansson bezeichnete das in einem Interview mit dem Spiegel als „eine Möglichkeit unter mehreren“.

Die zweite Variante wäre ein Bruch der Ende-zu-Ende-Verschlüsselung. Wenn Anbieter die Inhalte nicht auf dem Gerät selbst scannen wollen, müssten sie sie entschlüsseln können – anders geht es nicht. In beiden Fällen gilt: Die Vertraulichkeit der Kommunikation wäre ausgehebelt.

Um Kontaktanbahnungen (Cybergrooming) zu erkennen, sind andere Maßnahmen denkbar. Dafür bräuchte es etwa eine Software, die verschickte Textnachrichten untersucht. Das kann zum Beispiel eine inhaltliche Suche nach Schlagworten bedeuten. Die Anbieter könnten alternativ nach auffälligen Mustern suchen, etwa wenn ein Erwachsener oft Kinder anchattet. Große Plattformen wie Microsoft arbeiten bereits mit solchen Systemen. Doch bisher hat es keines der Unternehmen geschafft, ein zuverlässig funktionierendes Verfahren zu entwickeln.

Wie kann man überhaupt erkennen, ob ein Bild sexuelle Gewalt gegen Kinder darstellt?

Dafür gibt es bereits Verfahren wie das sogenannte Hashing. Ein Hash ist ein digitaler Fingerabdruck. Er lässt sich einfach aus einer illegalen Aufnahme berechnen – danach kann die Datei gelöscht werden. Diese Hashes kommen dann in eine Datenbank. Neu verschickte Dateien werden damit abgeglichen. So lassen sich bekannte Aufnahmen sexueller Gewalt gegen Kinder wiedererkennen.

Die Kommission will aber Anbieter nicht nur auffordern, nach bereits bekannten Aufnahmen zu suchen. Sie sollen auch neue Aufnahmen ausfindig machen. Hashes helfen da nicht weiter. Es braucht automatische Bilderkennung. Eine Software müsste abschätzen, was in einem Bild zu sehen ist: etwa Nacktheit oder mutmaßlich Minderjährige. Die Software müsste zudem legale Nacktbilder von illegalen Gewaltdarstellungen unterscheiden. Wenn ein Mensch eine 17-jährige Person nicht zuverlässig von einer 18-jährigen unterscheiden kann, dann kann das auch eine Software nicht.

Im Entwurf steht ausdrücklich, „Zweifel am Alter des potenziellen Opfers“ sollen die Anbieter nicht daran hindern, Inhalte zu melden. Alle bekannten Systeme weisen Fehlerquoten auf. Man muss also davon ausgehen, das bei der schieren Masse der überwachten Kommunikation viele fälschlicherweise gemeldeten Inhalte bei den Anbietern und Ermittler:innen landen werden.

Wie ein Hollywoodstar für mehr Überwachung wirbt

WhatsApp, Gmail, TikTok, Instagram – wer muss da alles mitmachen?

Im schlimmsten Fall alle. Die EU-Komission schreibt: „Anbieter von Hosting- oder interpersonellen Kommunikationsdiensten“. Darunter fallen etwa Messenger wie WhatsApp, Signal und Telegram sowie E-Mail-Dienste. Aber im Entwurf heißt es, die Vorschriften sollen auch für Dienste gelten, bei denen die direkte persönliche Kommunikation nur eine Nebenfunktion ist. Also soziale Medien wie Instagram und TikTok oder die Chats beliebiger Quiz-Apps.

Auch Online-Speicherdienste wie etwa Google wären betroffen. Mitmachen bei der angeordneten Suche nach Hinweisen müsste ein Anbieter, wenn bei ihm etwa Darstellungen sexueller Gewalt gegen Kinder in „nennenswertem Umfang“ kursieren oder es „wahrscheinlich“ ist. Zuvor muss der Anbieter Gegenmaßnahmen treffen. Schon heute scannen Cloud-Anbieter wie Google automatisch hochgeladene, private Dateien. Falls die Gegenmaßnahmen nicht ausreichen, könnte eine Chatkontrolle angeordnet werden.

Warum ist die Chatkontrolle ein Problem, wenn es wirklich nur um sexuelle Gewalt gegen Kinder geht?

Es lässt sich unmöglich sicherstellen, dass Anbieter allein sexuelle Gewalt gegen Kinder aufspüren. Fachleute für Verschlüsselung betonen seit jeher: Technisch ist es unmöglich, solche Hintertüren so zu bauen, dass sie nur einzelne Verdächtige betreffen oder nur für einen bestimmten Zweck genutzt werden können. Hat ein Unternehmen einmal einen Weg geschaffen, um die Verschlüsselung zu umgehen und die Kommunikation seiner Nutzer:innen zu überwachen, dann schwächt das die Privatsphäre aller für immer. Dazu zählen auch jene Menschen, die besonders auf vertrauliche Kommunikation angewiesen sind: Whistleblower:innen, politische Dissident:innen, kritische Journalist:innen und verfolgte Minderheiten.

Eine weitere Gefahr sind falschpositive Treffer, also Fälle, in denen die Software ein legales Bild oder einen legalen Flirt für verdächtig hält. Alle Nutzer:innen müssten permament befürchten, dass ihre private Kommunikation bei einer Behörde landen könnte. Eigentlich sollen Nutzer:innen darüber informiert werden. Es gibt aber eine Ausnahme: Behörden dürfen Betroffene im Unklaren lassen, wenn das Ermittlungen gefährden könnte. Worst Case: Ein legaler Flirt oder ein Austausch von Fotos im Familienchat endet mit einer Hausdurchsuchung.

Wir werden doch eh ständig überwacht. Was soll an der Chatkontrolle so schlimm sein?

Die Chatkontrolle hebt die Überwachung auf eine neue, noch nie dagewesene Stufe. Mit der Chatkontrolle würden weite Teile der digitalen Kommunikation aller Bürger:innen überwacht, unabhängig von einem Anlass oder Verdacht. Das ist ein krasser und weitreichender Eingriff in die Privatsphäre. „Die ausgeklügelteste Massenüberwachungs-Maschinerie, die je außerhalb Chinas und der UdSSR ausgerollt wurde“, schreibt der US-Forscher Matthew Green und fügt hinzu: „Keine Übertreibung“.

Kann man mit der Chatkontrolle auch andere Inhalte finden?

Die EU-Kommission betont, das solle nicht passieren. Aber technisch geht das. Ist diese Technologie einmal flächendeckend eingeführt, könnte sie nach allen möglichen Dingen suchen. Die Technologien sind nicht beschränkt darauf, nach Darstellungen von sexueller Gewalt zu suchen – oder nach Fotos von Drogen oder Demonstrationen.

Die Chatkontrolle könnte für autoritäre Staaten ein Vorbild sein, um Anbieter auch auf die Suche nach anderen Inhalten zu schicken. Etwa um Andersdenkende noch effektiver zu jagen. Die Technologie ist da vollkommen neutral – und das macht es so gefährlich.

Könnte die Panik vor der Chatkontrolle einfach übertrieben sein und alles ist nicht so gemeint?

Nein, der Vorschlag liegt jetzt so in all seiner Gefährlichkeit auf dem Tisch und die Kritik daran ist sehr breit, einhellig und vernichtend. Der Entwurf muss aber noch durch das EU-Parlament und den Rat gehen. Es wäre nicht das erste Mal, dass ein Vorstoß der EU-Kommission auf dem Weg deutlich verändert wird. Das passiert aber nicht von allein. Reaktionen der Öffentlichkeit, Proteste und konstruktive Vorschläge haben einen entscheidenden Einfluss darauf, was aus der Chatkontrolle wird.

Kann man sich gegen die Chatkontrolle wehren?

Ja. Noch ist alles möglich, sogar eine komplette Rücknahme des Entwurfs. Doch dafür braucht es viel Öffentlichkeit und Widerspruch in verschiedenen europäischen Ländern. Ein erster Schritt ist Aufklärung: Alle können dazu beitragen, ihr direktes Umfeld über die Gefahren einer Chatkontrolle zu informieren. Wer alles nochmal genau nachlesen möchte, findet den Vorschlag der EU-Kommission hier. Schon jetzt gibt es ein Bündnis namens „Chatkontrolle stoppen“, das auf Twitter und Mastodon vetreten ist. Denkbar sind weitere Bündnisse, Online-Petitionen, Proteste und Aktionen.

Sollte man nicht so viel wie möglich unternehmen, um Kinder zu schützen?

Dass sexuelle Gewalt gegen Kinder und die Verbreitung dieser Bilder im Netz bekämpft werden müssen, ist unumstritten. Uneinigkeit besteht in der Frage der Mittel. Selbst der Kinderschutzbund bezeichnet die Pläne zur Chatkontrolle als „weder verhältnismäßig noch zielführend“. Das heißt, es gibt auch Zweifel daran, ob die invasive Maßnahme überhaupt helfen würde.

Sogar die EU-Kommission schreibt in ihrem Entwurf, dass neben dem Schutz von Kindern auch die Grundrechte von Nutzer:innen beachtet werden müssten. „Keines dieser Rechte ist absolut, und sie müssen im Zusammenhang mit ihrer Funktion in der Gesellschaft betrachtet werden“. Kritiker:innen zufolge ist der EU-Kommission diese Abwägung offenkundig misslungen.

Hat irgendjemand einen besseren Vorschlag als Chatkontrolle?

Es gibt viele Mittel gegen die Verbreitung von Darstellungen sexueller Gewalt. Schon heute identifizieren die Ermittler:innen mehr Kriminelle in diesem Feld als je zuvor. Software zur automatischen Erkennung auf öffentlich zugänglichen Servern gibt Ermittler:innen schon heute so viele Hinweise, dass sie vor allem darauf reagieren. Sie haben kaum noch Zeit, darüber hinaus eigene Ermittlungen anzustrengen.

Sehr viel Luft nach oben gibt es auch beim Umgang mit bereits entdeckten Aufnahmen. Das Bundeskriminalamt (BKA) konzentriert sich auf die Verfolgung der Täter:innen und lässt viele Aufnahmen online. Es fordert Anbieter nicht strukturiert auf, das Material von ihren Severn zu löschen. Dabei löschen viele Anbieter gemeldete Inhalte innerhalb von Stunden von ihren Servern, und das weltweit. 

Ein großer Teil der verdächtigen illegalen Darstellungen werden von Minderjährigen selbst produziert – und gelangen dann vielleicht in die Hände Krimineller. Hier kann nur Bildung ansetzen. Digitale Kompetenz entsteht nicht durch Chatkontrolle, sondern in Schulen, Bildungseinrichtungen und mithilfe der Eltern.

17 Ergänzungen

  1. Bitte auch unbedingt die Gefährlichkeit der anderen im Gesetz enthaltenen Dinge benennen. Die Altersverifizierung könnte eine Pflicht zur digitalen ID, Biometrie und indirekten Klarnamenpflicht werden. Die Netzsperren sind nicht mi der demokratiefeindlich.

    Das ganze Vorhaben muss insgesamt scheitern. Jeder noch so kleine Kompromiss wäre eine Niederlage für Demokratie und Freiheitsrechte!

  2. Ich bin für eine Chatkontrolle – sämtlicher Politiker und anderer Entscheider die das unbedingt wollen inklusive der kompletten Familien und Verwandten . Wenn die fünf Jahre vormachen , das daß harmlos ist – und komme mir keiner mit Berufs/Firmen /Staatsgeheimnissen und sowas…. alles öffentlich bitte schön. Dann mach ich mit….

  3. „Ein Hash ist ein digitaler Fingerabdruck. Er lässt sich einfach aus einer illegalen Aufnahme berechnen“

    Das ist doch Futter…
    Warum schreibt ihr nicht, das sich ein Hash aus JEDER Aufnahme berechnen lässt? Warum beschränkt Ihr Euch zwangsweise auf illegale Aufnahmen?
    Was ist denn eine illegale Aufnahme?
    Eine absolute Darstellung ohne jeden Grund. Ich dachte, ihr wollt das, was hier gerade in der Pipeline seinen Weg sucht, aufhalten und das ausliefern verhindern?
    Dann beschreibt das doch bitte auch genau so, das es jeden erwischen kann.

    Mir ist vollkommen unverständlich, warum ihr Euch hier so zurück zieht.

    1. Und man sollte auch nicht vergessen zu erwähnen, dass Hashes eben nicht eindeutig sind. Die „Kollisionswahrscheinlichkeit“ d.h. dass zwei verschiedene Bilder den selben Hash haben werden ist zwar sehr sehr sehr gering, aber eben nicht unmöglich.

    2. Naja, der Fokus bei Hashes kommt zunächst aus dem Szenario, in dem nur bekannte illegale Aufnahmen geblockt werden sollen. Dann gibt es tatsächlich eine Liste mit Hashes, bzw. ein dazu ähnliches Verfahren. Das werden adäquate Verfahren für Bilder sein, die auch trotz Unterschieden stark ähnliches erkennen können (und mehr falsche Positive erzeugen werden).

      Allgemein Mißbrauch erkennen wird wohl derzeit kaum ohne Machine Learning auch nur entfernt denkbar sein. Falsche Positive werden en masse vorprogrammiert sein, und Dienste die da reinfallen ohne dass ihnen der Markt gehört, können solche Systeme dann vielleicht gar nicht selbst bauen (bzw. trainieren).

    3. Verstehe die Kritik nicht ganz. Technisch unglücklich formuliert ist das tatsächlich, da im Kontext clientseitig die Hashes von allen Bildern, also sicherlich im Allgemeinen legalen Bildern, berechnet und mit den Hashes von Gerichten als illegal eingestuften, den Behörden oder dem Dienst bekannten Bildern verglichen werden, zumindest im Idealfall dieses Szenarios. Die Formulierung im Text lässt halb offen, ob doch alle Bilder zum Prüfen hochgeladen werden, oder ob der Hash bereits clientseitig berechnet wird. Das hätte man vermutlich geschickter formulieren können, auch bzw. gerade wenn man noch nicht weiß, wie das Verfahren genau aussehen wird. Es könnte auch ein gestaffeltes Verfahren mit mehr Uploads zur feineren Prüfung werden. Daran geht Ihre Kritik allerdings vorbei, vermutlich hatten Sie gedacht, die Formulierung betreffe allgemein Inhalte, die Nutzer so teilen, was nicht der Fall ist.

      Selbstverständlich beschäftigt sich der Absatz mit dem reinen Hashabgleich, der theoretisch hauptsächlich clientseitig passieren kann, wobei abgesehen von dem Dammbruch und immer noch zu erwartenden falschen Positiven, nicht so ein großes Problem besteht, wie bei der im nächsten Absatz besprochenen Variante, bei der eine allgemeine Bildanalyse durchgeführt wird, deren Hauptteil wohl in der Cloud residieren muss, während falsche Positive nicht nur den Obstaustausch zu beschäftigen wissen werden.

  4. Das ganze ist verrückt, dumm und gefährlich.

    „Hashes helfen da nicht weiter. Es braucht automatische Bilderkennung. “

    Das wäre völlig verrückt. Die Geräte würden heiß laufen und ständig falsche Positive generieren. Schlimmer noch, die heutigen Geräte sind kaum hardwaremäßig hinreichend, um eine grobe Vorentscheidung zu treffen, ob sich das Verschicken in die Cloud z.B. wegen Nacktheit lohnt. Dann noch auf Laptops und am Besten ins System integriert, für alle Inhalte, wegen Umbenennung und so weiter, selbstdenkend obligatorisch, usw.

    Bescheuerter geht’s. Wer da mitmacht, ist verbrannt.

    Schon intellektuell, weil das Gerät ja nun mal KEINE zum ***** Sicherheit bietet. Fiese Hacker (Schüler ab 8. ca.) können ein gefälschtes Gerät oder eine modifizierte Software benutzen, um ohne Clientsidescan zu arbeiten. Was kommt als nächstes? DRM-Chip für verschickte Bilder, oder die laute Forderung nach Nachbesserung, oder doch noch geräteschonende, besonders grüne serverseitige Scans?

    Jedermann kriminalisieren und dann „Lösungen“ für Jedermann bauen… Der Druck zum Auswandern wächst. Leider ist man dann Ausländer, was weder zu Pandemiezeiten noch bzgl. der privatsphärenspezifischen Gesetzgebungen dieser Welt besonders cool scheint.

    1. Was ist eigentlich mit E2E Videochat? Oder Dateiübertragung, womöglich noch verschlüsselte ZIP-Archive?

      Fassen wir hier die großen Probleme unserer Zeit an, die wir selbst geschaffen haben? Totalitär nachhaltig, versteht sich.

  5. Selbst wenn dieses Gesetzt durchgeht, ich kann mir nicht vorstellen dass die Höchsten Gerichte dies Zulassen werden. Wir haben ja schon bei der Vorratsdatenspeicherung gesehen das die EU-Gerichte davon absolut nichts halten. Und die Chatkontrolle ist ist ja nun wirklich 1000x Schlimmer als die Vorratsdatenspeicherung.

    1. Ich würde nicht versuchen die verschiedenen Gesetze zu sehr miteinander zu vergleichen, denn es geht um 2 verschiedene Datentypen: die VDS wollte vor allem die Meta-Daten (unter anderem auch um Internet-Anschlüsse/Personen zu identifizieren); die Chat-Kontrolle zielt auf die Inhaltsdaten. Beides stellt eine maximale Bedrohung für Freiheitsrechte dar, da beides Methoden der Straf-VERFOLGUNG sind die ohne jegliche Einschränkungen gegen sämtliche Menschen gerichtet sein soll – und das würde einersetis das Ende der Unschuldsvermutung bedeuten, andererseits aber auch das Ende von Verschlüsselung, digitaler Privatsphäre, und letztlich Vertrauen.

  6. Man sollte auch nicht vergessen mit Nachdruck zu erwähnen, dass damit auch die Kommunikation von u.a. WirtschaftsvertreterInnen, COs und Geschäftsleuten sowie Rechtsanwälten uvm. gescannt würde.
    Das heimliche Einfügen von weiteren Suchbegriffen und das Ausschnorcheln der Ergebnisse wäre *DAS* primäre Ziel von in- wie ausländischen Nachrichtendiensten, Wirtschaftskriminellen, etc.
    Und es soll keiner behaupten, das wäre zu schwierig oder gar unmöglich.

    Dieser Trog wäre so verführerisch und gigantisch, dass er eine ganze Armada an Schweinen anlocken wird.

    1. Ganz genau. Man denke auch noch an den investigativen Journalismus, bei dem es essenziell ist über vertrauliche Kommunikationswege zu verfügen.

      „Das Ziel von in- wie ausländischen Nachrichtendiensten“, „und es soll keiner behaupten, das wäre zu schwierig“ vor allem soll keiner behaupten, das wäre noch nie passiert.

  7. Wenn man über Client-Side-Scanning redet, dann sollte man nicht nur über den Fall eines falsch-positiven Treffers und die damit einhergehende Weiterleitung an Dritte reden; Denn die automatische Bilderkennung ist kein Kinderspiel und nicht ohne Grund eine eher jüngere Technik. Solche Programme sind meist sehr aufwendig und benötigen viel Rechenleistung (die ein Smartphone oft nicht hat). Die meisten Bilderkennungsanwendungen funktionieren also so, dass das Smartphone nur der Aufnahme dient und das Bild dann an eine Cloud weitergeleitet, dort verarbeitet und das Ergebnis wieder an das Smartphone zurück geschickt wird (siehe bspw. Google Lens).

    Für das Client-Side-Scanning bedeutet dies also einen von zwei möglichen Fällen.
    Fall A:
    Der betreffende Inhalt wird jedes mal an den Messengerdienst selber zur Auswertung geschickt. Der Dienst prüft den Inhalt dann in dem eigenem Rechenzentrum. So ist das Prinzip der E2E Verschlüsselung aufgehoben, nicht nur Sender und Empfänger, sondern auch Anbieter können nun bei jeder Nachricht mitlesen.
    Fall B:
    Der betreffende Inhalt verbleibt für den Scan auf dem Smartphone und der Algorithmus nutzt die Rechenleistung des Smartphones für die Überprüfung. Abgesehen von einem ausgelösten Alarm wären die Inhalte also weiter E2E verschlüsselt. Fraglich ist allerdings, ob die Unternehmen die Performancenachteile im Sinne der Nutzererfahrung und des Komforts eingehen wollen und nicht lieber zu Fall A greifen.

    Um es kurz zusammenzufassen wird es meiner Meinung nach so sein, dass die Nutzerdaten in jedem Fall (mindestens) zum Anbieter weitergeleitet werden, auch wenn überhaupt kein Treffer vorliegt, da sich anderenfalls der Scan der Inhalte nur schwer realisieren lässt.

    1. Selbst mit auf Machinelearning spezialisierten Beschleunigerchips in Smartphones der nächsten oder übernächsten Generation, bin ich nicht sicher, dass das wirklich clientseitig funktionieren wird, wenn man falsche Positive nicht ausufern lassen will, selbst wenn nur ein Hashabgleich stattfindet.

      Ein reiner Hashabgleich wäre von der Performance her vielleicht nicht das Problem, obwohl auch das schon komplizierter wird, als einen „einfachen“ kryptographischen Hash zu berechnen. Spätestens bei einer allgemeinen Erkennung wird es nicht ohne Cloud gehen, soviel scheint klar, aber auch schon bei ein klein wenig Mustererkennung für den Hash kann es auch gut passieren, dass um die Zahl der falschen Positiven niedrig zu halten, also gewissermaßen zur Verbesserung der Nutzererfahrung, auf dem Endgerät nur eine Vorprüfung stattfinden kann, und letztlich die Cloud mit ihren „Möglichkeiten“ die Entscheidung treffen muss bzw. soll. Also durchaus wegen „Performance“ im weiteren Sinne, weil die Reduzierung der Zahl an falschen Positiven eben Daten und Kapazitäten erfordert, die das Endgerät schon aus juristischen Gründen nicht halten dürfen wird. Das Szenario ist noch nicht mal unterscheidbar, da nach Hashkollision sowieso hochgeladen werden muss, und die werden kaum so viel Personal einstellen, um etwas einzeln zu prüfen, sondern da wird eine weitere algorithmische Verarbeitung und prüfung vorgesetzt. Das ist eigentlich auch die Schnittstelle, an der das Gesetz zu hinterfragen ist, denn spezifiziert man die Methodik nicht, geht so ziemlich alles in die Cloud, „weil es ja nicht anders geht“. Die Industrie liebt diese Zwänge.

      Vielleicht ist die Idee auch Augenwischerei, dass die Unternehemen einen Backlash fürchten wenn flächendeckend jeder x-te Upload danebengeht, Beispiele für allerlei Unternehmensverhalten gibt es bei Big Tech ja so einige. Dennoch bietet diese Auswertung aller falschen Positiven zusätzlich die Möglichkeit weiterer Verschlagwortung und Datengenerierung, wenn auch nicht so viel, wie wenn man alles hätte. Letzlich wäre das ein Konjunkturprogramm für die Big Tech, sofern sich die Kosten besser absetzen lassen, als bei reinen Schummelmaßnahmen, immerhin testet dieses Sachen, die die sowieso bauen wollen (Endgerät prüft Sachen zur Einordnung, so dass die Cloud entlastet wird.). Der zweite Teil des Konjunkturprogramms ist der, dass wenn jemals was in den Garten hineinwachsen sollte, es sich wohl nicht leisten können wird, solche Systeme zu bauen oder zu trainieren, sie also dann zukaufen müssen wird.

    2. Dem clientseitigen Scan kann programmatisch sowieso nicht vertraut werden. Ein Mißbrauchsphon würde also eine andere oder eine modifizierte Software nutzen, die einfach nie jemals Alarm auslösen wird. Das ganze ist absolut lächerlich und ein Kotwurf ins Gesicht aller Menschen mit IT-Ausbildung.

      Das ist schon technisch-logisch vollkommen behämmert überhaupt mit clientseitigen Scan anzufangen. Vermutlich ein Lobbyschnitzel. Aso hat man den Hirnis erzählt, man könne die Leistung der Mobilgeräte effizient nutzen, um im zweiten Zuge zu sagen, „ach nee doch nicht“, und alles in die Cloud laden zu können. Natürlich greift dann die Cloudfreigabe mit allem, da man keine Lust haben wird, die Berechtigungen an diese neuartigen Gegebenheiten anzupassen. So oder so ähnlich.

      Fordert man dann, Verschlüsselung nur noch verantwortungsbewusst durch das Betriebssystem machen zu lassen, dass dann eben die Daten mal kurz durchprüft, also in die Cloud hochladen muss, weil es das sonst nicht leisten kann?

      Als nächstes geht die Komission dann freier Software an die Kehle.

      (Falsche Positive sind selbstverständlich ein Problem, da sie häufigst auftreten werden, wenn allgemeine Bilderkennung zum Einsatz kommen soll. Das ist ja fast sämtlicher „casual“ Privatst-Chat dann, nicht „nur“ für Veröffentlichung gedachtes von Veröffentlichungsfreudigen. Größenordnungen…)

      Wo ist da die harmlose Aussicht?

      1. „Natürlich greift dann die Cloudfreigabe mit allem, da man keine Lust haben wird, die Berechtigungen an diese neuartigen Gegebenheiten anzupassen. So oder so ähnlich.“
        Oder genau so. Denn laut DSGVO muss die App oder das System sich die Berechtigung zum Upload für diesen Zweck holen. Was liegt da näher als keine neue Berechtigungskategorie einzuführen, sondern sich stattdessen die „nötige“ Berechtung vom Nutzer absegnen zu lassen?

        Alarm wäre dann, wenn nicht spezifisch eingegrenzt wird (AGB!), wofür diese Daten verwendet werden.

  8. Ich habe viele internationale Freunde, denen ich diesen Artikel gerne weiterleiten würde, allerdings sprechen die kein Deutsch. Kennt ihr hier gute Quellen auf Englisch?

Ergänzung an Anonymous Ergänzung abbrechen

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.