EU-KommissionWarum die Chatkontrolle so gefährlich ist

Im Kampf gegen die Verbreitung von Kindesmissbrauchsdarstellungen denkt die EU-Kommission über gefährliche Maßnahmen nach: die automatisierte Durchsuchung von Inhalten auf Handys und Computern. Wir haben einen Überblick mit den wichtigsten Fragen und Antworten zum Thema.

Auge und Handy
Chat control” would be a new form of preventive mass surveillance. (Symbolic image) – Alle Rechte vorbehalten Auge: Pixabay/ cocoparisienne, Handy: IMAGO/ NurPhoto, Bearbeitung: netzpolitik.org

Die EU-Kommission arbeitet an einem Gesetzespaket zur Bekämpfung von sexuellem Kindesmissbrauch, das sie bald vorstellen will. Ein Teil des geplanten Gesetzes behandelt die Verbreitung von Darstellungen von Kindesmissbrauch im Internet. Ins Visier soll das Gesetz auch private und verschlüsselte Kommunikation nehmen, etwa über Messenger-Apps. Kritiker:innen bezeichnen diese Form der präventiven Massenüberwachung als Gefahr für Privatsphäre, IT-Sicherheit, Meinungsfreiheit und Demokratie.

Der Überblick:

Was planen EU-Kommission und Ratspräsidentschaft?

Was die EU-Kommission sich wünscht, umriss Olivier Onidi, der stellvertretende Generaldirektor für Inneres. Der Vorschlag werde versuchen, “alle Kommunikationsmittel in den Geltungsbereich einzubeziehen”. Schließlich sei dies der wahre Mehrwert des Vorschlags, “eben alle Kommunikationsformen zu erfassen, einschließlich privater Kommunikation”, antwortete Onidi auf eine Frage des EU-Abgeordneten Patrick Breyer (Piraten/Grünen-Fraktion). Breyer hat dem Vorhaben den Namen “Chatkontrolle” gegeben.

Ursprünglich war die Vorstellung des brisanten Gesetzentwurfs für den 1. Dezember angesetzt, inzwischen ist der Punkt jedoch aus dem Kalender der Kommission verschwunden. Auf Anfrage bestätigt eine Sprecherin lediglich, dass die Kommission an dem Vorschlag arbeite. Ein konkretes Datum könne sie im Moment aber nicht nennen.

Die Mitgliedstaaten könnten den Vorschlag unterstützen. So hat Slowenien, das derzeit die Ratspräsidentschaft innehat, den Kampf gegen Kindesmissbrauch zu einer seiner Hauptprioritäten erklärt. Die Ratspräsidentschaft will den Fokus auf die “digitale Dimension” richten, heißt es in einem Ratspapier aus dem September, das Statewatch veröffentlicht hat. Vor allem Ende-zu-Ende verschlüsselte Kommunikation mache Ermittlungsbehörden das Leben schwer. Man wolle deshalb die Rolle “proaktiver Maßnahmen” zumindest diskutieren – also automatisierte Ansätze, welche die Inhalte durchleuchten.

Wie sich das EU-Parlament zu dem Vorschlag positionieren wird, ist derzeit noch offen. Allerdings stimmten die Abgeordneten in diesem Jahr dafür, Online-Diensten wie Facebook, Skype oder Gmail weiterhin das Scannen von Inhalten zu erlauben. Auf freiwilliger Basis geschieht dies auf vielen Plattformen und Cloud-Diensten schon seit geraumer Zeit, kürzlich gestärkte Datenschutzbestimmungen machten die Praxis jedoch vorübergehend illegal. Die eilig beschlossene Ausnahmeregel gilt vorerst für drei Jahre, betrifft nur unverschlüsselte Inhalte und könnte durch das nun geplante Gesetz ersetzt werden.

Wie könnte das technisch umgesetzt werden?

Sollte es die Scanpflicht in den Gesetzentwurf schaffen, ist es unwahrscheinlich, dass dort technische Details ausgeführt werden. Die Zauberformel lautet in Brüssel üblicherweise “proaktive Maßnahmen”, die etwa auch terroristische Inhalte aus dem Netz entfernen sollten. Die genaue technische Umsetzung dürfte den Anbietern selbst überlassen werden. Offen bleibt vorerst auch, ob alle Anbieter von Messengern betroffen sein könnten oder nur solche ab einer gewissen Zahl an Nutzer:innen.

Grundsätzlich könnten diese auf bereits bestehende Ansätze zurückgreifen, beispielsweise auf die von Microsoft entwickelte PhotoDNA-Software und die Datenbank der US-Organisation National Center for Missing and Exploited Children (NCMEC). Darin liegen digitale Fingerabdrücke, sogenannte Hashes, von Bildern oder Videos, die bereits einmal als illegal erkannt worden sind. Vor jedem Versenden einer Nachricht könnte der Hash eines Anhangs ermittelt und mit der Datenbank abgeglichen werden. Stellt sich die Datei als einschlägig bekannt heraus, ließe sich der Versand unterbinden und potenziell ein Hinweis an die Polizei auslösen.

In Kombination mit Künstlicher Intelligenz setzt Microsoft PhotoDNA in einer Reihe seiner Produkte ein, etwa in Skype, OneDrive oder Xbox. Zudem stellt der Hersteller die Software auch anderen Anbietern zur Verfügung, unter anderem Google, Twitter und Facebook.

Auch Apple plant Maßnahmen gegen die Verbreitung von Kindesmissbrauchsdarstellungen. Auf dem Smartphone sollen diese mittels “Client-Side-Scanning” mit der NCMEC-Datenbank abgeglichen werden, bevor sie in die Cloud geladen werden können. Zudem plante Apple eine auf dem Gerät laufende “Kindersicherung”. Diese sollte mit Hilfe Künstlicher Intelligenz “sexuell explizite” Bilder beim Versand von Nachrichten erkennen und gegebenenfalls die Eltern benachrichtigen. Nach einer weltweiten Protestwelle liegen die Pläne jedoch vorerst auf Eis.

Eine Überwachungstechnologie, die aus dem EU-Gesetz folgen könnte, wird Client-Side-Scanning (CSS) genannt. Zuletzt haben weltweit bekannte IT-Sicherheitsforscher:innen und Erfinder von Verschlüsselungssystemen in einer gemeinsamen Studie alle Pläne für Inhalte-Scanner auf den Geräten von Endnutzer:innen heftig kritisiert. Die Expertinnen kommen zum Schluss: Client-Side-Scanning ist eine Gefahr für Privatsphäre, IT-Sicherheit, Meinungsfreiheit und die Demokratie als Ganzes.

Technisch gesehen ermögliche CSS zwar noch eine Ende-zu-Ende-Verschlüsselung, aber das sei fraglich, wenn die Nachricht bereits vor dem Abschicken nach gezielten Inhalten durchsucht würde. Zudem schaffe CSS Sicherheitslücken und Einfallstore für Akteure wie staatliche Hacker und Kriminelle.

Was bedeutet eine Chatkontrolle konkret?

Wie auch immer die technische Umsetzung im Detail ausfallen sollte: Der Eingriff in die Privatsphäre wäre sehr tief. Jede einzelne Nachricht würde verdachtsunabhängig und automatisch durchsucht, ausgewertet und gegebenenfalls an die Anbieter sowie Behörden gemeldet.

Darunter wären zwangsläufig auch zahllose ganz normale legitime Fotos und Videos, die sich Menschen zuschicken. Sollte die bis auf Weiteres unzuverlässige automatische Erkennung anschlagen, müsste der Inhalt in jedem Fall von Menschen geprüft werden. Dies würde nicht nur das Recht auf Privatsphäre verletzen, sondern auch ein weiteres Einfallstor für Missbrauch darstellen.

Für die Anbieter hätte dies ebenfalls massive Konsequenzen. Sie müssten sich entweder an eine bereits bestehende Infrastruktur anschließen oder selbst Lösungen entwickeln, um dem Gesetz zu entsprechen. Dies würde größeren Anbietern in die Hände spielen, die über genug Ressourcen verfügen, solche Anforderungen umzusetzen. Alternativ könnten sich manche Anbieter aus der EU zurückziehen, wenn der Aufwand zu groß für sie ist.

Kann das System ausgeweitet werden?

Der Eingriff auf die Geräte durch eine Chatkontrolle wäre schon erheblich, auch wenn nur wie bislang angedacht nach Missbrauchsdarstellungen gesucht würde. IT-Expert:innen befürchten, dass selbst wenn das Client-Side-Scanning zunächst nur zur Suche nach solchen Inhalten eingesetzt würde, ein enormer politischer und gesellschaftlicher Druck entstünde, den Anwendungsbereich auszuweiten.

Ihr Argument ist dabei, dass eine einmal eingeführte Überwachungsinfrastruktur Begehrlichkeiten weckt und es nach der Einführung kaum noch eine Möglichkeit gäbe, sich gegen die Ausweitung zu wehren oder den Missbrauch des Systems zu kontrollieren. Technisch ist eine Ausweitung sehr einfach umzusetzen. Deswegen kommen die IT-Expert:innen zum Schluss, dass CSS einen Eingriff in die Privatsphäre darstellt, der sogar schlimmer ist als frühere Vorschläge zur Schwächung von Verschlüsselung. Ähnlich argumentierte auch Edward Snowden gegen die Pläne von Apple, eine solche Überwachungstechnologie auf den Endgeräten einzubauen. Der Whistleblower befürchtet eine nie dagewesene Massenüberwachung.

Ist die Chatkontrolle überhaupt legal?

Eine automatisierte Scan-Verpflichtung könnte illegal sein, davon geht ein Rechtsgutachten von Prof. Dr. Ninon Colneric (PDF) aus. Generell ist in der EU anlasslose und verdachtsunabhängige Überwachung verboten, weil sie die Grundrechte verletzt. Der Europäische Gerichtshof hat diese Sicht wiederholt bestätigt und beispielsweise die Vorratsdatenspeicherung immer wieder gerügt.

Dennoch sind bis heute die Versuche nicht verebbt, den Zombie Vorratsdatenspeicherung mit juristischen Tricks doch wieder zum Leben zu erwecken. Die Forderung findet sich regelmäßig in Ratspapieren der EU-Länder wieder. Auch im deutschen Telekommunikationsgesetz ist die Massenüberwachung weiter enthalten, selbst wenn sie derzeit ausgesetzt ist.

Wie kann ich mich dagegen wehren?

Bislang gibt es noch keine breiten zivilgesellschaftlichen Bündnisse gegen das Vorhaben, aber der Protest wird gerade lauter. Der EU-Piraten-Angeordnete Patrick Breyer hat eine Aktions-Seite unter chatkontrolle.de zusammengestellt. Er ruft dazu auf, Vertreter:innen der EU-Kommission wie die EU-Innenkommissarin Ylva Johannson oder die EU-Kommissionspräsdientin Ursula von der Leyen via Telefon und E-Mail zu kontaktieren und dort Protest zu formulieren. In den nächsten nächsten Wochen könnten auch zivilgesellschaftliche Bündnisse und andere Formen des Protests hinzukommen. Dafür kann es hilfreich sein, sich selbst zu engagieren und Bürgerrechts- und Digitalorganisationen wegen des Themas Chatkontrolle zu kontaktieren.

16 Ergänzungen

  1. Gibt es irgendwo schon Einschätzungen welche Folgen das für OpenSource Projekte wie Matrix hätte ? Wären die dann in der EU noch legal oder würden die dann gesperrt werden wenn die die Massenüberwachung nicht integrieren ?

    1. Und, äh, die Idee…

      ist nicht: Syndikate und kapable organisierte Player umgehen alles Clientseitige spielend, da besteht beim Stamm vom Fach kein Zweifel. Da der Restbürger das nicht machen kann, sind die Verbrecher leichter zu fangen. Man muss nur etwas Mengenlehre können…

      ist doch: Totalüberwachung ist geplant und wird ziemlich direkt umgesetzt. Hier und dort hakt es mal, aber insgesamt geht es kontinuierlich voran.

    2. Es kommt am Ende darauf an wo das eigentliche Scannen stattfinden soll: nur im Messenger selbst vor dem Versand? Oder sogar auf Betriebssystem-Ebene, wie es manche Hardliner sogar fordern?

      1. Da gibt es einige interessante Fragen zu.

        Das sind alles gleichermaßen “Hardliner”. “In der App” o.ä. wäre ja auch katastrophal, soll jeder mal die Scanbibliothek einbinden? Klar muss irgendwie eine Schnittstelle geben also auch für jede Programmiersprache, oder eben doch als Systemaufruf.

        Es ist der gleiche Mist, wie dem Nutzer (Profis eingeschlossen) den Zugriff auf das System zu vernageln, welches bitteschön von einer Marktgröße zu kommen hat. Da Linux schon irgendwie Realität ist, finde ich interessant, wie das zu denken ist. Vermutlich wird das auch so eine neojuristische Mengenlehrensache wie die Uploadfilter.

  2. Verlaessliches CSS setzt voraus, dass der Benutzer sein Endgeraet nicht mehr kontrollieren kann.

    Das Ziel ist letztlich die Abschaffung der digitalen Souveraenitaet des Buergers. Da treffen sich dann die Interessen von Politik (Ueberwachung & Kontrolle) und Wirtschaft (Ueberwachung & Monetarisierung) aufs beste. Was von einer marktkonformen Demokratiesimulation so zu erwarten ist.

    1. Ich stimme zu. Als nächsten Schritt hat man sicher ab 2025 schon das Scannen nach urheberrechtlich geschütztem Content geplant. Oder man überprüft das digitale Tagebuch nach “Hassgedanken” mit Direkt-Meldung ans BKA. Weil, warum denn nicht?!

  3. Der Angriff auf die private Kommunikation läuf doch schon seit 20 Jahren und nahm 2010 volle Fahrt auf. Wer sich wirklich dagegen schützen will kann das auch. Emails sind zwar transportverschlüsselt, liegen aber unverschlüsselt auf Servern. Kann man mit pgp verschlüsseln. Problem, beide müssen das Programm haben und Schlüsseltausch. Wem das nicht liegt, schickt Passwort geschützte zip oder rar Dateien, wobei das Passwort über einen anderen Kommunikationskanal gesendet wird. z. B. Daten per Email und Passwort per verschlüsselten Kanal, per Direktanruf oder auf Telegram oder Signal. Das Gleiche in der Cloud. Dort sollte man nur Passwortgeschützte zip und rar Dateien speichern, damit der Anbieter nicht reinschauen kann und jeder Andere auch nicht. Es gibt immer Mittel und Wege, dem Staat ein Schritt voraus zu sein. Und bei Handys muss man ebend auf Modelle zurückgreifen die rootfähig sind, dann hat man die volle Kontrolle und kann gegebenfalls die App´s für User 0 löschen, die für Unbehagen sorgen.Ich habe es aufgegeben, mich über die Unfähigkeit der Politdarsteller aufzuregen und über die Überwachungsgesetze, die jedes Jahr an Überhand nehmen. Es liegt nur an jedem selbst, sich das Wissen anzueignen, dem Staat ein Schnäppchen zu schlagen, das er sich die Zähne ausbeisst. Früher, bevor die moderne Kommunikation Einzug hielt, haben wir sogar Daten über CB Funk übertragen, die kein anderer auf dem Kanal lesen konnte. Wo ein Wille ist ist auch ein Weg, also braucht man sich über solche Überwachungslapalien keine Gedanken machen. Wir werden seit 2006, als das neue Urheberrecht rauskam sogar in der Harware beschränkt (Tip: CDROM Laufwerke die fehlerhafte Sektoren lesen durften nicht mehr hergestellt werden) oder noch früher, als ein Audiotreiber unter win98 alle Verzeichnisse einer Audio CD anzeigte, um die 44 kHz wav Dateien zu kopieren ( man sieht ja eigentlich normal nur track*.cda). Jede Aktion erzeugt immer eine Gegenreaktion. Der Wettlauf, wie bei Hase und Igel geht schon seit 20 Jahren auch im Internet. Man muss nur wissen wie man was macht.

  4. Wenn es um den Schutz von Kindern ginge, müßte bei Jugendämtern, Vormundschaftsgerichten, bei der Polizei angesetzt werden, die – wie das BKA im Fall Edathy oder die Polizei im Fall Lügde – keinerlei Bereitschaft zeigt, Fälle von Kindesmissbrauch ernsthaft zu verfolgen. Von tausenden Meldungen hat das BKA nur den Fall Edathy aufgegriffen. Einem Bundestagsabgeordneten, der als BKA-Kritiker aufgefallen war und kaltgestellt wurde. Mit “Beweisen”, die von einem Gericht später vom Tisch gewischt wurden.

    Das eigentliche Problem ist enorm komplex: Wenn es Anzeichen für Kindesmissbrauch gibt, durch einen alkohol- oder drogensüchtigen Vater oder eine überforderte Mutter: Wer entscheidet, den Eltern ihre Kinder weg zu nehmen? Und wann wird diese Entscheidung getroffen? Das Leben der Kinder ist danach zerstört, das der Eltern auch. Ein hoher Preis, um Missbrauch zu verhindern. Ein Preis, der bezahlt werden muss, wenn tatsächlich Kinder missbraucht werden. Aber was, wenn es starke Anzeichen gibt, aber keine Beweise?

    Jetzt also will die EU noch mehr Verdachtsfälle schaffen, mit einer Technologie, die Apple einführen wollte und – vorläufig – zurückgestellt hat, weil nachgewiesen wurde, dass die angedachte Lösung – das Abgleichen mit Missbrauchsdatenbanken – extrem fehleranfällig ist und bislang kaum Erfolge gebracht hat. Selbst Apple wollte nicht Geräte und Chats durchsuchen, jedenfalls nicht mit automatischer Meldung an Behörden, sondern “nur” Daten in der Cloud.

    Das allerdings ist oder war schon bei vielen Anbietern üblich, Erfolge, im Sinne von Kindern, die vor Missbrauch gerettet wurden, gab und gibt es kaum (es heißt, dass ein Großteil der “Missbrauchsfotos” in Deutschland aus alten FKK-Magazinen stammt, der Rest im wesentlichen aus Fotos besteht, die im Internet weit verbreitet sein sollen: Damit kann man Regierungskritiker kalt stellen, aber keine Kinder schützen. Wenn die überhaupt missbraucht wurden – ist ein altes Foto von einem Kind am Strand Kindesmissbrauch? – dann findet man mit dem Scanner Junkies, nicht Dealer. Nicht die Täter, die Kinder missbrauchen.

    Abgesehen von den im Artikel genannten Problemen gibt es ein weiteres: eine extrem hohe Quote an Fehlalarmen. Fehlalarm heißt in diesem Fall, dass etwa Eltern und Jugendliche des Kindesmissbrauchs beschuldigt werden, wenn Nacktfotos von Kindern oder Jugendlichen auf dem Handy gefunden werden. Ein Kind hat ein Nackt-Selfie vom 15-jährigen Freund oder Freundin auf dem Handy, oder von sich selbst – und die Polizei trampelt im Morgengrauen in Nagelstiefeln durch die Wohnung, um Beweise sicher zu stellen?

    Wie wäre es, wenn EU und Bundesregierung ihre Hausaufgaben machten und den Kindesmissbrauch da bekämpften, wo er stattfindet: In kaputten Familien.

    Damit kann man zwar weniger Schlagzeilen machen, und kein Kompromat gegen Regierungskritiker sammeln. Aber Kinder, die in Gefahr sind, die schützt man wirklich.

    1. Unsinn. Sexueller Kindesmissbrauch findet mitnichten nur “in kaputten Familien” statt!
      Es wäre schön, wenn Sie etwas mehr Fachwissen über sexuellen Kindesmissbrauch mitbrächten und wenn Sie das Ausmaß und die Zerstörungskraft dieses Verbrechens ebenfalls zur Kenntnis nähmen – anstatt einseitig nur die Probleme zu thematisieren, die mit den geplanten Kontrollen einhergehen.

  5. Das macht mich einfach nur traurig, weil es ganz klar das vertrauen in den Staat erschüttert und somit aktiv die Demokratie untergräbt. Somit bekomme alle möglichen Radikalen immer wieder legitime Gründe, sich gegen den Staat aufzulehnen, der offensichtlich nicht unsere besten Absichten im Sinn hat.
    In diesem Fall ist es die EU; auch eine traurige Geschichte, weil es jeden bestätigt, der der EU nicht traut.

    Ich frage mich, wann Politiker einsehen, dass sie es am meisten in der Hand haben, dass sich nicht immer mehr Menschen radikalisieren, indem sie einfach nicht so fucking korrupt und böse sind. smh

  6. Wahrscheinlich wird es bei GNU Jami und dem LibreM 5 kein solches Antifeature wie bei Apple geben. Verpflichtende Antifeatures passen nicht in freie Software wie Jami oder PureOS.

    1. Es wird/soll ein Gesetz geben, das dieses (anti-)Feature vorschreibt. Viel Spaß mit illegaler SW.

      1. Das stimmt nicht. So etwas wie ein “Software-Feature” per Gesetz gibt und gab es meines Wissens nach auch noch nie. Es werden bei solchen Dingen immer die Anbieter bzw. Betreiber von z.B. Messenger-Diensten ins Visier genommen und verpflichtet.

        1. Klar, im Zweifel könnte man folgende Gruppen vor Gericht brigen:
          – die Programmierer*innen eines Verschlüsselten Messenger (von Client sowie Server)
          – die Anbieter*innen des Messenger-Clients und/oder der Server-Software, inklusive App-Stores von Google/Apple, und Hosting-Seiten für Source-Code, wie z.B. Github
          – die Betreiber*innen von Server-Infrastruktur
          – die Nutzer*innen

  7. Vielleicht sollten wir einfach die Hexenverbrennungen wieder einführen, die Rechtfertigung dafür wäre vergleichbar.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.