Chatkontrolle: „Total unausgegoren und technisch nicht tragfähig“

In der Europäischen Union liegt der Vorschlag der dänischen EU-Ratspräsidentschaft zur Chatkontrolle auf dem Tisch. Die deutsche Position dazu ist bedeutsam, da die Zustimmung zum Gesetz maßgeblich von dieser abhängt. Die deutsche Bundesregierung muss sich vor dem 14. Oktober auf eine Position einigen. Denn dann wird im EU-Rat über den Vorschlag abgestimmt.

Der dänische Vorschlag sieht eine verpflichtende Chatkontrolle vor. Sie soll Anbieter von Messaging- und anderen Kommunikationsdiensten die Anforderung aufbrummen, in den Nachrichten der Nutzer nach Missbrauchsfotos und -videos zu scannen. Dann sollen die Betreiber der Dienste die Nutzer-Nachrichten auf diese Inhalte untersuchen. Werden verdächtige Inhalte detektiert, wird der Nutzer der Polizei gemeldet. Soweit jedenfalls der Plan, doch der Teufel steckt im Detail.

Die Idee der Chatkontrolle wird stark und breit kritisiert, vor allem wegen der erheblichen Grundrechtseingriffe und auch wegen der weitreichenden Folgen für Whistleblower und Journalisten. Sie beinhaltet mit hoher Wahrscheinlichkeit ein Client-Side-Scanning auf Nutzergeräten. Das bedeutet, dass die Inhalte von Nachrichten direkt auf dem Gerät des Nutzers gescannt würden, noch bevor diese versendet und verschlüsselt werden.

Wir haben über die Chatkontrolle mit Klaus Landefeld, Vorstand im IT-Branchenverband „eco“, gesprochen. Der Verband engagiert sich als Partner bei INHOPE schon viele Jahre erfolgreich bei der Identifizierung und Entfernung von Kindesmissbrauchsmaterial aus dem Internet.

„Völlig falscher Weg“

netzpolitik.org: Klaus Landefeld, wie ist die Position des eco zu den Chatkontrolle-Plänen?

Klaus Landefeld: Wir haben uns seit 2022 immer dagegen ausgesprochen. Dieser neue, noch verschlimmerte Ansatz, der momentan von Dänemark in den Raum gestellt worden ist, wird von uns rundweg abgelehnt. Wir halten Chatkontrolle für einen völlig falschen Weg.

Wir betreiben ja eine Beschwerdestelle und sind daher permanent mit Strafverfolgungsbehörden zusammen in der Bekämpfung von CSAM-Inhalten aktiv. Aber verpflichtendes Scanning für quasi jegliche Kommunikation, vor allem das Client-Side-Scanning, halten wir für einen falschen Weg, weil er die Sicherheit von allen untergräbt.

netzpolitik.org: Welche Belastungen kämen eigentlich auf Unternehmen zu, wenn tatsächlich eine verpflichtende Chatkontrolle vorgeschrieben würde?

Klaus Landefeld: Das kommt auf die technischen Ausprägungen an: Also was genau müsste gescannt werden, wie funktioniert das technisch? Auch die Fragen danach müssten geklärt sein, ob alle Dienste betroffen wären, also ob beispielsweise auch E-Mail, Chats oder verschlüsselte Messenger-Apps darunterfallen. Es müssten auch die Details um die Frage geklärt sein, ob man „nur“ nach bekannten Inhalten oder auch nach neuen Inhalten scannt. Das ist ein ganz elementarer Punkt, weil mit dem Scannen nach bisher unbekannten Inhalten insbesondere auch jede Form von ganz persönlichen Bildern oder Familienfotos in die Datenbanken und die vorgeschlagenen KI-Systeme reingegeben würden.

netzpolitik.org: Was kann man zur Qualität der Software sagen, die CSAM-Inhalte erkennen soll?

Klaus Landefeld: Womit wir ein großes Problem haben, sind die Fehlerquoten. Um das ganz klar zu sagen: Zum Scanning sollen KI-Systeme verwendet werden, die bei allen Tests, die wir machen konnten, viele Fehler produzieren. Auch in unserer Beschwerdestelle werden dazu regelmäßig Tests gemacht. Denn wir prüfen dort regelmäßig: Was bringen KI-Systeme für die Bewertung von Beschwerden? Und wir sehen immer wieder: Nein, diese Systeme funktionieren nicht, sie funktionieren vor allen Dingen nicht in der nötigen Qualität, zumindest Stand heute. Deswegen halten wir den Vorschlag auch für total unausgegoren und technisch nicht tragfähig.

netzpolitik.org: Was sind das für „KI-Systeme“, die zum Einsatz kommen? Was sollen die leisten?

Klaus Landefeld: Es sollen Systeme zum Einsatz kommen, die tatsächlich Inhalte erkennen. Sie sollen auch neue Inhalte bewerten und bestimmen, was auf Bildern gezeigt wird. Dafür kann man KI-Systeme trainieren, sie sollen beispielsweise erkennen: Auf dem Bild sind drei Leute oder fünf Leute, da sind Kinder dabei, die Leute haben Kleidung oder keine Kleidung an.

Das heißt aber auch: Die Familienbilder vom nächsten Urlaub oder Bilder von einem FKK-Strand könnten einen Verdacht auslösen. Aus meiner Sicht ist das eine gefährliche Idee. Eine ähnliche Diskussion haben wir bei der automatischen Bewertung des Alters im Bereich Social-Media-Nutzung: Können KI-Systeme durch ein Bild einer Person wirklich verlässliche Aussagen darüber machen, wie alt jemand ist? Das ist gerade in den Grenzbereichen, wo es um die Frage geht, ist jemand 14, 16 oder 18 Jahre, alles andere als zuverlässig. Es gibt keine klare Bewertung, ob jemand 18 ist oder vielleicht noch 17 oder 19 Jahre. Das funktioniert einfach momentan nicht.

netzpolitik.org: Kann solche Software das in absehbarer Zeit leisten?

Klaus Landefeld: Im Moment mit Sicherheit noch nicht. Das wird wahrscheinlich noch geraume Zeit so bleiben. Wir testen reale Systeme, die momentan existieren. Das sind Systeme, die heute von den Anbietern genutzt werden können, die uns auch angeboten werden. Dazu untersuchen wir den Stand der Forschung. Und da kommt immer wieder das Ergebnis heraus: Nein, diese Systeme sind im Moment nicht tragfähig genug, dass das funktioniert.

Parallel zu der CSAM-Diskussion haben wir wie schon erwähnt die gleichen Fragen bei Altersnachweisen bei Social-Media-Nutzung. Es wäre völlig absurd, wenn wir in diesem Bereich zu der Aussage kämen, dass eine vernünftige Bewertung durch Software nicht möglich ist, und bei der Chatkontrolle zum Schutz von Kindern soll das funktionieren.

Welche Grenzen überschritten werden

netzpolitik.org: Welche Bewertung kann eine Software heute leisten? Und was heißt das für die Chatkontrolle?

Klaus Landefeld: Heutige Systeme können relativ gut beurteilen, ob ein abgebildetes Kind sechs oder sieben Jahre alt ist oder vielleicht 16 oder 17 Jahre. Diesen Unterschied können die Systeme schon erkennen. Aber bei neuen Inhalten, also bei bisher unbekannten Inhalten muss man sich fragen: Wenn sich Menschen innerhalb der Familie zum Beispiel Bilder zuschicken, sollen dann irgendwelche KI-Systeme in diese privaten Bilder reingucken? Das ist für mich ein absolutes No-Go, denn das verletzt die Grundrechte. Wir haben einen festgeschriebenen Schutz von privater Kommunikation, und über nichts anderes reden wir hier. Denn die Chatkontrolle soll auch für individuelle Ende-zu-Ende-Kommunikation von Menschen eingeführt werden. Das ist das, wo für mich die Grenze überschritten ist.

netzpolitik.org: Ist nicht noch eine weitere Grenze überschritten? Wir reden doch eigentlich auch über Eingriffe in den Kernbereich der privaten Lebensgestaltung, also in die Intimsphäre, die in Deutschland besonders geschützt ist.

Klaus Landefeld: Das sehe ich ganz genau so. Wir haben zum Beispiel bei der Wohnraumüberwachung oder Telekommunikationsüberwachung Vorschriften, dass Ermittler aufhören müssen zuzuhören, wenn Gespräche in den Kernbereich privater Lebensgestaltung gehen. Das gehört zum Kernbereichsschutz, den wir in Deutschland haben. Interessanterweise ist das in Europa schwierig zu diskutieren, weil es diesen Kernbereichsschutz in den meisten Ländern nicht gibt.

Warum ist Chatkontrolle so gefährlich für uns alle?

netzpolitik.org: Wie könnte denn bei der Chatkontrolle technisch vorgegangen werden?

Klaus Landefeld: Bei elektronischer Kommunikation, wie wir sie heute mit Messengern haben, wird typischerweise Ende-zu-Ende-Verschlüsselung eingesetzt. Sie soll nicht untergraben werden. Das wird immer wieder betont. Das heißt: Es bleibt nur Client-Side-Scanning übrig. Das wiederum heißt: Wir haben auf unseren Geräten eine Spionagesoftware, die jede Form von Bildern scannt, die wir übertragen und an jemand anderen schicken. Die Bilder werden von einer Software im Hintergrund abgeglichen. Damit kann ich mich nicht anfreunden.

Das Problem beim Client-Side-Scanning

netzpolitik.org: Was für IT-Sicherheitsprobleme sind damit verbunden?

Klaus Landefeld: In dem Moment, wo ich Verschlüsselung durchbrechen wollte, damit das Scanning beim Anbieter stattfindet, ist völlig klar: Ich habe die Sicherheit geschwächt. Ich habe sogar die IT-Sicherheit in großem Stil untergraben.

Beim Client-Side-Scanning ist das Problem aus meiner Sicht ein bisschen anders gelagert. Natürlich könnte ich Software produzieren, bei der ich kein IT-Sicherheitsproblem im klassischen Sinne schaffe: Daten würden damit durchsucht, ähnlich wie etwa bei einem Virenscanner. Ein Virenscanner ist kein Sicherheitsproblem …

netzpolitik.org: … kann aber zu einem werden, wenn er selbst Sicherheitslücken enthält oder fehlerhaft bestückt wird.

Klaus Landefeld: Das ist genau das Thema. Denn das ist nämlich genau die Frage: Nach was suche ich eigentlich? Und wer kontrolliert, nach was ich suche? Das ist ein administratives Problem. Denn zu dem eigentlichen IT-Sicherheitsproblem kommt die Frage dazu: Wie kann ich denn sicherstellen, dass dieses Scanning nur geordnet abläuft?

Die administrative Kontrolle wird gar nicht diskutiert

netzpolitik.org: Welche Fragen stellen sich, wenn ein Client-Side-Scanning verpflichtend würde?

Klaus Landefeld: Die erste Frage wäre: Wer kontrolliert denn, wer das Client-Side-Scanning benutzen darf? Und es kommen weitere Fragen dazu: Wer darf Anforderungen stellen? Wer darf Daten einstellen, nach denen gescannt wird? Wer stellt wie sicher, dass nur etwas, was im Sinne dieser Verordnung ist, gescannt wird und nicht nach ganz anderen Inhalten?

Es ist jetzt schon völlig klar: Da werden auch Daten von Ländern eingestellt werden, von denen wir uns das vielleicht nicht wünschen. Denn Staaten, von denen wir das nicht wollen, müssen wir auch mit an Bord nehmen, denn ansonsten werden diese den Einsatz dieser Software verbieten. Polizeien dieser Staaten haben auch Muster, nach denen sie suchen wollen. Das sind vielleicht Inhalte, wo wir sagen würden, das wollen wir gar nicht.

Doch die administrative Kontrolle wird in diesem ganzen Vorschlag gar nicht richtig diskutiert. Wer stellt da eigentlich was ein? Wer kontrolliert, was wie reinkommt?

netzpolitik.org: Alternativ wurde ja auch eine freiwillige Chatkontrolle für Internet-Dienste diskutiert, die von der vergangenen dänischen EU-Ratspräsidentschaft ins Spiel gebracht worden war. Wäre das eine bessere Option?

Klaus Landefeld: Die Frage ist natürlich, wer das freiwillig umsetzt. Größere Dienste würde man wahrscheinlich über die Plattformregulierung angehen und sie verpflichten, wenn sie sehr groß sind. Für kleine und mittlere Unternehmen wäre Freiwilligkeit erstmal ein Schritt in die richtige Richtung, weil insbesondere die kleineren eine Chatkontrolle nicht umsetzen müssten.

Aber Freiwilligkeit wird in dieser Form nicht kommen, weil diese Systeme sehr aufwendig sind. Allein der Betrieb der Datenbanken hintendran, aber auch das Einführen dieser Technologien in die unternehmenseigene Software ist sehr aufwendig und für kleine mittelständische Unternehmen gar nicht zu leisten. Ich erinnere mich an Vorschläge im Jahr 2022, wo Anbieter wie Google gesagt haben, dass Dritte ihre Datenbanken von CSAM-Inhalten auch benutzen könnten. Denn klar war: Kleinere Unternehmen können diese Datenbanken gar nicht bereitstellen. Ein Ansatz der Freiwilligkeit mitigiert das Problem und macht es vielleicht besser erträglich, bietet aber keine Lösung.

Dazu kommt: Erwartet man dann von Anwendern, dass sie sich überlegen: Nutze ich jetzt einen Anbieter, der scannt, oder einen Anbieter, der nicht scannt? Das kann ja nicht die Lösung sein. Denn die Privatheit der Kommunikation sollte und muss bei allen Anbietern geschützt sein.

netzpolitik.org: Ist in Europa einheitlich definiert, welche Inhalte unter eine Chatkontrolle fallen würden?

Klaus Landefeld: Nein, es gibt beispielsweise Unterschiede bei der sog. Jugendpornographie oder auch beim Cyber Grooming. Es ist zwar völlig klar, dass sog. Kinderpornographie überall strafbar ist. Aber es gibt viele Graubereiche und sehr unterschiedliche Gesetze. Das ist natürlich ein Problem, denn nach welchem Standard sollen sich Anbieter dann richten? Wenn etwa zwei Personen miteinander kommunizieren, die in zwei unterschiedlichen Ländern sind, was ist dann das anzuwendende Rechtssystem? Und das betrifft nur die Frage, um welche Inhalte es eigentlich geht. Eine zweite Frage wäre, was melde ich weiter?

Ein Recht, das in der Praxis überhaupt nicht funktioniert

netzpolitik.org: Die Strafverfolgungsbehörden sollen ja Verdachtsfällen nachgehen. Wie könnte das technisch ablaufen?

Klaus Landefeld: Im Prinzip wäre es ja eine Entlastung des Anbieters: Verdachtsfälle werden an Strafverfolgungsbehörden gemeldet, die müssten dann tätig werden oder müssten Materialien einsehen. Doch da sind noch technische Fragen, die vorher geklärt werden müssen: Wie kommen die Strafverfolgungsbehörden denn eigentlich an dieses Material ran?

Wenn man sich praktisch vorstellt, man hätte jetzt einen Verdachtsfall aus privater Kommunikation. Es soll ja eigentlich so sein, dass das verdächtige Originalbild gar nicht beim Anbieter landet, sondern seine Software das erkennt und als Verdachtsfall meldet. Doch was passiert dann? Das ist genau der Punkt. Das Ganze ist ja nicht verbunden mit irgendeiner Speicherverpflichtung. Die Frage, was eigentlich aus so einem Verdachtsfall wird, ist völlig ungeklärt.

Man will ein Recht schaffen, das in der Praxis in dieser Form überhaupt nicht funktionieren würde, völlig unabhängig von allen Rechtsfragen. Denn rein technisch würde das in dieser Form nicht funktionieren können, ohne dass man wieder Inhalte speichert und weitergibt. Und das wäre der absolute Super-GAU: Wenn Inhalte privater Kommunikation wegen eines automatisch von KI erzeugten Verdachtsfalls gespeichert und weitergegeben würden.

netzpolitik.org: Im aktuellen Vorschlag zur Chatkontrolle sind ja auch Scans nach bisher unbekanntem Material vorgesehen. Wie realistisch ist das?

Klaus Landefeld: Für Verdachtsfälle aus neuem Material ist die Automatisierung sehr schwierig. Das sind Phantasievorstellungen, wie so etwas ablaufen könnte, die mit der Realität und mit dem, was tatsächlich von den Systemen heute geleistet werden kann, nichts zu tun haben.

Wir haben Mitarbeiter in unserer Beschwerdestelle, die jeden Tag mit dieser Materialform zu tun haben. Wir veröffentlichen jedes Jahr einen Bericht darüber, zuletzt 2024. Es geht dabei um Meldungen, die natürliche Personen an die Beschwerdestelle gemeldet haben. Die Beschwerdestelle schaut sich die Inhalte an und bewertet, ob ein Straftatbestand erfüllt ist oder nicht. Die Quoten sind sehr gering, was dann tatsächlich an Strafverfolgungsbehörden weitergegeben wird. Um die 80 Prozent erfüllen tatsächlich keinen Straftatbestand. Wenn man sich überlegt, wie oft ein Verdacht an Strafverfolgungsbehörden automatisiert weitergegeben worden wäre, dann ist das ein absolutes Unding.

netzpolitik.org: Welche Größenordnungen von automatischen Meldungen landen heute bei den Strafverfolgungsbehörden?

Klaus Landefeld: Momentan haben wir im CSAM-Bereich sehr viele NCMEC-Meldungen aus den USA, mittlerweile über 100.000 Meldungen jedes Jahr. Für jeden Fall muss das BKA im Prinzip Ermittlungen einleiten, weit überwiegend machen die Ermittler das tatsächlich. Das geht dann alles zu den Anbietern, wir erhalten diese Anfragen ja als Anbieter von Internetzugängen. Das BKA sagt, dass im weit überwiegenden Fall keine Daten mehr da seien und man diese Anzahl im Prinzip gar nicht richtig verarbeiten kann. Die Anbieter sehen das etwas anders, denn oft mangelt es nur an der Qualität der Anfragen – so erhalten wir oft nur eine IP-Adresse statt der erforderlichen IP- und Port-Kombination.

Das führt heute schon dazu, dass die Kriminalitätsstatistik negativ verzerrt wird. Konkret hängt es an der absoluten Anzahl automatisierter Meldungen aus den USA und darauf resultierenden potentieller Ermittlungsverfahren. In Europa will man das im Prinzip nun kopieren: Es sollen automatisierte Meldungen bei Verdachtsfällen erfolgen, wo dann ermittelt werden soll. Das Problem ist: Wir haben eine riesengroße Black Box mit einer sehr niedrigen Aufklärungsquote. Wenn ich vorn noch viel mehr reinstopfe, ändere ich an der Aufklärungsquote erstmal gar nichts, sie sinkt sogar weiter ab.

netzpolitik.org: Was wäre der bessere Weg?

Klaus Landefeld: Die Herausforderung wäre eigentlich, die Aufklärungsquote zu erhöhen und sich zu überlegen, wie man tatsächlich vernünftig ermitteln könnte und nicht bereits überforderte Strafverfolgungsbehörden mit noch mehr Fällen zu überfordern, die im weit überwiegenden Fall zu nichts führen und noch nicht mal einen Straftatbestand erfüllen. Man müsste Maßnahmen ergreifen, die effektiv die Aufklärungsquoten verbessern – die hierzu notwendigen Ressourcen werden aber nicht bereitgestellt.

netzpolitik.org: Vielen Dank für das Gespräch!