Geleakter BerichtEU-Kommission nimmt hohe Fehlerquoten bei Chatkontrolle in Kauf

Bei der geplanten Chatkontrolle werden Ermittler:innen irrtümliche Treffer sichten müssen, denn selbst die EU-Kommission rechnet mit falschen Alarmen. Hinter verschlossenen Türen hat sie auf Fragen der Mitgliedstaaten reagiert. Wir veröffentlichen das Dokument im Volltext.

Protest bei Innenministerin Nancy Faeser am 8. Juni 2022. CC-BY 4.0 Till Rimmele

Zentrale Kritikpunkte an der von der EU-Kommission geplanten Chatkontrolle scheinen sich zu bestätigen. Die EU-Kommission rechnet offenbar selbst damit, dass Ermittler:innen viele harmlose Aufnahmen und Chats von Minderjährigen mit eigenen Augen überprüfen müssen. Das und mehr steht in einem als „Nur für den Dienstgebrauch“ eingestuften Drahtbericht, den wir im Volltext veröffentlichen. Er fasst die Antworten der EU-Kommission auf die Fragen der Mitgliedstaaten zusammen. Allein von Deutschland kamen 61 Fragen.

Die Chatkontrolle ist Teil eines Gesetzentwurfs der EU-Kommission, um sexualisierte Gewalt gegen Kinder im Netz zu bekämpfen. Vorgesehen ist unter anderem, dass Anbieter auf Anordnung auch private Nachrichten automatisiert nach mutmaßlich strafbaren Inhalten durchsuchen. IT-Expert:innen und Vertreter:innen der Zivilgesellschaft kritisieren das als anlasslose Massenüberwachung. Mit unter anderem Lisa Paus (Grüne) und Volker Wissing (FDP) lehnen auch Minister:innen der Bundesregierung den möglichen Eingriff in die vertrauliche Kommunikation ab.

Zehn Prozent Fehlerquote: Kein Problem

Ein Kritikpunkt an der geplanten Chatkontrolle ist die Anfälligkeit von Erkennungssoftware für Fehler. Keine Software ist perfekt. Bei falsch-positiven Treffern könnten harmlose Nachrichten, Chats und Fotos von Unschuldigen auf den Bildschirmen von Ermittler:innen landen – mit dem Verdacht auf Straftaten wie die sogenannte Verbreitung von Kinderpornografie. Das Problem ist der EU-Kommission offenbar bekannt, und sie nimmt es bewusst in Kauf.

So liege die Genauigkeit von aktueller Grooming-Erkennungstechnologie dem Bericht zufolge bei etwa 90 Prozent. Das heißt: „bei 9 von 10 durch das System erkannten Inhalten handele es sich um Grooming.“ Grooming nennt man es, wenn Erwachsene mit Minderjährigen einen sexualisierten Kontakt anbahnen. Das entspricht bei einer Million als vermeintlich auffällig erkannten Nachrichten bereits 100.000 falschen Alarmen.

Deutschland hatte die EU gefragt, ob es eine Voraussetzung für die Meldung von Treffern geben sollte, etwa eine Trefferwahrscheinlichkeit von 99,9 Prozent. Auf diese Weise lassen sich falsch-positive Treffer reduzieren. Doch eine solche numerische Festlegung habe die Kommmission „nicht vorgenommen, um Technologieoffenheit und Fortschritt sicherzustellen.“

Ermittler:innen sollen einvernehmliches Sexting sichten

In der Folge sollen Menschen im geplanten EU-Zentrum falsch-positive Treffer händisch aussortieren. Das bedeutet, dass Ermittler:innen potenziell auch legale Aufnahmen von Minderjährigen zu sehen bekommen. In Familienchats kursieren etwa Fotos von eigenen Kindern oder Enkel:innen am Strand. Illegal ist das nicht, doch die technischen Systeme können so etwas nicht einfach kontextualisieren. Deutschland wollte von der EU-Kommission wissen, ob die Technologie solche nicht-missbräuchlichen Bilder erkenne. In ihrer Antwort verweist die Kommmission erneut auf die Angestellten im geplanten EU-Zentrum, die falsch-positive Treffer prüfen würden. Und: „Algorithmen könnten entsprechend trainiert werden“.

Bis dahin würden die legalen Bilder auf den Bildschirmen von EU-Ermittler:innen landen. Für viele Teenager:innen gehört es zudem längst zum Alltag, einvernehmlich Nacktbilder zu tauschen, sogenanntes Sexting. Auch solche Fotos könnten bei der Chatkontrolle einen Alarm auslösen. „Bei Eingang solcher Meldungen sei Strafbarkeit nach nationalem Recht festzustellen“, heißt es im Bericht.

Das EU-Zentrum soll die jeweiligen Strafverfolgungsbehörden in den Mitgliedstaaten erst nach dem Aussortieren falscher Treffer informieren, heißt es in dem Bericht. Auf die unsortierten Treffer sollen die Strafverfolgungsbehörden nicht direkt zugreifen können. Das EU-Zentrum solle die EU-Polizeibehörde Europol als „maßgeblichen Partner“ haben. Eine „enge Kooperation“ sei essenziell. „Es sei auch wichtig, dass Europol alle Meldungen erhalte, um einen besseren Überblick zu haben“, so die Zusammenfassung.

Chatkontrolle trotz Verschlüsselung

Auf den ersten Blick beißt sich die geplante Chatkontrolle mit Ende-zu-Ende-verschlüsselten Nachrichten. Diese Nachrichten können nur Sender:in und Empfänger:in in ihren Messengern entziffern. Um die Nachrichten dennoch zu kontrollieren, müsste dieses Prinzip ausgehebelt werden. Die Kommission „strebe keinen Bruch von Verschlüsselung an“, so der Bericht. Doch „Verschlüsselung sei nicht nur wichtig, um private Kommunikation zu schützen, sondern würde auch Tätern helfen“.

Eine mögliche Lösung wäre, dass eine Software Fotos und Videos schon vor dem verschlüsselten Versenden lokal auf dem eigenen Gerät überprüft. Der Einsatz dieses sogenannten Client-Side-Scanning zeichnet sich ab, IT-Sicherheitsforscher:innen warnen jedoch davor.

WhatsApp und Skype: EU-Kommission nennt erste Anbieter

Zur Massenüberwachung wird eine Chatkontrolle, sobald viele Anbieter massenhaft Nutzer:innen durchleuchten. Der Gesetzentwurf sieht vor, dass Anbieter nur dann per Anordnung zur Chatkontrolle verpflichtet werden, wenn ein bedeutsames Risiko besteht, dass ihr Dienst für sexualisierte Gewalt gegen Kinder missbraucht werde. In ihren Antworten an die Mitgliedstaaten ging die EU-Kommission nun näher darauf ein, wann dieses Risiko gegeben ist. Demnach genüge es nicht, dass ein Anbieter „child user“ habe, also von Kindern genutzt werde. Eine Maßnahme, um das Risiko zu minieren, sei etwa, dass Fremde keinen direkten Kontakt mit minderjährigen Nutzern aufnehmen können.

Als konkretes Beispiel für einen Anbieter ohne relevantes Grooming-Risiko nennt der Bericht die Karriere-Plattform LinkedIn. Dort tauschen sich vor allem Erwachsene über ihre beruflichen Erfolge aus. Häufig finden Anbahnungen laut Bericht auf WhatsApp oder Skype sowie über Videospiele statt. Die Erwähnung von WhatsApp und Skype bedeutet nicht automatisch, dass diese Anbieter mit einer Anordnung zur Chatkontrolle rechnen müssen. Sie zeigen aber eine Tendenz.

WhatsApp-Mutterkonzern Meta scheint den Maßnahmen laut Bericht gelassen entgegenzublicken. Dort heißt es: „Der Konzern ‚Meta‘ habe verpflichtende Maßnahmen – auch für die Industrie – begrüßt. Selbstregulierung stoße an Grenzen.“ Gleichzeitig hat Meta aber „Client-Side-Scanning“ in einer eigenen Studie abgelehnt, da es Rechte der Nutzer:innen verletze.

EU-Kommission glaubt, KI könne nicht missbraucht werden

Eine weitere Befürchtung von Kritiker:innen lautet, dass Chatkontrolle der Grundstein für noch mehr Informationskontrolle sein könnte. Immerhin lassen sich automatische Erkennungssysteme auf jede Art von Inhalten trainieren. Autoritäre Staaten könnten etwa Anbieter auffordern, auch politisch unliebsame Inhalte zu suchen. Die EU-Kommission antwortet diesbezüglich laut Bericht: „Missbrauch von Technologie zöge Strafen nach sich.“ Nationale Behörden müssten sicherstellen, dass Anbieter sich regeltreu verhalten.

„Im Übrigen seien Technologien nur dafür geeignet CSAM zu identifizieren“, heißt es im Bericht weiter. CSAM steht für „child sexual abuse material“, also Aufnahmen sexualisierter Gewalt an Minderjährigen. Doch Bilderkennung lässt sich grundsätzlich auf beliebige Inhalte trainieren – sie kann nach CSAM ebenso wie nach Fotos des Tiananmen-Massakers suchen.

Antworten „ausweichend“ und teils „widersprüchlich“

Wir haben die Initiative „Chatkontrolle stoppen“ um eine erste Einschätzung zu den Erwiderungen der EU-Kommission gebeten. „Die Antworten der Kommission sind zumeist ausweichend und teilweise sogar widersprüchlich“, schreibt ein Sprecher der Initiative. Auf viele von der Bundesregierung angesprochene problematische Punkte, etwa zur technischen Umsetzung, werde nicht näher eingegangen. „Die Kommission gesteht offen ein, dass sie teilweise technisch nicht Umsetzbares per Gesetz einfordern will. Damit stellt sie sich nicht nur gegen die Grundrechte sondern die Realität selbst.“

Das bestärke die Initiative in der Forderung, dass der Entwurf komplett zurückgezogen werden sollte. Mit diesen Antworten könne sich die Bundesregierung nicht zufrieden geben. Zivilegesellschaftliche Organisationen aus ganz Europa warnen seit Monaten vor der Chatkontrolle. Mehr als 160.000 Menschen haben in Deutschland eine Petition unterschrieben, zuletzt gab es Proteste auf der Straße.


Hier das Dokument in Volltext:


  • Datum: 24.06.2022
  • Einstufung: Verschlusssache – Nur für den Dienstgebrauch
  • Von: Ständige Vertretung EU Brüssel
  • An: E11, Leitung
  • Kopie: BKAMT, BMWK, BMDV, BMI, BMFSFJ, BMBF, BMG, BMJ
  • Betreff: Sitzung der RAG Strafverfolgung – Polizei (LEWP-Police) am 22. Juni 2022

I. Zusammenfassung und Wertung

Im Schwerpunkt der RAG-Sitzung stand die Darstellung und Beantwortung der eingereichten Fragen zum KOM-Entwurf eines Vorschlags für eine Verordnung zur wirksameren Bekämpfung des sexuellen Missbrauchs von Kindern durch KOM.

Die nächsten Sitzungen sind für den 05. und 20. Juli geplant.

II. Im Einzelnen

1. Adoption of the Agenda

Die Tagesordnung wurde ohne Änderungen angenommen.

2. Information by the Presidency

KOM berichtete über den Global Summit der WeProtect Global Alliance (WPGA). Zu den Ergebnissen des Gipfels zählten die Bekräftigung des gemeinsamen Kampfes gegen CSA, Errichtung einer TaskForce sowie eines Voluntary Framework for Industry Transparency (vgl. ppt-Präsentation anbei).

Päs berichtete über das operationelle CSA-Seminar vom 14.-16 Juni in Paris (vgl. ppt-Präsentation anbei). Im Fokus habe die digitale Dimension von CSA sowie die Rechte von Betroffenen gestanden. Daneben habe ein Schwerpunkt auf der Aufdeckung von Finanzflüssen gelegen. Zu den Teilnehmern zählten neben Vertreter (operativer) nationaler Behörden auch Industrievertreter. Während der Coronapandemie sei ein starker Anstieg der Zahlen bei der Verbreitung von CSAM zu verzeichnen gewesen. Besonders stark sei der Anstieg im Bereich des Live Distant Child Abuse (LDCA bzw. „livestreaming“) gewesen. LDCA finde idR gegen Geldzahlung, die Anbahnung finde im Clearnet, häufig über Skype bzw Whatsapp statt, teilweise seien auch die Eltern der betroffenen Kinder in die Taten involviert. Zur Verschlüsselung ihrer Identität nutzen Täter zunehmend auch Kryptowährung. Grooming finde zunehmend über Videospiele statt. Präs stellte „undercover avatar“ zur präventiven Kontaktaufnahme mit Kindern in Online Spelen (Fortnite) vor (Projekt unterstützt durch Europol).

Präs stellte eine erfolgreiche FRA bzw. BRA Ermittlungsverfahren vor. Mithilfe passender Indikatoren bzw. automatisierter Verfahren bei Google Drive bzw. Google Photos konnten Täter identifiziert werden.

Der Konzern „Meta“ habe verpflichtende Maßnahmen – auch für die Industrie – begrüßt. Selbstregulierung stoße an Grenzen.

3. Regulation for preventing and combating sexual abuse of minors

Europol berichtete über Tätigkeiten im Kampf gegen CSA (vgl. ppt-Präsentation anbei). Mit spezialisiertem Analyseteam (AP Twins) würden Meldungen von NCMEC entgegengenommen, angereichert und an 19 MS + Norwegen weitergeleitet. Derzeit gingen NCMEC Meldungen über ICE HSI ein. Mit Inkrafttreten des neuen Europolmandates (Art 26b) wird Europol ermächtigt, personenbezogene Daten direkt von Privaten entgegenzunehmen, zu verarbeiten und an MS weiterzuleiten. Die Anreicherung der NCMEC-Meldungen bei Europol erfolge durch Flaggen von neuem bzw. bekanntem Material und paralleler Ermittlungsverfahren sowie, soweit möglich, durch Metadatenanalyse. Abläufe fänden teilautomatisiert statt, in diesem Zusammenhang stehe auch das GRACE Projekt (finanziert unter Horizon 2022), mit dem die automatisierte Vorgangsbearbeitung verbessert werden solle.

Europol übermittele außerdem operational und strategic reports an MS. Zusammenarbeit mit MS fände während und im Anschluss an operative Ermittlungen statt (insbesondere Unterstützung im Bereich digitale Forensic und Opferidentifizierungstaskforce). Beteiligung der Öffentlichkeit durch „Trace an Object“-Initiative, mit der über Soziale Medien Tatorte identifiziert werden konnten.

Präs gab anschließend einen Überblick über die eingegangenen Fragen: 12 MS haben zusammen rd. 240 Fragen übermittelt. Zu betonen sei, dass der KOM-Vorschlag in übermittelten Stellungnahmen überwiegend positiv kommentiert worden sei. Sodann folgte kapitelweise mündliche Beantwortung Fragen durch KOM.

KOM hat Fragen zusammengefasst und diese ohne Bezug zu jeweiligem MS herzustellen vorgetragen. Soweit im Rahmen des KOM Vortrags dennoch ein direkter Bezug zu DEU Fragen hergestellt werden konnte, wird dieser im Folgenden dargestellt.

Allgemeine Fragen:

KOM führte zunächst allgemein zum Zusammenspiel des Entwurfs mit DSA/TCO/DSGVO aus. DSA sei horizontales Regelungswerk zur Herstellung eines sicheren online Umfelds, dessen Regelungsgrundlage ebenfalls Art. 114 AEUV darstelle. KOM-Entwurf einer CSA-VO setze hierauf auf. Dh. sofern CSA-VO keine spezielleren Regelungen trifft, gelten bspw. Art. 14 und 19 DSA fort. Danach geflaggte Inhalte zögen keine Pflicht zum Entfernen nach sich, könnten aber als Grundlage für Anordnungen nach CSA-VO-E gelten. Die DSGVO bleibe weiter anwendbar. KOM Entwurf stelle durchgehende und frühe Einbeziehung der Datenschutzbehörden sicher, bspw. bei der Bewertung geeigneter Technologien und bei deren Einsatz im Rahmen von Anordnungen. Insbesondere im Kampf gegen Grooming gehe KOM-Entwurf weiter als DSGVO, da Hinzuziehung der Datenschutzbehörde zwingend erforderlich sei. KOM hob hervor, dass automatisierte Prozesse keine direkten Auswirkungen auf natürliche Personen hätten. Vielmehr führten diese lediglich zur Weiterleitung an das EU-Zentrum. Im Übrigen enthalte KOM Entwurf zahlreiche safeguards (u.a. Anordnungen durch zuständige Behörde bzw. Gericht, Abhilfeverfahren, VHMK, Einbeziehung Datenschutzbehörde).

KOM legte dar, dass der Entwurf in Übereinstimmung mit Art. 15 ecommerce RL iVm EG 47 und einschlägiger Rechtsprechung stehe. Zielgerichtete Identifikation von eindeutig illegalem Material auf Grundlage nationaler Anordnungen sei von dem Verbot nicht erfasst. KOM Entwurf sei insbesondere verhältnismäßig, da Anordnungen nur im Einzelfall ergehen könnten (wo safety by design nicht ausreiche), Anordnungen so zielgerichtet wie möglich zu erlassen seien, safeguards eingerichtet und strenge Verhältnismäßigkeitsprüfung erforderlich sei. Schließlich hob KOM hervor, dass CSAM in jedem Fall eindeutig illegal – eine Bewertung gerade nicht kontextabhängig – sei.

TCO-VO sei wie KOM-Entwurf eine sektorale Regelung. Die Definition von „hosting service provider“ der TCO-VO gelte auch für KOM-Entwurf. Art. 39 des KOM-Entwurfes sei an Art 14 TO VO und Art 67 DSA angelehnt.

Zu DEU Frage 20: On page 10 of the proposal it says „Obligations to detect online child sexual abuse are preferable to dependence on voluntary actions by providers, not only because those actions to date have proven insufficient to effectively fight against online child sexual abuse(…)“ What is COMs evidence proving that these voluntary options are insufficient?

KOM verwies auf das Impact Assessment und hob vier Hauptpunkte hervor: Erstens seien freiwillige Maßnahmen sehr heterogen (in 2020 waren mehr als 1600 Unternehmen zu Meldungen an NCMEC verpflichtet, wobei nur 10% der Unternehmen überhaupt Meldungen abgegeben haben, 95% der Meldungen kamen von „Meta“). Zweitens seien freiwillige Maßnahmen nicht stetig, da Gegenstand von Unternehmenspolitik. Drittens seien auch bei freiwilligen Maßnahmen Grundrechte Privater betroffen, Entscheidungen darüber sollten nicht Privaten (marktmächtigen) Unternehmen überlassen bleiben. Viertens ließen auch freiwillig aktive Unternehmen Betroffene bei der Entfernung von sie betreffender CSAM Inhalte alleine. Betroffenen und Hotlines fehle es an einer Rechtsgrundlage zum Suchen nach CSAM, dies wolle KOM ändern.

Zu DEU Frage 10: Can COM confirm that providers voluntary search for CSAM remains (legally) possible? Are there plans to extend the interim regulation, which allows providers to search for CSAM?

Es sei eine dauerhafte und eindeutige Rechtsgrundlage erforderlich. Regelungslücken nach Auslaufen der InterimsVO seien zu verhindern. Es sei noch zu früh um festzulegen, wie Übergangszeit bis Inkrafttreten einer CSA-VO aussehen könnte, möglich sei auch eine Verlängerung der InterimsVO. Hostingdiensteanbieter, die nicht von e-privacy VO erfasst und daher auch nicht von Auslaufen der InterimsVO betroffen seien, könnten weiterhin freiwillige Maßnahmen ergreifen.

Es seien mehrere Fragen zu verschlüsselten Inhalten eingegangen. Auch zu DEU Fragen 4 und 5: Does the COM share the view that recital 26 indicating that the use of end-to-end-encryption technology is an important tool to guarantee the security and confidentiality of the communications of users means that technologies used to detect child abuse shall not undermine end-to-end-encryption?

Could the COM please describe in detail on technology that does not break end-to-end-encryption, protect the terminal equipment and can still detect CSA-material? Are there any technical or legal boundaries (existing or future) for using technologies to detect online child sexual abuse?

KOM-Entwurf richte sich nicht gegen Verschlüsselung. KOM strebe keinen Bruch von Verschlüsselung an, sondern habe vielmehr die Bedeutung von Verschlüsselung anerkannt. Verschlüsselung sei nicht nur wichtig, um private Kommunikation zu schützen, sondern würde auch Tätern helfen und diese decken, daher habe KOM Verschlüsselung nicht aus Entwurf ausklammern wollen. KOM verwies in diesem Zusammenhang auf Annex 8 des Impact Assessement, der verschiedene Technologien darstelle. KOM stehe dazu auch im Kontakt mit Unternehmen, diese seien bereit die dargestellten Technologien einzusetzen bzw. setzten diese bereits ein. KOM hob hervor, dass stets die am wenigsten eingriffsintensive Technologie zu wählen sei und dass dort, wo keine Technologie zur Verfügung stünde, die die Anforderung des KOM-Entwurfs erfülle, auch keine Identifizierungsanordnungen ergehen könnten.

Es seien auch mehrere Fragen zu KMU eingegangen. KMU könnten vom Anwendungsbereich des Entwurfes zwar nicht ausgenommen werden, Entwurf sehe aber vielfältige Unterstützung vor. U.a. durch das Zentrum und nationale Behörden, indem Unterstützung im Rahmen der Risikobewertung sowie beim Einsatz von Technologien gewährt werde. Ausbildung von Mitarbeitern sei zusammen mit Europol bzw. Organisationen wie WPGA geplant. Insbesondere übernehme das EU Zentrum die Kontrolle von Meldungen.

Kapitel 1

KOM führte zu den erwarteten positiven Auswirkungen des Entwurfs aus. Dazu zählten: effektives Erkennen und Entfernen von CSAM, Verbesserung der Rechtssicherheit, Haftung und des Schutzes betroffener Grundrechte sowie Harmonisierung von Maßnahmen. Der Entwurf habe insbesondere im Bereich Prävention und Unterstützung Betroffener erhebliche Auswirkungen auf die Offlinedimension von CSA. Online und Offline Aspekte seien kaum trennbar.

Art. 2 f fasse vorher dargestellten Definitionen zur besseren Lesbarkeit zusammen.

Zum Anwendungsbereich: Suchmaschinen seien, sofern sie keine Hostingdiensteanbieter sind, derzeit nicht vom Entwurf erfasst, obgleich sie eine Rolle bei der Verbreitung von CSAM spielten. KOM sei offen für eine Diskussion über die Einbeziehung von Suchmaschinen in den Entwurf. Livestreaming ist als Teil der Definition von CSAM. Eingestufte Kommunikation sowie Unternehmens-/Regierungskommunikation sei nicht vom Anwendungsbereich erfasst.

Zu DEU Frage 34: Do provider of file/image-hosting, which do not have access to the content they store fall under the scope of the Regulation?

Hosting service Providers seien erfasst, es sei Frage der Verhältnismäßigkeit, den Dienstanbieter zu adressieren, der Zugang zu den Daten habe. Dh. Cloudservices, die nur Infrastruktur zur Verfügung stellen, aber keinen Zugriff haben, seien ggf. keine geeigneten Adressaten von Identifizierungsanordnungen.

Zu Artikel 2 g) verwies KOM auf EG 11.

Zu Artikel 2 j) „child user“ sei das relevante Alter für „sexual consent“ maßgeblich, das jedoch in den MS variiere. Grundsätzlich seien vom Entwurf auch minderjährige Täter erfasst. Anbieter seien nicht in der Lage festzustellen, ob „consent in peers“ vorliege. Bei Eingang solcher Meldungen sei Strafbarkeit nach nationalem Recht festzustellen. Sofern im Rahmen einer Novellierung der CSA-RL (aus 2011) Änderungen der Definitionen vorgenommen würde, hätte dies auch Änderungen für den KOM-Entwurf einer CSA-VO zur Folge.

In Artikel 2 m) beziehe sich „potentiell“ darauf, dass die finale Entscheidung darüber, was illegal ist, den nationalen Behörden überlassen bleibt.

Art. 2 u) sei an die Regelung des DSA angelehnt.

PRT bittet um Übermittlung schriftlicher Antworten. KOM antwortete, dies nicht zusagen zu können.

Kapitel 2

Zu DEU Frage 6: What kind of (technological) measures does COM consider necessary for providers of hosting services and providers of interpersonal communication in the course of risk assessment? Especially how can a provider conduct a risk assessment without applying technology referred to in Articles 7 and 10? How can these providers fulfil the obligation if their service is end-to-end encrypted?

Der Einsatz von Technologien hänge vom jeweiligen Dienst und den jeweiligen Risiken ab. Identifizierungstechnologien seien dabei nicht verpflichtend einzusetzen, Verschlüsselung dürfe Anbieter nicht daran hindern, eine Analyse durchzuführen. Anbieter hätten allerdings idR gute Kenntnis über das Risiko ihrer Dienste bspw. durch Nutzermeldungen. EU Zentrum werde (nicht erschöpfende) Guidelines erlassen.

Zu DEU Frage 9: Can COM detail on relevant „data samples” and the practical scope of risk assessing obligations? Especially differentiating between providers of hosting services and providers of interpersonal communications services.

Relevante Datenbeispiele hingen vom jeweiligen Dienst, dem jeweiligen Nutzerverhalten ab. Für Risikominimierungsmaßnahmen könne bspw. eine Rolle spielen, ob die Möglichkeit besteht, dass Fremde direkten Kontakt mit minderjährigen Nutzern aufnehmen können.

Zu DEU Frage 11: In Art. 3 par. 2 (e) ii the proposal describes features which are typical for social media plattforms. Can COM please describe scenarios in which for those plattforms a risk analysis does not come to a positive result?

Bspw. bei professionellen Plattformen, wie LinkedIn oder Sozialen Medien ohne Grooming-Historie dürfte kein relevantes Risiko auftreten.

Zu DEU Frage 2: Could the COM please give examples of possible mitigation measures regarding the dissemination of CSAM as well as grooming that are suitable for preventing a detection order?

Bespiele seien Altersbegrenzungen bzw. die Begrenzung bestimmter Funktionen für Kinderaccounts wie bspw. das Teilen von Bildern (Bildern mit viel nackter Haut) oder die Möglichkeit direkter Kontaktaufnahme durch fremde Nutzer.

Zu DEU Frage 3: Could the COM please explain how age verification by providers respectively App Stores shall be designed? What kind of information should be provided by a user? With regard to grooming your proposal specifically aims at communication with a child user. Shall the identification of a child user be conducted only via age verification? If a risk has been detected will providers be obliged to implanting user registration and age verification? Will there be also a verification to identify adult users misusing apps designed for children?

KOM-Entwurf sei technologieoffen, auch für Alterskontrolle. Anbieter seien frei, geeignete Maßnahmen zu wählen. Hiervon hingen auch die von Nutzern erforderlichen Informationen ab. Möglich seien Maßnahmen von „einfacher Bestätigung“ bis hin zum Nachweis von Ausweisen. KOM unterstütze Projekte und Innovationen zur Alterskontrolle ohne Erfordernis des Nachweises persönlicher Daten. KOM-Entwurf sehe bislang nicht vor Erwachsene zu identifizieren, die Kinderaccounts/-Dienste missbrauchen, solche Nutzer würden im Rahmen von Identifizierungsanordnungen erkannt.

Zu DEU Frage 14: Can COM please clarify „evidence of a significant risk“? Is it sufficient that there are more child users on the platforms and that they communicate to the extent described in Article 3?

Die Entscheidung über das Vorliegen eines „significant risk” werde durch die coordinating authority getroffen. KOM werde auch in diesen Bereich Guidlines erlassen. Alleine die Tatsache der Nutzung durch „child user“ genüge nicht um die Voraussetzungen zu erfüllen.

Zu DEU Frage 17: How are the reasons for issuing the identification order weighed against the rights and legitimate interests of all parties concerned under Article 7(4)(b)? Is this based on a concrete measure or abstract?

Es sei eine Einzelfallentscheidung erforderlich, bei der alle relevanten Informationen einbezogen und eine möglichst zielgerichtete Anordnung ergehen solle. Dh. es seien auch Szenarien denkbar (vergleichsweise geringes Risiko, sehr eingriffsintensive Technik) in denen eine Anordnung – nach Abwägung im Einzelfall – nicht ergehen solle.

Zu DEU Frage 13: Are the requirements set out in article 7 para 5 / para 6 / para 7 to be understood cumulatively?

Jeder Absatz beziehe sich auf unterschiedliche Kategorien von CSAM, wenn eine Anordnung sich auf alle Kategorien beziehe, dann gelten die Voraussetzungen kumulativ, ansonsten gelten sie jeweils einzeln.

Zu DEU Frage 16: Can COM please clarify on the requirements of para 5b, 6a, 7b – which standard of review is applied? How can the likelihood in Art. 7 par 7 (b) be measured? Does the principle in dubio pro reo apply in favor of the hosting service?

In dubio pro reo gelte nicht, da es sich nicht um strafprozessuale Fragen handele, sondern um eine Einschätzung im Bereich der Risikominimierung. Standard of review sei im Einzelfall festzulegen, es würden auch in diesem Zusammenhang Guidelines folgen.

Artikel 9 sehe keinen festen zeitlichen Rahmen vor. Wenn man allerdings alle erforderlichen Prozessschritte addiere, könne man mit rund 12 Monaten rechnen.

Zu DEU Frage 23: Does „all parties affected” in Art. 9 include users who have disseminated CSAM or solicited children but who were nevertheless checked?

Es seien alle Nutzer erfasst, die CSAM verbreiten. Es obliege nicht den Providern rechtliche Bewertungen vorzunehmen.

Zu DEU Frage 7: How mature are state-of-the-art technologies to avoid false positive hits? What proportion of false positive hits can be expected when technologies are used to detect grooming? In order to reduce false positive hits, does COM deem it necessary to stipulate that hits are only disclosed if the method meets certain parameters (e.g., a hit probability of 99.9% that the content in question is appropriate)?

KOM hob hervor, dass es geeignete Technologien gebe, die z.T. seit Jahren eingesetzt würden (bspw. PhotoDNA). Die Genauigkeit von Grooming-Erkennungstechnologie liege bei etwa 90 %. D.h. bei 9 von 10 durch das System erkannten Inhalten handele es sich um Grooming. False-positive Meldungen würden dann durch das EU Zentrum erkannt und herausgefiltert. Numerisch Festlegung habe KOM nicht vorgenommen, um Technologieoffenheit und Fortschritt sicherzustellen.

Zu DEU Frage 24: Which technologies can be used in principle? Does Microsoft Photo ID meet the requirements?

Der VO-E gebe keine zwingenden Technologien vor. Das EU Zentrum werde Anbietern eine Liste geeigneter Technologien sowie kostenlose Technologien zur Verfügung stellen.

Zu DEU Frage: 25: Should technologies used in relation to cloud services also enable access to encrypted content?

KOM führte aus, Anordnungen könnten nur ergehen, wenn geeignete Technologien zur Verfügung stünden.

Zu DEU Frage 26: How is the quality of the technologies assured or validated? How does the CSA proposal relate to the draft AI-Act?

Es werde ein technology committee im EU Zentrum eingerichtet. Dabei werde sowohl EU Datenschutzbeauftragter als auch Europol Innovation Hub einbezogen. Zur KI-VO: Die unter CSA-VO einzusetzenden Technologien dürften idR Hochrisiko-KI iSd KI-VO darstellen. Dh. sie dürften Gegenstand von ex-ante conformiy assessement unter KI-VO sein. Dieses käme dann zusätzlich zur Datenschutzkontrolle und der Prüfung durch EU Zentrum, als weiterer safeguard hinzu.

Zu DEU Frage 27: How is the equivalence of providers‘ own technologies to be assessed under Article 10(2) and how does this relate to providers‘ ability to invoke trade secrets?

Kompatibilität werde durch zuständige Behörde bzw. Gerichte geprüft/festgestellt.

Zu DEU Frage 28: Can the technology be designed to differentiate between pictures of children in a normal/ not abusive setting (e.g. at the beach) and CSAM?

KOM bejahte, Algorithmen könnten entsprechend trainiert werden, außerdem erfolge Prüfung etwaiger false positives im EU-Zentrum (Verweis auf Annex 8 Impact Assessment).

Entlang DEU Fragen 31 und 31: How do you want to ensure that providers solely use the technology – especially the one offered by the EU Centre – for executing the detection order? How would we handle an error? How should eventual cases of misuse be detected?

Missbrauch von Technologie zöge Strafen nach sich. Die compliance der Anbieter sei durch nationale Behörden sicherzustellen. Im Übrigen seien Technologien nur dafür geeignet CSAM zu identifizieren.

Zu DEU Frage 32: Could you please elaborate on the human oversight and how it can prevent errors by the technologies used?

Providers sind nicht zu human review jeder Meldung verpflichtet. Das EU Zentrum garantiere aber human oversight über Meldungen von bekanntem CSAM. Das Zentrum sei zu human oversight für neues CSAM und grooming verpflichtet. Das Zentrum fungiere also als Filter zwischen LEAs und Anbieter.

Zu DEU Frage 33: How do you expect providers to inform users on „the impact on the confidentiality of users’ communication”? Is it a duty due to the issuance of a detection order? Or may it be a part of the terms and conditions?

Die Verpflichtungen in Art. 10 seien an etwaige Identifizierungsanordnungen geknüpft.

Zu DEU Frage 15 bzw. 19: How detailed does the detection order specify the technical measure required of the provider?

How concretely does the identification order specify the measure required of the provider? What follows in this respect from Article 7(8) („shall target and specify [the detection order]“), what from Article 10(2) („The provider shall not be required to use any specific technology“)?

Eine detection order lege die einzusetzende Technik nicht fest; sondern spezifiziere den Umfang der Verpflichtung. KOM verwies auf Art. 7 Abs. 8.

KOM führte aus, dass Anbieter im Rahmen des Erlasses einer Identifizierungsanordnung einen Implementierungsplan erstellen müssten. Die DSGVO würde durch nationale Behörden (nicht Anbieter) sichergestellt. Bei Grooming seien Anbieter verpflichtet, Datenschutzbehörden einzubeziehen.

Zur Abgrenzung zwischen koordinierenden Behörden und Gerichten: Die koordinierenden Behörden hätten üblicherweise spezielle (fachliche) Expertise, insb. im Bereich der Risikominimierung, die bei Gerichten üblicherweise nicht vorlägen. Angesichts betroffener Grundrechte seien Gerichte (oder zuständige nationale Behörde) als weitere Schutzebene im Rahmen der Verhältnismäßigkeit einzubeziehen.

Zu DEU Frage 18: Has COM yet received feedback by the providers, especially regarding article 7? If so, can you please elaborate the general feedback?

KOM habe Anbieter von Anfang einbezogen (bspw. über EU IF, direkte Gespräche, Reise von KOM Johansson ins Silicon Valley) und habe positive Rückmeldung erhalten. Unternehmen begrüßte Anbieterpflichten sowie Rechtssicherheit und Klarheit.

Zur Verhinderung von Doppelungen von Meldungen und Möglichkeiten des deconflicting: Es sei zu unterscheiden zwischen Meldungen von Anbietern und von Nutzern/Hotlines. Anbieter seien zu Meldungen an das EU Zentrum verpflichtet. Sofern zusätzliche nationale Meldepflichten bestünden, sei das bspw. bei Meldungen an das EU Zentrum zu kennzeichnen. Meldungen von Nutzern/Hotlines könnten dagegen weiterhin an die Anbieter eingehen. Sofern Nutzer/Hotlines parallel dazu auch nationale Behörden benachrichtigten, bedürfe dies geeigneter deconflicting Prozesse.

Zu DEU Frage 36: Which role should the Coordinating Authority play regarding reporting obligation?

Koordinierende Behörde würde die compliance der Anbieter überwachen, sie erhalte aber keine gleichermaßen aktive Rolle wie im Zusammenhang mit der Anordnung von Maßnahmen.

Zu DEU Frage 38: What number of cases does COM expect for the reports to EU CSA? How many cases will be forwarded to the competent national law enforcement authorities and/or Europol?

Die genaue Zahl können KOM nicht nennen. Sofern man für eine Schätzung die derzeitigen Meldungen an NCMEC zu Grunde lege sei zu bedenken, dass US Recht nicht spezifisch sei. Derzeit seien viele Meldungen nicht actionable, da es sich nicht um CSAM nach EU-Recht handele oder Informationen fehlten. Es fehle auch an Filtern um false positives zu verhindern. Insgesamt sei nicht nur eine Steigung der Zahl der Meldungen, sondern auch eine Verbesserung der Qualität der Meldungen an LEAs zu erwarten.

Zu DEU Frage 40: At what point can knowledge of the content be assumed to have been obtained by the provider, is human knowledge required?

KOM Entwurf lege nicht fest, dass menschliche Kenntnis erforderlich sei. Hier gelte es ggf. weiter zu spezifizieren.

Zu den Unterschieden bei Entfernungsanordnungen zwischen TCO und CSAM führte KOM aus: Im Unterschied zur TCO VO handelt es sich bei CSAM unabhängig vom Kontext um illegales Material, TCO richte sich an so viele wie möglich Nutzer und würde idR öffentlich über Hosting Dienste verbreitet. Dagegen ziele CSAM auf zielgerichtete Verbreitung, häufig über interpersonelle Kommunikationsdienste (2/3 der heutigen Meldungen stamme aus interpersonellen Kommunikationsdiensten). Da idR andere Diensttypen missbraucht würden, würden auch andere safeguards erforderlich. KOM-Entwurf sehe keine crossboarder removal orders vor (anders als TCO), da KOM-Entwurf insgesamt national ausgerichtet sei.

Ein MS habe Angleichung der Frist an die TCO VO auf 1 Stunde gefordert (KOM Entwurf: 24 Stunden). KOM erläuterte, dass sie offen für eine Diskussion hierüber sei. Angesichts der Verpflichtungen der Anbieter seien aus ihrer Sicht 24 Stunden angemessen.

Zu DEU Frage 39: Will the right to an effective redress be affected by the obligation under art. 14 to execute a removal order within 24 hours?

Beschwerde der Anbieter gegen removal orders haben keinen Suspensiveffekt. Beschwerdeverfahren befreie nicht von Entfernungspflicht.

Zu Art. 15 Abs. 4: verwies KOM auf Art. 12 Abs. 2, reichten 6 Wochen nicht aus, sei eine Verlängerung um weitere 6 Wochen möglich.

Zu DEU Frage 43: How can blocking orders be limited in practice to specific content or areas of a service, or can only access to the service as a whole be blocked?

Erfasst seien „URLs pointing to a specific image/video“, um möglichst zielgerichtete Anordnungen zu erlassen.

Zu DEU Frage 44: Do cloud services have to block access to encrypted content if they receive a suspicious activity report about specific users?

KOM verneinte, denn blocking orders bezögen sich nur auf öffentlich zugängliches Material.

KOM führte aus, dass das Haftungssystem des Entwurfes kohärent zu Haftungsregime des DSA sei.

Kapitel 3

Kapitel 3 sei insgesamt sehr eng entlang der Regelungen des DSA konzipiert. MS seien frei koordinierende Behörden entsprechend Art. 26 in bestmöglicher Übereinstimmung mit nationalem Recht zu bestimmen. Diese könne mit dem jeweiligen DSA-Koordinator übereinstimmen. Die Unabhängigkeit sei in jedem Fall sicherzustellen.

Zwischen den koordinierenden Behörden und nationalen LEAs bestünde klare Aufgabentrennung. Nachdem Anordnungen ergangen sind, könnten LEAs bei der Durchsetzung unterstützen.

Zu den erwarteten notwendigen Ressourcen in den MS: Der Umfang der Ressourcen der koordinierenden Behörden hänge vom Aufkommen der Meldungen ab.

IRL meldete Zweifel an, ob angesichts der Einschränkungen in Art. 26, 2 e) die Benennung des „DSA Koordinators“ als coordinating authority möglich sei. Ebenso sei fraglich, ob damit der Coordinating Authority die von der KOM intendierte „zentrale Rolle bei der CSA Prävention“ auch in der „offline-Welt“ eingeräumt werden könne.

KOM räumte ein, dass diese Bestimmung möglicherweise missverständlich sei im Hinblick auf die beabsichtigte Rolle der Coordinating Authority. Diese solle hauptsächlich mit online-Aspekten befasst werden und wäre daher nah an den Aufgaben des DSA Koordinators.

Zu DEU Frage 45. Why did you choose a latitude of judgement regarding penalties?

Der Vorschlag überlasse es den MS, die konkreten Strafen festzulegen, aufbauend auf dem nationalen System und ähnlich wie bei DSA und TCO.

Zu DEU Frage 46. Does Art. 35 apply to cases of misuse of technology or the omission to establish effective measures to prevent such misuse (Art. 10 para 4)?

Art 35 gelte auch für Art. 10 para 4. KOM werde Guidelines entwickeln, die den MS helfen sollen, die konkreten Strafen festzulegen.

Zu DEU Frage 47. Why doesn’t the proposal follow the sanctions set out in TCO Regulation?

Die Strafen in Art. 35 seien von TCO und DSA „inspiriert”. Es werde anders als bei TCO aber keine abschließende Liste von Verstößen erstellt.

Zu DEU Frage 48. Could Article 35(2) be limited to breaches of a central obligation or a small number of central obligations?

Der Absatz spreche lediglich von „an infringement”.

KOM erläuterte zudem, dass Art. 38 keinen Konflikt mit JITs (Eurojust) generiere, da der Artikel sich nur auf Ermittlungen im Bereich der Verordnung beschränke und nicht auf weitere Kriminalfälle. Die Coordination Authority habe keine Berührungspunkte mit Strafermittlungen.

Zu DEU Frage 49. Article 39 (2) does not provide for the national law enforcement authorities to be directly connected to the information exchange systems. In which way will reports be passed on to national LEAs?

In der Tat seien Strafverfolgungsbehörden hier nicht explizit erwähnt, dies müsse möglicherweise ergänzt werden. Recital 55 erwähne jedoch die Notwendigkeit zu kooperieren. SIENA werde hier nicht ausdrücklich genannt, um keine Festlegung angesichts möglicher weiterer Entwicklungen/Namensänderungen zu treffen. Fakt sei jedoch, dass das Zentrum die Meldungen an Europol und die nationalen Strafverfolgungsbehörden weiterleite. Ggf. müsse hier noch ein entsprechender Text eingefügt werden.

Zu DEU Frage 50. What shall the information-sharing system embrace? How can effectiveness and data protection best be balanced?

KOM verwies hier auf Recital 58 und darauf, dass Systeme zum Informationsaustausch grundsätzlich effizient, sicher und in voller Übereinstimmung mit Datenschutzbestimmungen betrieben werden müssten.

Zu Art. 39 führte KOM weiterhin aus, dass der Vorschlag die Zusammenarbeit der MS mit Drittstaaten nicht einschränke, sondern diesen im Gegensatz durch das EU Zentrum erleichtern wollen.

Kapitel 4 – EU Zentrum

Allgemein führte KOM aus, dass das Zentrum als „Facilitator“ zu verstehen sei. Im Hinblick auf die Anbieter solle das Zentrum insbesondere die Datenbank der Indikatoren erstellen, basierend auf als illegal nach EU-Recht eingestuftem CSAM, sowie eine Liste von technologischen Lösungen zur Detektion zur Verfügung stellen.

Im Hinblick auf nationale Strafverfolgungsbehörden habe das Zentrum vorrangig die Aufgabe, auf den Meldungen der Provider die „falsch-positiven“ zu filtern und den Strafverfolgungsbehörden „actionable“ Meldungen mit tatsächlich strafbarem Inhalt weiterzuleiten.

Die MS solle das Zentrum als knowledge hub unterstützen sowie bei der Unterstützung von Opfern. Die Aufgabe als hub solle auch zur Einsparung von Ressourcen beitragen.

Hinsichtlich der Unterstützung von Opfern ginge es im Wesentlichen darum, die bei der Suche nach und Löschung von deren Bildern zu unterstützen. Opfer könnten auf Wunsch auch über Berichte zu CSAM, das sie betrifft, benachrichtigt werden.

Das Zentrum werde nicht in einem Vakuum errichtet, sondern in ein bestehendes Umfeld von Akteuren integriert. Hiervon sei Europol einer der maßgeblichen Partner und eine enge Kooperation essentiell. Es sei auch wichtig, dass Europol alle Meldungen erhalten, um einen besseren Überblick zu haben und damit einen besseren Service für die MS leisten zu können. Derzeit erhalte Europol nur rund ein Drittel der EU-relevanten Meldungen von NCMEC.

Das Zentrum werde jedoch keine der Europol Zuständigkeiten im Bereich Ermittlungen oder Koordinierung von Ermittlungsverfahren übernehmen.

Die Entscheidung für eine Agentur sei getroffen worden, weil nur eine solche berechtigt sei, EU-Recht umzusetzen. Dies sei z.B. bei einer Stiftung nicht möglich gewesen.

Zu DEU Frage 35: How do reporting obligations under this proposal relate to current NCMEC reporting? How can the two processes best be streamlined? How can be assured that neither a duplication of reports nor a loss of reports is taking place?

Eine mögliche Doppelarbeit durch Meldungen sowohl von NCMEC als auch vom EU Zentrum an die Strafverfolgungsbehörden versuche man zu vermeiden, indem man für die Meldungen an das Zentrum ein Datenfeld vorsehe, in dem die meldende Stelle vermerken kann, ob der Fall bereits an NCMEC gemeldet sei. Zur automatischen Filterung solle eine Software entwickelt werden. Es sei jedoch wichtig, von einem „privaten Anbieter in einen Drittstaat“ unabhängig zu werden, gerade weil es um den Umgang mit sensiblen Daten ginge.

KOM führte zudem aus, dass die Rolle etablierter Hotlines nicht eingeschränkt werde, diese könnten ihre Aufgabe als „trusted flagger“ weiter ausfüllen. CSAM, welches durch Hotlines identifiziert werde, könne zur Indikatoren-Datenbank beitragen. Hotlines seien auch für die Coordinating Authority ein wichtiger zukünftiger Partner.

Die Vorfestlegung auf den Sitz der Agentur (Art 42) sieht KOM als in Einklang mit dem „common approach“ an. Es sei ein ungewöhnlicher Schritt, werde aber die Zusammenarbeit mit Europol erleichtern sowie Kosten reduzieren. Auch sei die Kombination Management Board/Executive Board konsistent mit dem „common approach“.

Hinsichtlich der Indikatoren-Datenbank (Art 44) solle das Zentrum mit den MS zusammenarbeiten. Die Datenbank solle auf existierenden (hash) Datenbanken aufbauen. Indikatoren sollten sich ausschließlich auf CSAM und grooming Material beschränken. KOM habe bereits mit Projektvorbereitungen begonnen und stelle 2 Mio Euro zur Verfügung. MS seien aufgerufen, sich einzeln oder als Konsortium zu bewerben.

Zu DEU Frage 51: Only EU CSA and Europol will have direct access to the database of indicators (Art 46(5)), how can national LEAs/national coordinating authorities best participate of the information? Does COM consider a new interface necessary in order to let national authorities know that further information might be available?

Der Zugang zur Indikatoren-Datenbank sei in Art. 46 para 4 geregelt, dort sei ein Zugriff für Strafverfolgungsbehörden und die Coordinating Authority vorgesehen. Para 5 regele den Zugang zur Datenbank der Meldungen. Hier sei absichtlich kein Zugriff für die Strafverfolgungsbehörden und die Coordinating Authority vorgesehen, da die Meldungen zunächst durch das Zentrum verifiziert und dann nach Aussortierung der falsch-positiven Meldungen weitergeleitet würden.

Art 46 para 8 lege die Notwendigkeit einer sicheren Speicherung fest. Die konkrete Ausgestaltung müsse auf Basis bewährter Praktiken relevanter Akteure erfolgen.

Verordnung (EU) 2018/1725 gelte selbstverständlich auch für das EU Zentrum.

Zu DEU Frage: 53. We took notice that the Commission’s impact assessment does not examine further the possibility of integrating the tasks of prevention and victim support into FRA and the tasks with relevance for law enforcement into Europol instead of creating a new entity. Rather, it seems that this possibility is discarded after preliminary examination. We would therefore like to know why this option was not examined further in the first place? Moreover, we kindly ask COM to explain the advantages its expects from creating a new entity instead of allocating the tasks to FRA and Europol in combination?

KOM verwies in diesem Zusammenhang auf Annex 10 des Impact Assessments. Man habe sich dagegen entschieden, weil dies eine Aufteilung des Zentrums mit damit verbundenen Risiken bei der Koordinierung und ggf. Kompetenzstreitigkeiten bedeutet hätte. Außerdem würde es dem holistischen Ansatz der CSA Strategie widersprechen. Auch habe man befürchtet, dass bei FRA ein Problem hinsichtlich der grundsätzlichen Aufgaben im Bereich Grundrechte und einer Schwerpunktsetzung auf CSA entstehen könne.

Zu DEU Frage: 57. Article 53(2) of the draft deals with mutual access to relevant information and information systems in relation to Europol. Are we right in assuming that the provision does not regulate access to information as such, because reference is made to the relevant provisions („in accordance with the acts of Union law regulating such access“)? What then is the specific regulatory content of the provision? Please explain.

Die Bestimmung regele in der Tat nicht den Zugang an sich (dies erfolgt durch anderer EU Rechtsinstrumente). Aber es sei klar, dass Zentrum und Europol sich im Rahmen der Zusammenarbeit gegenseitigen Zugriff ermöglichen müssten.

Zu DEU Frage 60. According to Article 64(4)(h), the Executive Director of EU CSA to be established may impose financial penalties if there are criminal acts detrimental to the financial resources of the Union. How does this relate to EPPO proceedings?

Bei dieser Bestimmung gehe es ausschließlich um EU Gelder für das Zentrum. Die Zuständigkeit des Exekutivdirektors beschränke in keiner Weise die Ermittlungsbefugnisse von OLAF und EPPO.

Abschließend erklärte KOM zu Art 90 (Umsetzungsfrist), dass man die ggü TCO und DSA deutlich kürzere Umsetzungsfrist von 6 Monaten gewählt habe, da die Zeit angesichts des Auslaufens der „derogation“ dränge.

Aufgrund der fortgeschrittenen Zeit verzichtete Vors. entgegen der TO darauf, Kapitel I des VO-Entwurfs anzudiskutieren.

PRT zeigte sich in der abschließenden Aussprache sehr verwundert über die Festlegung des Sitzes des EU Zentrums. Dies sei doch ein außergewöhnlicher Präzedenzfall (ebenso IRL).

POL schloss die Frage an, ob es in der EU bereits ein vergleichbares Modell gäbe (zwei Agenturen mit gemeinsamen Ressourcen).

KOM erläuterte, dass dieser Möglichkeit im common approach angelegt sei, seitens der KOM gefördert werde aber in der Tat noch nicht realisiert worden sei.

Wir dankten der KOM für die ausführlichen Antworten, die nun in die weiteren Überlegungen in DEU einfließen würde. Gerade zur Zusammenarbeit mit Europol seien jedoch noch Fragen offen. Es sei essentiell, dass bei der Ausgestaltung des EU CSA-Zentrums größtmögliche Synergieeffekte mit Europol hergestellt und die Schaffung von Doppelstrukturen vermieden werden.

Wir plädierten darüber hinaus für die Durchführung von technischen Workshops (wurde vom CZE als künftige PCY aufgegriffen) und appellierten ebenso wie der Vors. an die KOM, eine vergleichende Darstellung CSA-TCO-DSA zur Verfügung zu stellen. Vors. ergänzte dies um die Bitte der Übersendung eines Ablaufschemas der einzelnen in der VO vorgesehenen Verfahren.

CZE als künftige PCY teilte abschließend mit, dass die Arbeiten am CSA Vorschlag eine Priorität des Vorsitzes sei; man wolle sich ausreichend Zeit hierfür nehmen. Es seien 10 Sitzungen geplant, die erste am 5. Juli. Zudem wolle CZE Workshops zu möglichen technischen Lösungen und zu vergleichbaren Rechtsakten durchführen.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

23 Ergänzungen

  1. Und wie soll das bei OpenSource Messengern wie BRIAR umgesetzt werden bei welchen es keine zentralen Server gibt weil alles zu 100% dezentral abgewickelt wird ?

    Würde das dann auf ein Verbot sicherer OpenSource Software hinauslaufen sofern keine Überwachungs Backdoors mit eingebaut werden ?

    1. Korrektur: Es liefe, sofern konsequent umgesetzt, auf ein Verbot von Freier und Open-Source-Software insgesamt hinaus, weil das FOSS-Konzept ermöglicht, nicht nur die Backdoors wieder zu entfernen, sondern seine Software von vornherein so zu schreiben, wie man sie haben will – ohne Backdoors –, und weil dieses Konzept es ausschließt, anderen Leuten grundsätzlich die Nutzung, Anpassung und Weitergabe der Software per se zu verbieten, solange diese unter Wahrung der eingeräumten Freiheiten geschehen. Die Pläne der EU sind also nicht nur eine Kriegserklärung an die vertrauliche Kommunikation, sondern auch an Freie und Open-Source-Software.

      1. Leider ja. Denn betroffen sind laut dem VO-Entwurf auch sämtliche Email- und Messaging-Provider, sofern diese öffentlich erreichbar sind. Sogar dann, wenn Chat-Funktionen nur ein Neben-Feature sind, etwa Online-Games. Somit sind auch FOSS Messenger betroffen, sogar dann wenn sie nichtkommerziell betrieben werden. Wie das umsetzbar sein soll, keine Ahnung. Der VO-Entwurf ist formal das Ende des Briefgeheimnis‘ für elektronische Kommunikation.

        1. Umsetzen lässt sich sowas. Freie Lizensierung wird allgemein verboten und jegliche Mittel zur Software-Entwicklung dürfen nur noch lizensierten Profis zur Verfügung gestellt werden — inklusive Entwicklertools im Browser.

          Dass das die Mittel einer Autokratie sind und wir so jegliche Sicherheit verlieren, müsste halt billigend in Kauf genommen werden.

          Die GPL zu verbieten hat Frankreich schonmal versucht.

    2. Dann wird jeder das Projekt Forken oder sie liegen halt im Darknet. Stoppen kann man das nicht wirklich. Aber ja, die Gefahr für Open Source ist definitiv vorhanden.

  2. „Bei der geplanten Chatkontrolle werden Ermittler:innen irrtümliche Treffer sichten müssen, denn selbst die EU-Kommission rechnet mit falschen Alarmen.“

    Das finde ich etwas euphemistisch für „Lüge ist nun Wahrheit“. Womit die Kommission offiziell rechnet, sollte anders als bei Führern von Nuklearnationen, in aller Regel zunächst ignoriert werden. Fachlich ist das klar: Immer alles in die Cloud, mit inakzeptabel vielen falschen Positiven, oder alternativ dazu eine Vorprüfung auf dem Gerät mit apokalyptisch vielen falschen Positiven, dann Upload in die Cloud, die hier dann wohl schlechter sein wird, als wenn immer alles gleich sofort hochgeladen würde (HÖRT, HÖRT), um dann mit absolut inakzeptabel vielen falschen Positiven in Prüferhänden zu landen.

    Dass man das nicht locker aus dem Boden Stampft, selbst wenn man Konzern X ist, zeigen die Beispiele, dass Mitarbeiter dort u.a. Kinderpornos aussortieren müssen (bzw. mussten).

    Ein Selbstläufer diese Kommission.

    1. Vielleicht sollte ihnen jemand verständlich machen,¹ dass es fast garantiert ist, dass dadurch legales, aber hoch kompromittierendes Material über ihre eigenen Familienangehörigen bei dieser Behörde landet.

      ¹: Erklärt wurde es ihnen sicher schon mehrfach.

  3. “Das heißt: „bei 9 von 10 durch das System erkannten Inhalten handele es sich um Grooming.“ […] Das entspricht bei einer Million als vermeintlich auffällig erkannten Nachrichten bereits 100.000 falschen Alarmen. “

    Falls die false negatives gleichzeitig eine ähnliche Größenordnung hätten, wäre das wirklich gut. Ich bin extrem skeptisch, dass die Zahlen einer ernsthaften Auswertung standhalten würden.

    Hier außerdem nochmal kurz zusammengefasst die ganz grundsätzlichen Problem mit client side scanning: https://www.eff.org/deeplinks/2019/11/why-adding-client-side-scanning-breaks-end-end-encryption

    Und es wäre halt leider recht einfach zu umgehen.

    1. 9 von 10 ist apokalyptisch schlecht in diesem Kontext. Das sollen ja nicht nur für die Veröffentlichung gedachte Inhalte sein, d.h. wo ein Prozentsatz der Nutzer nach Kalkül oder mit einer extra Runde Nachdenken herangeht, sondern so ziemlich alles, was irgendwem immer mal so einfällt. 9 von 10 ist bereits auf Facebook oder Youtube ziemlich inakzeptabel. Vielleicht sind die Nutzer aber schon an False Positives der jämmerlichen Audioerkennung gewöhnt.

      1. Nein, 9 von 10 Grooming-Attempts vollautomatisiert zu erkennen wäre bemerkenswert (wie gesagt, unter der Annahme dass false negatives eine ähnliche Größenordnung hätten).
        Ob einem das unter Datenschutzgesichtspunkten immer noch zuviel ist, ich sag mal da lässt sich drüber streiten. Mir wäre das an sich nicht zuviel.
        Die wirklich vernichtenden Gegenargumente sind meiner Meinung nach die oben verlinkten Beieffekte.

        1. In der Tat wäre 10% ALLER Nachrichten als Grooming einzustufen natürlich etwas anderes als wenn 9 von 10 als Grooming eingestuften Nachrichten auch Grooming sind… MOMENT

          Warum Nachrichten, und wie erkennt man Grooming an einem Bild? Haben wir Volltextanalyse mit Bildern und allem drum und dran? Also „mit Kontext“? Abgesehen von der Bösartigkeit des Vorhabens insgesamt, ist es dann natürlich nicht mehr schwierig „9/10“ zu erreichen, weil Grooming schon sehr speziell ist, hier sollte die FALSE-NEGATIVE-RATE mehr interessieren ;).

          Und jetzt das weitere Problem: das System wird alles mögliche mit KIPO erkennen sollen, nicht nur Grooming. Das ist immer noch doppelt inakzeptabel: „mit Kontext“ und auf das einfachere konzentrieren. (Zuzüglich Intrusion…)

          (9/10 allgemein, und nicht nur Grooming, wäre eben doch eher apokalyptisch, bei der Menge mehr oder weniger expliziter Nachrichten. Text- UND Bildscan ist aber noch mal eine andere Kategorie… wird auch „nur Text“ also ohne Bilder gescannt, d.h. wirklich alles?)

          1. Bilder, Texte, Sprachnachrichten, Streams, Telefongespräche, … überall, wo die Kommission festgelegt hat, dass es passieren soll (es gibt keine festen Kriterien, nur abstraktes Risiko), besteht die Möglichkeit, dass es ungefragt „zur Prüfung“ an eine Behörde geschickt wird.

        2. Nein wäre es nicht. Grooming erkennt sich leichter aus dem Kontext als allgemein, was auch immer sich die Gesetzgeberin mit den Gesetzen hierzu gedacht hat.

          Auf Grooming zu fokussieren ist also Ablenkung. Korrekt ist allerdings, dass 9/10 hier mal nicht auf sämtliche Nachrichten bezogen ist (false Positives bzgl. aller Nachrichten), sondern ohne Bezugszahlen genannt wird. Insofern kann man nicht wirklich sagen, was das eigentlich bedeutet. Ich würde mich da auch nicht aus dem Fenster lehnen, und sagen, das wäre doch gut, wenn z.B. nur 11 Beispiele getestet wurden, oder eine bzgl. der Realität insuffiziente Auswahl an Testdaten verwendet wurde, anstelle eines umfangreicheren Tests in der freien Wildbahn.

          Hinzu kommen „Details“, wie denn etwas erkannt wird (Wort und Bild nehme ich an, denn Bild reicht niemals, auch nicht für 9/10), d.h. hier stellt sich die pikante Frage nach der Auswahl des Textes. Wird dann „die ganze Konversation übermittelt“, also z.B. nur dieser Tag, und dann ein Verfahren mit Hausdurchsuchung eingeleitet, obwohl der Chatverlauf vom Vortag den ganzen Sinn komplett umgekehrt hätte?

          1. Womöglich sind die Testdaten nur legal gespeicherte Kommunikation, also strafrechtlich relevante Chats? Oder, um harmlose Inhalte zu haben, hat man öffentliche Unterhaltungen von irgendwo gezogen, oder einfach von Beamten ausdenken lassen?? Oder schlimmer noch: auch die illegalen Chats sind ausgedacht!

            Kontemporäres ist vielleicht gar nicht dabei…

        3. „9/10 passt mir“ ist ohne Quantifizierung sinnfrei. Alleine schon, um zu wissen wie viele tausend Sachbearbeiter sie brauchen, muss hier eine Quantifizierung erfolgen. Natürlich ist allgemein 9/10 unglaublich schlecht, da wird keine Behörde (händisch) mitkommen.
          Seriös wäre auch eine Spezifikation, wie solche Tests mit was für Daten durchgefühhrt werden, natürlich zählt da auch die Quantität.
          Für das Gesamtvorhaben ist auch relevant, welchen Teil Groomingerkennung da überhaupt ausmacht – vermutlich einen Kleinen.

          Für Erna und Klaus ist noch wichtig, dass alle Nachrichten mit ausgewertet werden, aber bei der Begutachtung durch Sachbearbeiter nur ein Ausschnitt vorliegt. Das ist wichtig zu wissen, wenn es an der Tür klopft.

          Und für Rohrschach ist wichtig, dass bestimmt auch gelöschte Nachrichten auf dem Gerät verbleiben werden, falls sie Relevant für eine Strafverfolgung sein könnten? Vielleicht schon Morgen!

          1. >>> Und für Rohrschach ist wichtig, dass bestimmt auch gelöschte Nachrichten auf dem Gerät verbleiben werden, falls sie Relevant für eine Strafverfolgung sein könnten? Vielleicht schon Morgen!

            Eher Vorgestern, siehe Facebook.

        4. Etwas spät, aber hier vllt nochmal ein Beispiel:
          Angenommen, wir machen das pro Nachricht, es gibt sagen wir 500 Millionen Nachrichten pro Tag und vielleicht 5000 Grooming-Versuche.
          „bei 9 von 10 durch das System erkannten Inhalten handele es sich um Grooming.“ heißt, das System erkennt x Versuche mit 0 <= x <= 5556 und y = x/10 false positives mit y dann zwischen 0 und 556.

          In dem Sinn ist meine Formulierung "9 von 10 Grooming-Attempts vollautomatisiert zu erkennen" ehrlich gesagt auch falsch, da etwas anderes als „bei 9 von 10 durch das System erkannten Inhalten handele es sich um Grooming.“. Hatte ich aber natürlich so gemeint.

          Der Hinweis mit den false negatives trifft es auch nicht ganz; ich meinte nicht „bei 9 von 10 durch das System nicht erkannten Inhalten handele es sich nicht um Grooming.“, sondern "9 von 10 Grooming-Attempts werden durch das System erkannt", also die true positives. In dem Fall ergäbe das:
          x = 4500 und y = 500

          Ich schätze, ich melde mich vielleicht doch nochmal zum nächsten Statistikkurs an :(

          Ich sage nur, dass eine vollautomatisierte Erkennung mit dieser Qualität aus technischer Perspektive wesentlich besser wäre als was ich für den aktuellen Stand der Technik halte. Und ja, wenn es nicht so viele schwerwiegende andere Gründe geben würde, die dagegen sprächen, fände ich solche Zahlen (4500 von 5000 täglichen Attemps werden bekannst, 500 Nachrichten werden zu Unrecht mitgelesen, Basiszahlen sind nur ausgedacht aber ich denke die Größenordnung passt halbwegs) überzeugend.
          Da das aber nicht möglich ist, halte ich nichts von dem System und ich teile außerdem alle Skepsis daran, dass diese Zahlen auch nur ansatzweise einer seriösen Evaluation standhalten würden. Das hatte ich aber alles bereits geschrieben. Insofern versteh ich den starken Widerspruch nicht ganz.

          Viele späte Grüße,
          tmp

          1. Klar doch, ok. Formulieren ist schon auch eine Kunst, oder schnell Posts unter Berücksichtigung aller möglichen Ecken und Kanten korrekt zu verfassen …. was auch immer. Bzgl. false negatives hätte auch nachgefragt werden können, wobei das eben kein Forum ist, was das schon etwas erschwert,. bzw. dazu verleiten kann übermäßig prägnant vorzugehen.

            500 pro Tag falsch mitgelesen, wäre im Jahr schon mal eine „größere Stadt mit Grooming“, für deutsche Verhältnisse. Beim Personalaufwand kommen dann alle geflaggten Nachrichten insgesamt dazu, und leider eben auch für alles andere außer Grooming, was das Gesetz eben sonst noch so erfassen soll bzw. wird – letzteres kann man heutzutage ja auch nicht immer mit Gewissheit sagen. Dann sind es auch noch Nachrichtenverläufe, die vom Menschen zu interpretieren sind, nicht nur einzelne Nachrichten. Was auch immer bisherige Systeme da (… in vergleichbaren Kontexten? mit oder ohne Vorauswahl, z.B. bei Ermittlerwerkzeugen aus Übersee…) damit nun gemeinsam haben.

            Die technische Diskussion soll natürlich nicht von den Hauptproblemen ablenken… wäre das System bei perfekter Erkennung akzeptabel (Angriffsoberfläche, Metadaten, Ordnungswidrigkeiten, Futterhoheit, …)… (?) …

  4. Die Realität möge sich also gefälligst dem Willen der EU anpassen!

    Ich sehe bislang auch keine Hinweise darauf, was bei grenzüberschreitendem Sexting passiert. Ist in einem Land das Gesetz schärfer als im anderen ist der/die nächste 15-jährige in der Pedophilen-Datenbank, weil sie der/dem gleichaltrigen Freundin/Freund ein Nacktbild geschickt hat. Na, dann noch ein schönes Erwachsenen-Leben! (gelöscht wird schließlich nix! und basta!)

  5. “ In ihrer Antwort verweist die Kommmission erneut auf die Angestellten im geplanten EU-Zentrum, die falsch-positive Treffer prüfen würden. Und: „Algorithmen könnten entsprechend trainiert werden“. “

    Vielleicht interpretiere ich da zu viel hinein, aber für mich klingt es so, als würde man die EU-Algorithmen dann fröhlich mit den Daten von Unschuldigen füttern, um diese so zu verbessern. Man ist also als junge(r) Bürger*in gerade noch als Datenlieferant für zukünftige Überwachungsalgorithmen gut. Speichert man die falsch-positiven Bilder dann vielleicht auch noch dauerhaft, damit man auch neue Algorithmen schnell antrainieren kann???
    Naja, den „Rohstoff der Zukunft“ (Daten) kann man eben auch durch Raubbau gewinnen.

    Wiedemauchsei: Ursula, mir grauet’s vor dir!

    1. Nö, das ist einfach die Magie des Blöden.

      Client-side-scan und alles ist gut… haben wir doch schon bei Minecraft (Kontext: Anti Cheat) u.ä. gehört. Servernetzwerkbesitzer ganz vorne mit dabei.

      Und wenn es in der Konfiguration kein Feld für „False Positives Off“ gibt, dann weiß man doch aus der Werbung, dass mit noch mehr Daten trainiert werden kann für „besser“ (hier Unschuldige mit rein), also diese Netzwerke trainierbar sind, so quasi beliebig. Die Werbesprüche kennen wir doch schon von Minecraft (Kontext: …), alles direkt erkennen, und Machine Learning kann ALLES. Ist ja auch compelling und so, hat nur gewisse Haken, wenn man dafür z.B. die Firewall abstellt o.ä.

      Fachlich haben wir da (fast) nichts in der Hand. Hier führt die Werbung, und Europa soll folgen.

      1. Hirn, Zukunft und Firewall abgestellt, dazu eine flächendeckende Werbekampagne, die für das Abstellen des Hirns in der Fläche sorgt, und da wir gerade beim Öl sind, auch noch gezielte Retouchierung einzelner herausragender Stimmen.

        So etwa?

  6. Ich finde ja den schlimmeren Punkt, dass die Chatkontrolle überhaupt in Kauf genommen wird.

    „Was uns konstituiert ist uns doch scheißegal! Hauptsache die Schlüsselindustrien sind mit dabei..“

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.