Vor anderthalb Jahren hat die EU-Kommission eine Verordnung zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern vorgeschlagen. Über 80 NGOs kritisieren das geplante Gesetz als beispiellos: „Es soll Internetdienste verpflichten, die private digitale Kommunikation aller Menschen im Auftrag von Regierungen zu durchleuchten.“

Das Gesetz beinhaltet auch die Einrichtung einer neuen EU-Agentur, das EU-Zentrum zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern. Das neue EU-Zentrum soll laut Entwurf der Kommission „eng mit Europol zusammenarbeiten“. Im Verwaltungsrat des EU-Zentrums soll ein Vertreter von Europol sitzen, im Gegenzug soll ein Vertreter des EU-Zentrums dem Verwaltungsrat von Europol angehören.

Wenige Wochen nachdem die Kommission ihren Vorschlag veröffentlichte, besuchte eine hochrangige Delegation der EU-Kommission die Polizeibehörde der EU, um das Gesetz zu besprechen. Monique Pariat, Generaldirektorin bei Innenkommissarin Ylva Johansson, traf dabei auf Catherine De Bolle, Direktorin von Europol, und drei weitere leitende Beamte der EU-Polizei. Wir veröffentlichen das Protokoll des Treffens in Volltext.

Alle Daten weitergeben

Dabei forderte Europol unbeschränkten Zugang zu den Daten, die bei der Chatkontrolle anfallen: „Alle Daten sind nützlich und sollten an die Strafverfolgungsbehörden weitergegeben werden. Es sollte keine Filterung durch das Zentrum geben, da selbst ein unschuldiges Bild Informationen enthalten kann, die irgendwann für die Strafverfolgung nützlich sein könnten.“

Das neue EU-Zentrum spielt eine Schlüsselrolle im geplanten Gesetz. Es soll „Datenbanken mit Indikatoren für sexuellen Kindesmissbrauch im Internet einrichten, pflegen und betreiben, die die Anbieter nutzen müssen, um ihren Aufdeckungspflichten nachzukommen.“ Das Zentrum soll außerdem Verdachtsmeldungen der Anbieter entgegennehmen, prüfen und dann an Europol und die nationalen Strafverfolgungsbehörden weiterleiten.

Der Haushaltsausschuss des EU-Parlaments rechnet mit jährlichen Kosten von 28,5 Millionen Euro „bei normalem Betrieb“ des Zentrums. Die EU-Kommission bezeichnet Europol als „engsten Partner“ des EU-Zentrums und will beide „am selben Standort“ einrichten.

Andere Kriminalitätsbereiche

Beim Besuch der EU-Kommission schlug Europol auch vor, die Chatkontrolle auszuweiten: „Es gibt andere Kriminalitätsbereiche, die von der Aufdeckung profitieren würden.“ Diese sollten ebenfalls ins Gesetz geschrieben werden.

Die EU-Polizei forderte auch, dass Europol und Strafverfolgungsbehörden „KI-Instrumente für Ermittlungen nutzen“ und „Abhörmaßnahmen einsetzen können“. Die ebenfalls verhandelte KI-Verordnung dürfe die Polizei nicht einschränken.

Viele der Vorschläge von Europol stehen im Gesetzentwurf der Kommission. Demnach soll das EU-Zentrum alle Meldungen, die nicht „offensichtlich unbegründet“ sind, an Europol und an die nationalen Strafverfolgungsbehörden übermitteln.

Die EU-Kommission hat auf unsere Fragen zum Treffen nicht geantwortet.

KI und Grundrechtsprobleme

Europol „wies auch darauf hin, dass zum Trainieren von Algorithmen hochwertige Daten benötigt werden“. Das darf die EU-Polizei seit der Europol-Reform im letzten Jahr. Datenschützer wie European Digital Rights kritisieren das Gesetz als „schwarzes Daten-Loch“ und „NSA-ähnliche Überwachungsmaßnahmen“.

Die EU-Polizei hat ein eigenes Forschungs- und Entwicklungszentrum. Das Innovation Lab arbeitet an an einem Tool, „das KI nutzt, um automatisch Bilder und Videos von mutmaßlichem sexuellem Kindesmissbrauch zu klassifizieren“. Der Grundrechtsbeauftragte von Europol, Dirk Allaerts, hat den Vorschlag geprüft, wir veröffentlichen seinen Bericht.

Demnach sieht der Grundrechtsbeauftragte bei der Entwicklung „kein Risiko der Verletzung von Grundrechten im engeren Sinne“. Beim Einsatz dieses KI-Tools „ist jedoch besondere Aufmerksamkeit erforderlich, um zu vermeiden, dass das Instrument verzerrte Ergebnisse, falsch positive oder falsch negative Ergebnisse liefert“. Falsche Ergebnisse könnten „zu Grundrechtsproblemen führen, z. B. zur Verletzung des Rechts auf Verteidigung oder ein faires Verfahren“.

Europol will Informationen erhalten

Wir haben Europol nach seinem Einfluss auf das neue EU-Gesetz gefragt. Zu konkreten Inhalten des Treffens möchte Europol nichts sagen, „Europol äußert sich nicht in der Öffentlichkeit zu internen Sitzungen.“

Die EU-Polizei ergänzt: „Was das künftige EU-Zentrum für sexuellen Kindesmissbrauch betrifft, so wurde Europol zu Recht zu den Wechselwirkungen zwischen dem Aufgabenbereich des künftigen EU-Zentrums und Europol befragt. Unser Standpunkt ist, dass wir relevante Informationen erhalten müssen, um die EU und ihre Bürger vor schwerer und organisierter Kriminalität, einschließlich des sexuellen Missbrauchs von Kindern, zu schützen.“

Von Europol zu Thorn-Lobbyist

Anfang der Woche haben Recherchen das komplexe Lobby-Netzwerk der Chatkontrolle-Befürworter enthüllt. Mittlerweile fordert der Innenausschuss des EU-Parlaments „Klarstellungen und Erklärungen“ von Kommissarin Ylva Johansson. Jetzt können wir berichten, dass auch Europol enge Verbindungen zu den Lobby-Organisationen hat.

Cathal Delaney hat acht Jahre bei Europol in Den Haag gearbeitet. Dort leitete er die Abteilung gegen sexuellen Kindesmissbrauch und arbeitete an einem KI-Projekt zu kinderpornografischen Inhalten. Im Januar 2022 wechselte Delaney den Job. Laut seinem Lebenslauf auf LinkedIn ging er direkt von Europol zu Thorn – der US-Organisation von Ashton Kutcher, die KI-Software zur Bekämpfung von Kinderpornografie entwickelt.

Der Wechsel von EU-Beamten in die Privatwirtschaft muss genehmigt werden, wenn sie im im selben Themenbereich weiterarbeiten. Diese Genehmigung kann verweigert werden, wenn der neue Job „zu einem Konflikt mit den legitimen Interessen der Institution führen könnte“.

Europol hat den Wechsel seines Beamten genehmigt: „Unter Berücksichtigung der von dem Bediensteten vorgelegten Informationen und im Einklang mit dem Europol-Personalstatut hat Europol dem betreffenden Bediensteten gestattet, nach seinem Ausscheiden aus dem Dienst bei Europol Ende 2021 einen Vertrag mit einem neuen Arbeitgeber abzuschließen“.

Bei ehemaligen Kollegen geworben

Im Juni hat Delaney seine ehemaligen Kollegen bei Europol besucht. Auf Linkedin schrieb er: „Ich habe diese Woche beim jährlichen Experten-Treffen von Europol teilgenommen und im Namen von Thorn über unsere Innovationen zur Unterstützung der Opferidentifizierung berichtet.“

Thorn ist auch im Lobbyregister des Deutschen Bundestags eingetragen. Dort steht Delaney als einer von zwei „Beschäftigten, die Interessenvertretung unmittelbar ausüben“. Cathal Delaney hat auf Fragen zu seinem Rollenwechsel nicht geantwortet.

Laut Lobbyregister hat Thorn im Jahr 2021 ungefähr 7 Millionen Euro erhalten. Die meisten der 28 Stiftungen und zwei Privatpersonen sind anonym. Nur die niederländische Postcode Lotterie ist namentlich genannt. Sie hat im Jahr 2020 1,5 Millionen Euro an Thorn gespendet, um „seinen Ansatz und seine Lösungen weiterzuentwickeln und sie weltweit zu verbreiten, um die sexuelle Ausbeutung von Kindern im Internet zu unterbinden“.

Von Europol zu Thorn-Vorstand

Fernando Ruiz Pérez hat neun Jahre bei Europol in Den Haag gearbeitet. Laut seinem Lebenslauf auf LinkedIn leitete er bis vor einem Jahr das European Cybercrime Centre. Anfang 2023 wurde er Vorstandsmitglied bei Thorn. Das postete die Geschäftsführerin von Thorn auf LinkedIn. Europol kommentiert zu Pérez nur: „Der ehemalige Bedienstete hat Europol im April 2022 verlassen.“

Thorn erklärte zu diesen Personalwechseln: „Um sexuellen Kindesmissbrauch in großem Umfang zu bekämpfen, ist eine enge Zusammenarbeit mit Strafverfolgungsbehörden wie Europol unerlässlich. Selbstverständlich respektieren wir jegliche Sperrklauseln beim Wechsel von Mitarbeitern von Strafverfolgungsbehörden zu Thorn. Alles andere wäre ein Verstoß gegen unseren Verhaltenskodex und würde auch die Beziehungen von Thorn zu diesen Behörden beeinträchtigen.“

Im Vorstand von Thorn sitzt auch Neelie Kroes. Sie war 2010 bis 2014 EU-Kommissarin für die Digitale Agenda. Damals erhielt sie in Österreich einen Big Brother Award für das Auto-Überwachungs-System eCall. Heute ist Kroes Unternehmensberaterin, unter anderem für Uber.

Europol und WeProtect

Ernie Allen sitzt ebenfalls im Vorstand von Thorn. Er war 23 Jahre lang Chef der US-Organisation NCMEC. Das „Nationale Zentrum für vermisste und ausgebeutete Kinder“ betreibt eine Datenbank mit Missbrauchsdarstellungen. Deren Zahlen sind allerdings mit Vorsicht zu betrachten.

Allen ist auch Vorsitzender der WeProtect Global Alliance, die „Experten aus Regierung, Privatsektor und Zivilgesellschaft zusammenbringt, um Kinder vor sexueller Ausbeutung und Missbrauch im Internet zu schützen“. WeProtect ging aus einer Verschmelzung früherer Initiativen der Europäischen Kommission und nationaler Regierungen hervor. Sie ist Sammelpunkt für Interessengruppen, die die Chatkontrolle unterstützen und Lobbyarbeit finanzieren.

Auch Europol hat mit WeProtect zusammengearbeitet. „Europol kann bestätigen, dass seit Januar 2021 eine Zusammenarbeit mit der WeProtect Global Alliance stattgefunden hat, unter anderem im Rahmen des WeProtect-Gipfels 2022 und eines Expertentreffens, das von Europols Analyseprojekt [zu sexuellem Kindesmissbrauch] organisiert wurde.“

Dieser Artikel ist Teil einer gemeinsamen Recherche mit Balkan Insight, Solomon, Le Monde, Die Zeit, De Groene Amsterdammer, El Diario, Irpi Media. Einige Autoren wurden durch den IJ4EU-Fonds unterstützt, netzpolitik.org nicht. Eine Version dieser Recherche erschien auf Englisch bei Balkan Insight und auf Griechisch bei Solomon.

Hinweis: Die ursprüngliche Version des Artikels erwähnte eine Spende der Deutschen Postcode Lotterie an Thorn, das war im Lobbyregister des Bundestags angegeben. Dieser Eintrag war falsch, tatsächlich kam die Spende von der niederländischen Postcode Lotterie. Thorn hat den Eintrag korrigieren lassen, das Lobbyregister hat die Seite 17:53 korrigiert. Wir haben den entsprechenden Absatz angepasst.

Hier das Protokoll des Besuchs der Kommission bei Europol aus dem PDF befreit:

• Date: 19 July 2022
• Directorate-General: Migration and Home Affairs
• Unit: Security in the Digital Age

Mission report: Visit of DG Monique Pariat to Europol

Participants

DG HOME: DG Monique Pariat, accompanied by █████████████████████ (HoU D4)

Europol:

• Catherine de Bolle, Executive Director
• ███████████████████████, Deputy Executive Director Operations
• ████████████████, Head of European Cybercrime Centre
• █████████████████, Head of Analysis Project Twins Unit

Summary

Meetings took place in a very positive and constructive atmosphere. It was agreed to continue close cooperation. On the EU Centre on child sexual abuse, participants agreed on the importance and the relevance of the proposal, to keep an eye on resource needs, also on the Europol side, and to work together to communicate on the proposal, including the location of the Centre.

Detailed report

Fight against Child Sexual Abuse

The visit began with a presentation of the work of Europol in combating child sexual abuse, describing a typical investigation and the procedural steps required. The team highlighted the technology savviness of perpetrators in this area and the corresponding need for all MS to have dedicated teams, which not all of them are able to do at the moment. As a result, the team of AP Twins sees different outcomes on the same types of leads, depending on whether MS are able to act on them sufficiently swiftly and competently. (Please also see a scan of key figures attached.)

This was followed by a discussion on Europol’s concerns with the EU Centre. ████████████ mentioned the need to ensure sufficient resources also for Europol to match its new tasks both operationally and in terms of the planned shared resources (HR, communications etc.) ████████████████ highlighted three points:

• the need to ensure that all information received by Member States is also available to Europol („parallel flows“);
• to have one shared database with different access rights for both agencies;
• and in case of conflict there would need to be a way to find a solution built into the governance.

███████████████████████████ mentioned that there are other crime areas that would benefit from detection and suggested that these could be included; he also mentioned the need to ensure that law enforcement including Europol can use Al tools for investigations (to avoid possible limitations by the Al Act) and can use intercept. These points should be added to the proposal still. He also mentioned that all data is useful and should be passed on to law enforcement; there should be no filtering by the Centre because even an innocent image might contain information that could at some point be useful to law enforcement. He also mentioned that quality data was needed to train algorithms.

DG Pariat explained that a global assessment of resources needed for the Centre and Europol would need to be taken into account along the negotiation process, especially with a view to the new MFF, and that the governance of the EU Centre would include Europol. She signalled understanding for the additional wishes expressed by ███████████████ but also flagged the need to be realistic in terms of what could be expected, given the many sensitivities around the proposal, and the need to communicate jointly and coherently on this. ███████████████ confirmed that all information the Centre sent to Member States would be shared with Europol in parallel. She highlighted the fact that the reports received by the EU Centre were not linked to any investigation and that it was therefore not possible to also pass on obvious false positives to law enforcement; on quality data, she also inquired about the sandbox to train algorithms that the JRC had helped Europol set up. Europol stated that this would now be picked up again given a new legal basis.

Participants agreed to coordinate closely on communication around the proposal.

Hier die Einschätzung des Europol-Grundrechtsbeauftragten aus dem PDF befreit:

• Date: 22 June 2023
• Agency: Europol
• Department: Fundamental Rights Officer
• Author: Dirk Allaerts
• EDOC: 1316771v1
• Type: Briefing Note

Non-binding opinion on the innovation lab’s project on CSE image classification

1. Aim

In compliance with article 33a 2a of the Europol regulation, Europol’s Executive Director shall authorise any research and innovation project in consultation with the Data Protection Officer and the Fundamental Rights Officer. Under article 41c 2a of the Europol regulation the Fundamental Rights Officer (FRO) advises Europol where he or she deems it necessary or where requested on any activity of Europol without impeding or delaying those activities.

With this briefing note the FRO advises the Executive Director on a proposition of the Innovation Lab to develop a tool for the classification of CSE images and videos. The FRO has been briefed by the innovation lab on the 9th of June and he received a Research Project Initiation Document (R-PID) on the 16th of June and a data protection assessment on the 19th of June.

2. Assessment

The projects aims at developing a tool that uses artificial intelligence (AI) to classify automatically alleged child sexual abuse (CSE) images and videos. To train the tool the project uses CSE and non-CSE material. The CSE content is provided by NCMEC and the member countries, owner of the information, have given their formal consent to use the data for the project. The project will be developed on a dedicated server within a closed network. Further, very limited persons can access the sensible data, except the data scientist, all staff from AP TWINS, who are used to work with this kind of images.

Because of these precautions, the risk of a violation of fundamental rights sensu stricto (this is without the right to privacy – that is covered by the DPO) at the start of the project is very limited or non-existing. Once developed, the use of the tool can cause fundamental rights issues e.g. the violation of the right to defence or a fair trial if the tool delivers false positives or false negatives. The risk for a false positive can be mitigated by a mandatory human intervention. False negatives are a risk for the rights of the victims and possibly also for the right to a fair trial. This will be much more difficult to mitigate because of the huge volumes of data that prevents a detailed human assessment.

Another risk, as for all Al tools, are the biases. This will need special attention during the development phase. Both CSE and non-CSE data used during this phase have to be assessed so all genders, race and ages are sufficiently present to limit the risk the tool will recognise CSE only for specific races or genders.

3. Conclusions and advice

If this project leads to a positive result it can be very beneficiary for law enforcement. The efficiency of an investigation can be enhanced, but also the wellbeing of the police officers investigating these offences can improve. They will be less exposed to horrific and sensible material.

There is no risk for violation of fundamental rights sensu stricto to run the project. Though during the project special attention is needed to avoid the tool will produce biased results, false positives or false negatives.

4. Way forward

This note is sent to the ED as a non-binding advice, and to the innovation lab for their information.