Deepfake-SkandalEU-Kommission leitet Untersuchung gegen Grok und X ein

Nach einer Flut sexualisierter Grok-Deepfakes auf X prüft nun die EU-Kommission, ob Elon Musks Unternehmen gegen den Digital Services Act verstoßen haben. Erste Studien liefern derweil Details über das Ausmaß der produzierten sexualisierten Bilder.

Die EU-Kommission prüft, ob X gegen den DSA verstößt. (Symbolbild) – Alle Rechte vorbehalten IMAGO / NurPhoto

Am Montagmittag hat die EU-Kommission ein weiteres Verfahren gegen den Kurznachrichtendienst X eingeleitet. Dabei will sie prüfen, ob das eng mit dem KI-Chatbot Grok verzahnte soziale Netzwerk gegen den Digital Services Act (DSA) verstoßen hat. Der Kommission zufolge ist unklar, ob der Online-Dienst vor dem Ausrollen des Produkts damit verbundene Risiken untersucht hat.

Musks Plattform X ist mit dem integrierten KI-Chatbot zuletzt stark in die Kritik geraten, nachdem dieser auf Nachfrage von Nutzer*innen ungefiltert sexualisierte Bilder von Frauen und Kindern auf X veröffentlicht hat.

Nachdem X lange untätig blieb, hatte das Unternehmen am 9. Januar angekündigt, die Funktion zahlenden Nutzer*innen vorzubehalten. Am 14. Januar kündigte X dann weitere technische Maßnahmen an und schränkte die pornografische Bildgenerierungsfunktion nach eigenen Angaben für alle Nutzer*innen ein. Für andere Zwecke soll das Bildfeature jetzt nur noch zahlenden X-Nutzer*innen offen stehen.

Erst am vergangenen Dienstag hatte das EU-Parlament über KI-Deepfakes in sozialen Medien debattiert. Kurz danach haben mehr als fünfzig Abgeordnete in einem Brief die EU-Kommission zu konsequenterem Vorgehen im Falle Grok aufgefordert.

X muss Nachweise liefern

Nun muss die Plattform vor der EU-Kommission Rechenschaft ablegen, ob es der gesetzlich vorgeschriebenen Risikobewertung und -minderung nachgekommen ist. Solche Berichte sollen potenzielle „systemische Risiken“ aufdecken, die von Online-Diensten ausgehen können. Sollte X vor der Integration von Grok keine Folgenabschätzung vorgenommen haben, könnten auf X hohe Geldbußen zukommen.

Wir sind ein spendenfinanziertes Medium

Unterstütze auch Du unsere Arbeit mit einer Spende.

Dass der Schaden bereits eingetreten ist, führte EU-Digitalkommissarin Henna Virkkunen aus: „Sexualisierte Deepfakes von Frauen und Kindern sind eine gewalttätige, inakzeptable Form der Entwürdigung. Mit dieser Untersuchung werden wir feststellen, ob X seinen gesetzlichen Verpflichtungen gemäß dem DSA nachgekommen ist oder ob es die Rechte europäischer Bürger – einschließlich der Rechte von Frauen und Kindern – als Kollateralschaden seines Dienstes behandelt hat.“

Die Einleitung solch eines Verfahrens ist noch kein Nachweis für einen Verstoß gegen den DSA. Allerdings befähigt es die Kommission zu weiteren Maßnahmen. Sie kann beispielsweise Unterlagen betroffener Unternehmen anfordern, Durchsuchungen vornehmen oder Mitarbeiter*innen befragen.

Neben dem neuen Verfahren hat die EU-Kommission angekündigt, eine seit Dezember 2023 laufende Untersuchung zu verlängern, die sich unter anderem auf die Moderationsfunktion, Maßnahmen gegen illegale Inhalte und Risiken des Empfehlungssystems bezieht. Das Verfahren umfasst zusätzlich die mangelnde Werbetransparenz von X. Dafür verhängte die EU-Kommission Anfang Dezember eine 120-Millionen-Euro-Geldbuße, da die Plattform Vorschriften nicht eingehalten hatte.

Sexualisierte Deepfakes im Millionenfachen

Inzwischen haben mehrere Organisationen die Tragweite der Vorfälle untersucht. Die britische NGO Center for Countering Digital Hate (CCDH) schätzt etwa, dass im Zeitraum vom 29. Dezember bis 8. Januar über 4 Millionen Bilder generiert wurden. Davon sollen rund 3 Millionen sexualisierter Art gewesen sein, auf rund 23.000 Bildern sollen Kinder dargestellt worden sein.

Die NGO AI Forensics kommt zu ähnlichen Ergebnissen. Bis zum 1. Januar waren mehr als die Hälfte der generierten Bilder sexualisierte Deepfakes. Nachdem X am 14. Januar technische Einschränkungen vorgenommen hatte, sei der Anteil sexualisierter Bilder auf unter 10 Prozent gefallen.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

0 Ergänzungen

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.