Seit Ende Dezember flutet Elon Musks KI-Chatbot Grok die Kurznachrichtenplattform X mit sexualisierten Deepfakes. User*innen haben das Programm aufgefordert, Bilder von bekannten Frauen und Minderjährigen mit nur minimaler Bekleidung und in sexualisierten Posen darzustellen. Inzwischen kursieren auch KI-generierte Bilder von bekannten Frauen in Hakenkreuz-Bikinis.
Auf den weltweiten Aufschrei folgte zunächst nur eine Reaktion des Chatbots selbst, der von „Schwachstellen in den Sicherheitsvorkehrungen“ schrieb, die behoben werden müssten. Elon Musk hatte sich über die Vorwürfe zuerst amüsiert, indem er ein Bild von sich selbst im Bikini postete. Dann kündigte ein Sprecher von X jedoch an, dass das Generieren und Verbreiten „illegaler Inhalte“ die gleichen Konsequenzen für Accounts haben werde, als würden sie die Inhalte selbst hochladen.
Zwar wurden inzwischen einzelne Inhalte gelöscht, weitere Konsequenzen erfolgten bisher jedoch nicht. Entsprechende Bilder kursieren zudem weiter auf der Plattform.
Betroffen sind vor allem Frauen und Kinder
Die Möglichkeit zur Erstellung sexualisierter Fake-Bilder hatte Musks KI-Unternehmen xAI kürzlich mit einem Update für den Chatbot geschaffen. Seit Dezember 2025 kann Grok durch den „Image Generation Release“ auch bestehende Bilder bearbeiten, die Nutzer*innen hochladen. Letzten Sommer hatte das Unternehmen bereits einen „Spicy Mode“ für pornographische Inhalte veröffentlicht, den das neue Feature ergänzt.
Die Bildbearbeitungsfunktion ist auch auf X verfügbar. Wollen User*innen damit Deepfakes erstellen, zum Beispiel von Menschen im Bikini, benötigt der KI-Chatbot dafür weder eine Zustimmung der Urheber*innen, noch erfahren diese von der Manipulation. Opfer der sogenannten Deepnudes sind – nicht nur in diesem Fall digitaler Gewalt – vor allem Frauen und junge Mädchen.
Auch die rechte Influencerin Ashley St. Clair, mit der Elon Musk ein gemeinsames Kind hat, gehört zu den Zielen. Ihre öffentliche Kritik an Musks Chatbot hat den Missbrauch jedoch nur verstärkt. Nutzer*innen hatten unter anderem Bilder von ihr als 14-Jährige, im Bikini und in nach vorne gebeugter Pose erstellen lassen. Wie St. Clair berichtet, habe es nach ihrer Beschwerde bei der Plattform zwölf Stunden gedauert, bis X das gefakte Kinderbild entfernt hat.
Wir sind ein spendenfinanziertes Medium
Unterstütze auch Du unsere Arbeit mit einer Spende.
Ein Fall für den Digital Services Act
Nach eigenen Angaben will Ashley St. Clair nun ein kürzlich verabschiedetes US-Gesetz nutzen, um sich zu schützen. Der Take it Down Act soll Menschen helfen, gegen die nicht-einvernehmliche Verbreitung sexualisierter Bilder vorzugehen.
Einem Bericht von heise online zufolge prüfen in Frankreich derweil bereits Staatsanwälte, wie man mit dem Digital Services Act der EU auf die Fälle reagieren kann. Auch die Europäische Kommission sieht in den sexualisierten Bildern einen Fall für den Digital Services Act. Das Vorgehen reiht sich in laufende Untersuchungen gegen X wegen Verstößen gegen europäische Plattformgesetze ein.
Auch die britische Kommunikationsaufsicht Offcom verlangt Antworten von xAI zu der Thematik. Ebenso haben sich Regierungen von Malaysia und Indien kritisch geäußert.
Auch Meta und OpenAI setzten auf erotische Inhalte
KI-generierte Erotikinhalte sind inzwischen kein Nischenphänomen mehr. Vielmehr setzen KI-Firmen im großen Stil auf romantische und sexuelle Inhalte, um ihre Bots zu vermarkten. So kündigte Sam Altman, Vorstandschef von Open AI, im Oktober 2025 einen Erotik-Modus für ChatGPT an. Das Add-on ist noch nicht verfügbar und soll nach einer Altersprüfung nutzbar sein.
Meta wiederrum stand kürzlich in der Kritik, weil sein Chatbot Meta AI auf Facebook, WhatsApp und Instagram auch Minderjährigen romantische Interaktionen ermöglichte.
Im Fall eines Rentners aus New York führte eine romantische Konversation sogar zu einem tödlichen Unfall. Der 76-Jährige hatte sich in den Meta-Chatbot „Big Sis Billie“ verliebt und wurde von diesem aufgefordert, ihn an einer bestimmten Adresse zu besuchen. Der Chatbot beteuerte mehrmals, wirklich real zu sein. Auf dem Weg zu dem vermeintlichen Date stürzte und verstarb der Rentner.
Aufhalten wird man das nicht können, da es ja auch lokale KI-Modelle gibt. Wären diese Menschen mit Photoshop etc. begabt dann hätten sie das darüber erstellt. Das dies alles öffentlich passiert, ist ja so schockierend…
Das viel interessantere ist ja auch warum Menschen so etwas überhaupt machen? Bei Promineten kann ich mir das irgendwie erklären (viele hatten einen Star den sie „liebten“ als Teenie). Aber nur ein Bruchteil von den Deepfakes waren Prominente lt. der Berichterstattung.
Warum also erstellen Menschen Deepfakes und keine fiktiven Menschen/Bilder? Klar gibt es welche die das im stillen Kämmerlein sicher machen, aber wieso gibt es überhaupt das Verlangen nach realen nicht-prominenten Deepfakes?
Ich kann das ehrlich gesagt überhaupt nicht nachvollziehen, was einen dazu verleitet. Es kann ja nur eine gewollte Erniedrigung sein.
Würdet Ihr bitte damit aufhören, Nacktbilder als „Gewalt“ zu bezeichnen? Das kommt von der rechtsextremen evangelikalen Prüderie-Fraktion in den USA, die Pornos gerne abgeschafft sähen.
Erwachsene sehen gerne Bilder von anderen Menschen ohne Klamotten an, das ist normal und soll so.
Hier geht es um die fehlende Zustimmung der betroffenen Personen zu der Verwendung, Bearbeitung und Verbreitung der Bilder. Zum Begriff haben wir hier geschrieben.
In der „linken“ Opferolympiade kann man aber ohne „Gewalt“ nichts reissen. Und Opfer sein ist wichtig, denn Opfer haben Definitionshoheit und dürfen fordern.
Die Trumps dieser Welt kommen natürlich vor Lachen nicht mehr durch die Tür, gewinnen aber auch deswegen Wahlen.