Auf der Plattform X war es seit Ende Dezember möglich, mit dem Chatbot Grok sexualisierte Deepfakes von Erwachsenen und Minderjährigen zu erstellen. Eine Deepfake-Forscherin geht laut Bloomberg davon aus, dass stündlich etwa 6.700 sexualisierte Deepfake-Bilder mittels des Chatbots generiert wurden, die meisten davon von Frauen und ohne deren Zustimmung. Laut dem Bericht wurden solche Bilder auch nach einer Beschwerde-Meldung nicht durch die Moderation der Plattform entfernt. Nachdem die EU-Kommission am Donnerstag angewiesen hatte, dass X interne Dokumente zu Grok aufbewahren muss, hat die Plattform heute die Bildgenerierung eingeschränkt.
Die Plattform X, wie das frühere Twitter heute heißt, wird seit dem Kauf durch den rechtsradikalen Milliardär Elon Musk immer weiter abgewirtschaftet. Zu diesem Absturz gehörte nicht nur das Zusammenstreichen des Moderationsteams und eine Lockerung bei Regeln gegen Diskriminierung, sondern auch die Wiederzulassung zahlreicher rechtsextremer Accounts und die algorithmische Bevorzugung rechtsradikaler Inhalte.
Hinzu kam jetzt die massenhafte Erzeugung von sexualisierten Bildern gegen den Willen von Betroffenen und damit eine Form digitaler Gewalt. Trotz weltweiter Kritik und einer angeblichen Änderung der Plattform lief die Erzeugung der Bilder über Tage weiter.
Missbrauchsbeauftragte: „Verändertes Ausmaß“
Eine Sprecherin der Unabhängigen Bundesbeauftragten gegen sexuellen Missbrauch von Kindern und Jugendlichen bewertet das Generieren von Deepfakes auf X kritisch: „Die niedrige Zugangsschwelle verändert das Ausmaß. Was früher technisches Wissen und verdeckte Netzwerke erforderte, ist heute per Texteingabe möglich.“ Dabei seien die Produkte hochrealistisch. Sie ließen sich kaum von echten Aufnahmen unterscheiden.
„Durch KI-generierte Missbrauchsdarstellungen entsteht konkreter Schaden: Sexualisierung kindlicher Körper, Weiterverbreitung von Gewaltbildern und die Normalisierung einer Täterperspektive“, so die Sprecherin weiter.
Aufgrund der Degradierung der Plattform haben schon in der Vergangenheit zahlreiche Menschen, Medien und Institutionen X in Richtung anderer Plattformen wie LinkedIn, Bluesky oder ins Fediverse zu Mastodon verlassen. Auch die Bundesbeauftragte gegen sexuellen Missbrauch von Kindern und Jugendlichen ließ X im März 2024 zurück und postet dafür in anderen sozialen Medien.
Alles netzpolitisch Relevante
Drei Mal pro Woche als Newsletter in deiner Inbox.
Treue Nutzer:innen trotz Allem
Doch die Bundesregierung wie auch Bundestagsabgeordnete aller Parteien verbleiben immer noch auf der Plattform, sogar nachdem deren Eigentümer den Hitlergruß gezeigt und auf einer Demonstration zu Gewalt aufgerufen hatte. Auch die EU-Kommission unterhält zahlreiche Accounts auf der Plattform, obwohl der Eigentümer sie wüst beschimpft.
Wir haben deswegen exemplarisch beim Innen- und Familienministerium sowie zufällig ausgesuchten Bundestagsabgeordneten aller demokratischen Fraktionen, die X für ihre Kommunikation nutzen, angefragt, warum sie weiterhin auf so einer Plattform posten und ob sie nicht befürchten, dass die Plattform ihrer eigenen Reputation schaden könnte. Zudem haben wir in Brüssel die EU-Kommission gefragt, ob sie Konsequenzen aus den jetzigen Deepfakes zieht.
Abgeordnete von Grünen, Linken und Union zögern
Bei der Linken hatten wir die Vorsitzende und Bundestagsabgeordnete Ines Schwerdtner gefragt. Sie sagte, dass in Partei und Fraktion derzeit Gespräche über den weiteren Umgang mit X laufen würden. „Entscheidend ist, dass wir dabei zu einem gemeinsamen Vorgehen kommen.“ Ob und wann mit Ergebnissen in diesem Prozess zu rechnen ist, sagte Schwerdtner nicht.
Bei den Grünen hatten wir Britta Haßelmann, Konstantin von Notz und Agnieszka Brugger angefragt – und bekamen eine Sammelantwort der Pressestelle der Bundestagsfraktion. Die sagt lediglich, dass es für Politiker immer wichtig sei, den Dialog zu suchen und dafür auch Social Media zu nutzen. „Die Vorgänge auf X sind allerdings zweifellos indiskutabel“, heißt es weiter im Statement. Die Bundestagsfraktion beobachte die Entwicklungen der Plattform schon seit einiger Zeit mit Sorge und diskutiere auch die Konsequenzen in der Fraktion. Wann ein Punkt für Konsequenzen erreicht sei und warum man das Indiskutable diskutiere, sagte die Pressestelle nicht.
„Zunehmend eine Gratwanderung“
Bei der Union hat der Außenpolitiker Roderich Kiesewetter geantwortet: „Ich sehe die Nutzung von X zunehmend als Gratwanderung und bin zwiegespalten.“ Zwar sprächen die Veränderung der Diskussionskultur, die mangelnde Durchsetzung von Richtlinien, die Intransparenz der Algorithmen und auch die Ermöglichung von Deepfakes „eher dafür“ die Plattform zu verlassen, vieles davon treffe aber auch auf andere Plattformen zu.
Als Politiker sei es seine Aufgabe mit Argumenten und Inhalten Bürgerinnen und Bürger von politischen Lösungen oder Einschätzungen zu überzeugen und politisch zu kommunizieren. Solange die Abkehr von bestimmten Plattformen aus rechtlichen oder sicherheitsrelevanten Gründen nicht von Deutschland oder der EU empfohlen werde, setze er darauf, dass die EU durch Durchsetzung von Regelungen den Einfluss behalte.
„Die Gefahr, dass die Reputation leidet, gibt es leider bei vielen Internetmedien, insbesondere rechtspopulistischen, die z.B. Aussagen in seriösen Medien aus dem Zusammenhang reißen, verkürzen und zu Desinformationszwecken nutzen, dies halte ich persönlich für noch viel gravierender“, so Kiesewetter weiter.
Wir sind communityfinanziert
Unterstütze auch Du unsere Arbeit mit einer Spende.
Innen- und Familienministerium mit Standard-Antwort
Dürr fallen die Antworten der angefragten Ministerien aus. Das Bundesinnenministerium (BMI) antwortet auf die Frage, warum es weiterhin auf einer solchen Plattform poste: „Im Rahmen seiner Presse- und Öffentlichkeitsarbeit informiert das BMI auf vielfältige Weise über seine Arbeit und kommt seinem verfassungsrechtlich gebotenen Auftrag nach, Bürgerinnen und Bürger über Regierungshandeln zu informieren.“ Auf die Frage, ob das Ministerium nicht eine Gefahr für seine Reputation in einem solchen Umfeld sehe, antwortet es lapidar: „Die Fortsetzung unserer Präsenzen auf Social Media Plattformen überprüfen wir fortlaufend.“
Eine ähnliche Antwort gibt auch das Familienministerium (BMBFSFJ). Es gehöre zur Erfüllung des Informationsauftrags, in den sozialen Medien mit verlässlichen Informationen präsent zu sein. „Dabei verstehen wir unsere Aktivitäten nicht als Unterstützung der Plattformen, sondern als Erfüllung unseres Informationsauftrages an den digitalen Orten, an denen Menschen sich informieren und austauschen.“ Das Ministerium beobachte „die aktuellen Entwicklungen auf den verschiedenen Plattformen genau“. Dazu gehöre auch, dass das Ministerium fortlaufend kritisch hinterfrage, auf welchen Plattformen es kommuniziere.
Ähnliche Antworten haben die Ministerien seit Monaten und auch schon unter der Ampel-Regierung gegeben.
EU-Kommission will „diversifizieren“
Kommissionssprecher Thomas Regnier sagte auf einer Pressekonferenz auf Nachfrage von netzpolitik.org: „Wir sind noch immer auf X aktiv, aber wir sind dabei, stark zu diversifizieren“. Man sei auf 14 Social-Media-Plattformen aktiv und überprüfe die Social-Media-Präsenz der EU-Kommission regelmäßig, das gelte auch für X.
Ähnlich wie die deutschen Ministerien argumentierte Kommissionssprecherin Arianna Podestà, dass es wichtig sei das „Publikum mit unseren Botschaften zu erreichen.“ Wenn dieses Publikum auf X sei, werde die EU-Kommission dort mit diesem in Kontakt treten.
Die Sprecherin dementierte den Vorwurf eines Journalisten, dass die EU-Kommission X bevorzuge. Was die Zukunft der EU-Kommission auf der Plattform angehe, wollte sich die Sprecherin nicht festlegen: „Nichts ist in Stein gemeißelt. Wir versuchen immer, unsere Präsenz zu verbessern.“
Aber: wie Daniel Günther fast beiläufig bei Markus Lanz sagte, Schleswig Holsteins Exekutive hat sich von Microsoft unabhängig gemacht mit Libre-Office / Open Desk (https://www.opendesk.eu/de) ! Das ist so krass, dass ich es erst geglaubt habe, als man es mir in der letzten CT schriftlich zeigte : )
—
https://www.heise.de/news/Adieu-Microsoft-Schleswig-Holstein-setzt-auf-Open-Source-und-spart-Millionen-11105389.html
Ja, Bayern hat das nicht hingekriegt (es standen zu viele MS-Lobbyisten daneben die gesagt hatten das würde nicht funktionieren..) und somit ist Schleswig-Holstein AFAIK das einzige Bundesland das es bisher wirklich geschafft hat. Vielleicht sollten die „Nordlichter“ mal etwas Entwicklungshilfe im Süden leisten?!
Wir in Bayern bezahlen gerne die Leute aus Schleswig-Holstein (siehe Länderfinanzausgleich), also Danke für dein Angebot einer „Entwicklungshilfe“.
Das zeigt, wie voreingenommen „die Bayern“ von sich sind. Haben Sie mal die Tabelle geguckt, wieviel das ist?
Rechnen Sie mal die bösen Tricks wie Gasstromverkaufweilnichandersgeht raus, setzen sie sinnvolle Netzentgelte an, Strompreisreform, dann ist es (massiv!) andersherum ;). Wenn Sie jetzt noch Korruptionsbekämpfung ernstnehmen, ist Bayern nächste Woche eine Einöde!
Ich habe das Niveau irgendwo in der Mitte versteckt, nicht aufregen.
Gute Idee. Dann bitte auch gleich noch einen Ersatz für den Würtchen-König mitschicken. Danke.
Die Idee dass man durch Verbleib auf X einen gewissen Einfluss auf eine (US!) Plattform hätte, ist zeugt schon in höchstem Maße von kindlicher Naivität.
Es gäbe auch europäische Möglichkeiten – man müsste nur mal einig sein und kollektiv wechseln egal zu welcher Partei man gehört.
Interessant wäre ja, wo sie ausserdem noch zusätzlich ihre Informationen teilen?
Für eine Recherche hatte ich mal Ministeriumsseiten durchgerollt und da fand ich auch die jeweiligen Tweets (ja, ist schon etwas her) gesammelt.
Geht doch.
Dass durch KI-generierte Missbrauchsdarstellungen konkreter Schaden entstehe ist eine Behauptung, die erstmal zu beweisen wäre. Falls dem so wäre, müssten wir uns nämlich über ein Verbot von Krimis, Actionfilmen, „Dark Romance“ Büchern und anderen weit verbreiteten Missbrauchsdarstellungen unterhalten.
Wir reden im Fall von Grok davon, dass existierende Personen von der KI sexualisiert generiert und dann verbreitet werden. Da ist ein realer Schaden da, nämlich für die Menschen, die durch diese generierten Bilder missbraucht werden und plötzlich gefälschte Bilder von sich im Netz finden. Da gibt es nix zu odskutieren und das ist auch nicht mit Krimis vergleichbar.
Karl meint sicherlich das Zitat der Missbrauchsbeauftragten. Da das für mich nach einer allgemeinen Aussage klingt und ich so pauschal auch nicht teile.
„Sexualisierung kindlicher Körper“ das ist z. B. wieder etwas anderes als „Sexualisierung von Kindern“, da auch Erwachsene einen kindlichen Körper haben können. Jemand der so etwas attraktiv findet sexualisiert das gedanklich ohne aktives zutund durch seine bloße Existenz. Genau wie andere XYZ sexuell wahrnehmen. Das ist eben die Realität.
Die Webseite der Missbrauchsbeauftragten ist auch hoffnungslos veraltet, aber ich denke das noch viele nicht bereit sind zu akzeptieren das eine Neigung darauf seit 2022 weder krankhaft noch schädlich ist. Das handeln zählt und das ist für mich hier bei Deepfakes echter Personen erfüllt, aber nicht bei den Gedanken und Fantasien.
A)
„Wichtig ist die Unterscheidung zwischen Pädophilie und pädophiler Störung: […] Eine Pädophilie wird somit erst dann zur diagnostizierbaren Störung, wenn Leidensdruck oder schädigendes Verhalten hinzukommen.“
Schädigendes Verhalten meint alles was reale Kinder involviert:
B)
„Selbstbefriedigung zu Fantasien oder Gedanken fallen nicht unter störungsrelevantes Ausleben, aber auch Verhalten wie die Nutzung von kindlichen Sexpuppen würde das Kriterium des „Sozialversagens bezogen auf durchschnittlich erwartbare Partnerinteressen“ mangels belebter Partner:innen nicht erfüllen.“
Quellen:
A) https://kein-taeter-werden.de/fachkraefte/
B) https://kein-taeter-werden.de/uploads/2021-11-Sexuologie-10-Jahre-Praeventionsnetzwerk-Kein-Taeter-werden.pdf
@Jean
Ich denke das Betroffene solche Fantasien im stillen Kämmerlein häufiger konsumieren als man ggf. annimmt. Find die Quellenangaben daher gut, aber würde jedem empfehlen sich niemals zu outen.
Ein Kinderpfleger hat aus Eigenverantwortung gekündigt, weil er festgestellt hat das er pädophil ist und denke das würden viele aus Angst auch erwarten. Er gab seine Präferenz ebenfalls bei der Agentur für Arbeit als Grund für die Eigenkündigung an, weil er offen und ehrlich zu sich stehen will.
Dieses Outing war Grund genug seine Wohnung zu durchsuchen. Gefunden hat man dann fiktive Bilder und da diese nicht strafbar waren gab es einen Freispruch. Die Zeiten wo die eigene Identität alleine als Anfangsverdacht ausreicht ist wohl doch nicht vorbei. Daher kann ich auch Vorbehalte etc. verstehen, da man durch das extreme Stigma mitreingezogen wird.
Quelle: https://www.come-on.de/luedenscheid/kinderpfleger-bezeichnet-sich-selbst-als-paedophil-prozess-endet-mit-freispruch-94125918.html
Markus, könntest Du erläutern was die Katastrophe an einem „Bikini“ ist. Die meisten Leser dürften die Bilder nicht kennen. Warum ein Bikini automatisch eine Sexualisierung im strafrechtlichen Sinn sein soll erschliesst zumindest denen, die ab und zu in ein Schwimmbad gehen, nicht von allein. Die unzugestimmte Verwendung von Deepfakes ist ein Punkt den man auch ohne die Erotikkeule führen kann und sollte. Deepfakes finden sich auch gefühlt in jedem zweiten Youtube Thumbnail, such mal nach „Drachenlord“ auf Youtube – und offenbar ist es dort auch völlig egal..
Es geht darum, dass diese Bilder ohne Zustimmung entstehen. Ich verstehe nicht, was es nicht daran zu verstehen gibt? Im Einvernehmen können erwachsene Menschen miteinander machen, was sie wollen, ist mir alles total wumpe und absolut OK. Aber ohne Zustimmung Leute nackig oder halbnackig machen, ist einfach ein Übergriff.
Wie Markus schon gesagt hat geht es hier um Deepfakes, also um bearbeitete Bilder von echten existierenden Menschen. Du bist hier also völlig falsch. Keiner sollte so etwas etragen müssen egal ob Frau, Kind, oder Mann.
Aber von „sexalisierter Gewalt“ zu sprechen, wenn Frauen in Bikinis durch die KI dargestellt werden, halte ich für grenzwertig. Wie schaut es aus, wenn man Männer nackt auf Pferde setzt ? Eine Verletzung der Persönlichkeitsrechte liegt eindeutig vor, bei Kindern ggf. noch anderes. Und auch je nach kulturellem Kontext ist das vielleicht anders zu bewerten.
Aber eine westliche Frau im Bikini ? In welchem Jahrtausend leben wir nochmal, um das als Gewalt zu bezeichnen?
Es geht auch beim Bikini um das Nicht-Konsensuale. Ohne Zustimmung echte Menschen nackig oder halbnackig machen, geht einfach nicht.
Ja genau, eine Persönlichkeitsverletzung … das Wort Gewalt ist hier meiner Meinung nach völlig überzogen.
Es geht um den fehlenden Konsens. Wenn es um Satire von Politikern oder bekannten öffentlichen Personen geht, dann geht die Kunstfreiheit für mich vor, aber auch dort haben Deepnudes nichts zu suchen.
Was jemans mit einer fiktiven Person macht ist mir völlig egal. Daher die Frage: wieso verteidigt man hier die nicht-konsensuale Bearbeitung von Bildern fremder Menschen, wenn man auch einfach fiktive Bilder generieren, oder sich Darsteller anschauen kann die das selbst öffentlich posten????
Keiner sollte sich das Recht nehmen über meine Bilder zu entscheiden. Das liegt bei mir!
Das ist verwunderlich!
Wenn man denn herausfindet, dass die Vorgänge auf einer Social-Media Plattform (Zitat) indiskutabel (Zitat Ende) sind und trotzdem den Accuont behält, zeugt das nicht unbedingt von der Wertschätzung der Würde aller Menschen.
Zudem könnte man mal gesagt haben, „wir müssen auch auf diesem Kanal erreichbar sein.“
Aber in Anbetracht der Unreflektiertheit, trotz klarer Anfrage und Ansage, sieht es so aus, als ob man dort nicht „sein muss“, sondern viel mehr dort “ sein will“.
Mitunter ist das, was man nicht sagt noch schlimmer, als das was man sagt.
Mal wieder!
Schon seit dem ersten Tweet wartet man vergebens auf die Einsicht, dass Politik nichts dort zu suchen hat.
Aber wenn ein Agent Orange und sein Marsjunge nur laut genug brüllen, furzt (danke Mark-Uwe, für diese grandiose Tätigkeitsbezeichnung) auch die Weltpolitik fröhlich mit.
„X hat sich in den letzten Jahren nicht nur zur rechten Propagandaschleuder entwickelt“ ich sehe das nicht auf X, keine ahnung wo du das her hast.
Ach, schau wie putzig: „ich habe keine Ahnung“ und „ich sehe das nicht“.
So kann man Egozentrismus auch zur Schau stellen. Aber mal ernsthaft, ist das nur eine bedauerliche defizitäre Einzelmeinung, oder haben solche Formulierungen Methode?
Was soll damit bezweckt werden?
Zitat: „Entscheidend ist, dass wir dabei zu einem gemeinsamen Vorgehen kommen.“
Das ist nicht korrekt. Abgeordnete sind nur ihrem Gewissen verpflichtet. Offenbar haben die aber sowas nicht, weil sie weder begreifen, was sie tun, noch wen sie da unterstützen.
Zitat: wenn nichts aus „rechtlichen oder sicherheitsrelevanten Gründen“ dagegen spricht…
Ah ja, sexualisierte Darstellungen von Kindern durch die KI von Elon Musk ist rechtlich und sicherheitsrelevant okay? Das wird ignoriert, weil Politiker auf X „Wahlwerbung“ machen wollen?
Wie tief kann man sinken?
Ich sehe durchaus auch Gründe, auf einer moralisch korrupten Plattform aktiv zu bleiben: Studien haben gezeigt, dass Gegenrede messbare Effekte gegen Hass und Hetze haben kann (z.B.: https://stophatespeech.ch/blog/neue-studie-zeigt-gegenrede-wirkt-auch-auf-mitlesende). Wenn man den Raum verlässt, wird nicht mehr mit, sondern über einen gesprochen.
Ob jetzt allerdings das bloße Veröffentlichen von Regierungsmitteilungen im Kontext eines sozialen Mediums als „Gegenrede“ gegen Desinformation wirkt, ist allerdings eher zweifelhaft.
Sicherlich müsste man jetzt massiv in europäische Alternativen zu X und anderen US-amerikanisch dominierten und überwachten Anbietern investieren. Nicht nur im militärischen Bereich muss Europa sich den Tatsachen stellen, sondern auch im informationstechnischen Bereich.
„Sicherlich müsste man jetzt massiv in europäische Alternativen zu X und anderen US-amerikanisch dominierten und überwachten Anbietern investieren. “
Ernst gemeinte Frage: Wer soll das nach dem EUGH-Urteil zu dem Russmedia-Fall noch ernsthaft in Erwägung ziehen?
Wenn jeder Nutzer sich in Zukunft ausweisen muss und sämtliche Beiträge vor der Veröffentlichung mittels einer KI geprüft und evtl schon vor der Veröffentlichung blockiert werden sollen.
Mir jedenfalls ist nicht ganz klar, auf wen genau sich dieses Urteil erstreckt. Es ist ja immer nur von „Online Marktplätzen“ bzw „Online Plattformen“ die Rede. Das kann nach meinem Verständnis alles sein.
Sei es Social Media, sei es ein Forum oder sei es nur eine Webseite die irgendwo eine Funktion zur Kommunikation mit anderen beinhaltet.
Ich habe eher das Gefühl, dass mit diesem Urteil das Gegenteil erreicht wurde:
Dass auch viele der kleinen europäischen Anbieter (Foren usw)
damit verschwinden werden und letztendlich nur die Kommunikationsplattformen übrig bleiben werden, die diese Infrastruktur bereitstellen und sich die Abmahnungen leisten können.
Sprich: überwiegend die Großen der USA.
Oder hab ich dieses Urteil falsch verstanden?
Nachtrag: Vielleicht hat aber auch irgendjemand das Russemedia-Urteil besser / anders verstanden als ich.
In dem Fall wäre ich über eine Antwort hier sehr dankbar.
Ne das Russmedia-Urteil ist eine absolute Katastrophe für das Internet, da es im Grunde ein Uploadfilter für alles bedeutet. Das dürfte Foren und kleinere Online-Portale in den Ruin treiben.
Mehr zu dieser Entscheidung im Verfassungsblog, wo anhand vergangener Urteile festgestellt wird das sich der EuGH wohl nicht der Tragweite seiner Entscheidung bewusst war:
https://verfassungsblog.de/eugh-russmedia-digital-uberwachung/
Danke für die Antwort.
Merkwürdig, dass da nicht nur kein größerer Auschrei erfolgt ist, sondern man nahezu nirgends was liest.
Das würde die Trilog-Verhandlungen um die Chatkontrolle dann ja quasi irrelevant machen.
Mit dem Urteil ist sichere E2E-Verschlüsselung nicht möglich.
Schöne neue Welt… Nicht…
Merkwürdig erscheint mir, dass hier schon über Dinge diskutiert wird, über die es in Zeiten des gesunden Menschenverstands nichts zu debütieren gab!