TikTok und Instagram kommen ihren Pflichten zur Kennzeichnung von KI-generierten Videos nicht ausreichend nach. Auf TikTok dominieren zudem synthetische KI-Videos die Suchergebnisse zu populären Hashtags. Zu diesem Schluss kommt die europäische gemeinnützige Organisation AI Forensics in einer neuen Studie zur Verbreitung von KI-generierten Inhalten auf den beiden Plattformen.
Die Studie untersucht sogenannten AI Slop. Gemeint sind damit massenproduzierte, KI-generierte Inhalte, die „bizarr und sinnlos“ wirken durch ihre Kombination aus fotorealistischem Stil und unrealistischem Inhalt. AI Forensics hat analysiert, wie viele der Suchergebnisse zu den 13 populärsten Hashtags auf TikTok und Instagram AI Slop sind. Dazu betrachteten die Forscher*innen Suchergebnisse zu #Trump, #History oder #Pope mit einem geografischen Fokus auf Deutschland, Spanien und Polen.
Das Ergebnis: Sucht man nach diesen Hashtags auf TikTok, so seien von den obersten 30 Suchergebnissen 25 Prozent AI Slop. Auf Instagram ist die Anzahl deutlich geringer mit nur zwei Prozent. Von den KI-generierten Videos sind rund 80 Prozent fotorealistisch, das heißt sie sehen aus wie echte Videos. Dadurch würden sie noch trügerischer wirken.
Nicht nur Unterhaltung
Als Beispiel für AI Slop führt AI Forensics Shrimp Jesus an, eine Mischung aus Meerestieren und Jesus, die vergangenes Jahr in den Feeds von Facebook-Nutzer*innen für Irritation sorgte. Zugleich habe AI Slop auch desinformative Elemente. So identifizieren die Forscher*innen eine Kategorie von AI Slop, die sie „synthetischen Bürger-Journalismus“ nennen. Gemeint sind etwa Videos von Explosionen, die wie Amateur-Clips aussehen, aber ebenfalls generiert sind.
Ähnlich irreführend würden KI-generierte Straßeninterviews wirken, die einen vermeintlichen Regierungssturz in Iran kommentieren. Auch Videos von Politiker*innen mit falschen Aussagen hat AI Forensics laut der Studie gefunden.
Kennzeichnung reicht nicht aus
Um diesem trügerischen Effekt entgegenzuwirken, schreibt die KI-Verordnung (AI Act) der Europäischen Union Plattformen in solchen Fällen eigentlich Transparenz vor: Sie müssen KI-generierte Inhalte kennzeichnen. Dabei stützt sich die KI-Verordnung auf das Gesetz über Digitale Dienste (Digital Services Act), das vorschreibt, dass große Plattformen gegen gesellschaftliche Risiken vorgehen müssen. AI Forensics weist darauf hin, dass auch die Kennzeichnung von KI-generierten Videos dazu zähle.
Sowohl TikTok als auch Instagram kämen der Kennzeichnungspflicht nicht nach, so die Studie. TikTok gibt die Verantwortung zur Kennzeichnung von KI-generierten Inhalten an Nutzer*innen weiter und verpflichtet dazu in ihren Guidelines. Das sei nicht verlässlich genug und auch die automatisierte KI-Erkennung funktioniere nicht lückenlos, so AI Forensics.
Von den als AI Slop identifizierten Videos auf TikTok war demnach nur rund die Hälfte als KI-generiert gekennzeichnet. Auf Instagram war es noch weniger mit 23 Prozent, obwohl auch Instagram Nutzer*innen zur Kennzeichnung verpflichtet und eine automatisierte KI-Erkennung einsetzt.
Zudem seien die Kennzeichnungen schlecht sichtbar gewesen: Auf TikTok wurden sie in einer langen Liste aus Hashtags versteckt und in der Instagram-Desktop-Version wurden sie gar nicht angezeigt. netzpolitik.org hat die Kennzeichnungen überprüft und kommt zum gleichen Ergebnis.
Verbreitung läuft automatisiert
Hinter der Verbreitung des AI Slops würden fast vollständig automatisierte Accounts stecken, so AI Forensics. 80 Prozent des AI Slops auf TikTok wurde demnach von Profilen hochgeladen, die generative KI-Werkzeuge einsetzten „für automatisierte Inhaltserstellung und schnelles, repetitives Testen von Plattformalgorithmen und Publikumsinteressen“. Diese Massenproduktion von Inhalten ziele darauf ab, Algorithmen auszuspielen und die Chancen für Videos mit einer hohen Reichweite zu erhöhen. AI Forensics sagt voraus, dass dieser Prozess mit der Hilfe von KI-Agenten vollständig automatisiert werden könne.
Die Studie fordert Plattformen auf, diese Art von automatisierten Accounts zu regulieren, um eine weitere Eskalationen und „Manipulationskampagnen“ zu verhindern. Auch sollen Plattformen sich an ihre Verpflichtungen zur Kennzeichnung von KI-generierten Inhalten halten und eigene Regelungen stärker durchsetzen.
Oh ja! Das ist Jesus! Ich erkenne ihn wieder! Mit seinen zwölf Finger gewann er immer beim Mormeln.
Ich bin mit dem Begriff „Slop“ nicht einverstanden, weil das Bubble Speech aus 4chan ist, in dem bekanntlich eine toxische Atmosphäre herrscht.
Da bevorzuge ich lieber den Begriff ‚KI/AI minderer Qualität‘, als denen anzugehören.
„Da bevorzuge ich lieber den Begriff ‚KI/AI minderer Qualität‘, als denen anzugehören.“
Nein. „Die KI“ macht genau, was der Artikel beschreibt. Wenn man anfängt zu differenzieren, steckt gegebenenfalls Arbeit dahinter, appropriat gewählte Machinelearningsysteme, was auch immer. Aber der wesentliche Effekt in den Social Media entspricht der Route zur Hauptbefürchtung: Bulimia Lookalike Shit Planet
Die Technologie ist nicht vom Massenaspekt zu trennen. Da gehört also Werbung und Müll dazu. Was der Artikel beschreibt ist was „die Technologie“ macht.
Das Unglück von Laura Dahlmeier ist auch ein Beispiel. Wenn man auf Youtube nach Uploaddatum sortiert, sieht man, dass unglaublich viel Ranz, Müll und Böses kommt.
Das soll man als Minderjähriger natürlich auch nicht machen. Da wird dann kolportiert, Huber hätte Dahlmeier getötet u.a., und die Thumbs suggerieren die Stelle des Todes mit verpixeltem Mensch.
Die Richtung mit „Ermittlungen“ und Anschuldigungen sehe ich erst seit kurzem.
Wobei die Inhalte durchaus oft eine Zusammenstellung der Meldungen darstellen. Bei Stichproben jedenfalls, waren vor allem das Thumbnail und der Titel reißerisch, Fehlinformation bis bösartig. Typisch wie „letzte Worte von X“, Bild suggeriert „von der Unfallstelle“ zu sein, mit verpixeltem Mensch, sowie wie beschrieben u.a.
Oftmals algorithmen-affin langatmig, nie auf den Punkt kommend gestaltet. Dabei wird dann z.T. bösartig langatmig das Thema gewechselt, aber alles innerhalb der wiedergekäuten Medienmeldungen. „Fast auf irgendeinen Punkt gekommen“…