OpenAINeues Werkzeug soll KI-generierte Bilder erkennen

Ein neues Tool von OpenAI soll erkennen können, ob ein Bild echt ist oder mit dem Bildgenerator DALL-E erstellt wurde. Etwas ähnliches hat das gehypte Unternehmen bereits für seine KI-generierten Texte versprochen – und ist daran gescheitert.

Mann im Anzug bekommt Mikto vors Gesicht gehalten
Der echte OpenAI-Chef Sam Altman bei einem Termin vergangenen September im US-Kongress. – Alle Rechte vorbehalten Imago / Jack Gruber

Das KI-Unternehmen OpenAI arbeitet an Technologien, um Bilder zu erkennen, die mit seinem populären Generator DALL-E 3 erstellt werden. Das Werkzeug ist Teil eines größeren Pakets von Maßnahmen, mit dem das Unternehmen kurz vor der US-Wahl dafür sorgen will, dass sich seine KI-generierten Inhalte auch als solche erkennen lassen. Werkzeuge wie DALL-E haben es sehr einfach gemacht, täuschend echte Bilder zu erstellen. Fachleute fürchten, dass solche Bilder, Videos oder Tonaufnahmen in anstehenden Wahlkämpfen zur Gefahr werden.

In einem Blogpost schreibt OpenAI, es werde den neuen Detektor zunächst mit Forscher:innen teilen. Diese sollen das Werkzeug testen und Rückmeldungen geben, wie es verbessert werden kann. In internen Tests soll der Detektor bereits mehr 98 Prozent der Bilder von DALL-E 3 richtig erkannt haben. Gleichzeitig schneidet das System laut OpenAI schlechter ab, wenn es darum geht zwischen Bildern von DALL-E und Produkten der Konkurrenz zu unterscheiden, etwa von Stable Diffusion oder Midjourney.

Neuer Standard soll Fakes markieren

In der gleichen Mitteilung sagt OpenAI, es sei dem Lenkungsausschuss der „Coalition for Content Provenance and Authenticity“ beigetreten. Das Gremium, in dem andere Tech-Konzerne wie Adobe, Microsoft, Meta und Google sitzen, arbeitet an einem gemeinsamen Standard zur Beglaubigung von Medieninhalten. Er soll für Bilder, Videos und Ton-Dateien Informationen dazu liefern, wann und mit welchen Werkzeugen sie erstellt wurden. Im Falle eines mit DALL-E 3 generierten Bildes steht dann etwa in den Metadaten der Datei: „Verwendetes KI-Werkzeug: DALL-E“.

OpenAI fügt diese Daten bereits seit Anfang des Jahres automatisch in Inhalte ein, die mit seinen Systemen ChatGPT und DALL-E erstellt werden. Auch in Videos aus dem bislang nicht veröffentlichten System Sora sollen die Metadaten enthalten sein. Nachrichtenorganisationen und Forscher:innen sollen dadurch schneller erkennen können, woher ein Bild stammt.

Allerdings lassen sich solche Metadaten aus Dateien auch leicht wieder entfernen. Wer mit einem Bild, Video oder einer vermeintlichen Tonaufzeichnung bewusst täuschen wollte, würde sie wohl kaum in der Datei belassen. Sie eignen sich nicht, um zu belegen, ob ein Inhalt echt oder KI-generiert ist.

Das weiß auch OpenAI und schreibt: „Menschen können immer noch betrügerische Inhalte ohne diese Informationen erstellen (oder sie entfernen).“ Das Unternehmen plädiert dennoch dafür, solche Standards zu etablieren. Wenn sich die Metadaten erst mal etabliert hätten, würden Menschen misstrauischer gegenüber Medien, bei denen sie fehlten.

Unternehmen im Wahljahr unter Druck

OpenAI reagiert mit seiner Ankündigung auch auf den wachsenden Druck. In den USA stehen dieses Jahr Präsidentschaftswahlen an. Forscher:innen weisen darauf hin, wie gefälschte Inhalte im Wahlkampf eingesetzt werden, um den Ausgang der Wahlen zu beeinflussen. Im Kongress wurden mehrere Gesetzentwürfe eingebracht, die auf KI abzielen, bislang steht aber kein Gesetz kurz vor der Verabschiedung.

Anderswo hat die Politik den Druck schon erhöht: In der EU verpflichtet etwa die neue KI-Verordnung alle Anbieter von KI-Systemen zur Transparenz: Wer Werkzeuge anbietet, mit denen man Bild-, Audio- oder Videoinhalte erzeugen kann, „die Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen deutlich ähneln und fälschlicherweise den Anschein erwecken, authentisch oder wahrheitsgetreu zu sein“, muss diese Inhalte klar kennzeichnen. Das gleiche gilt auch für Plattformen, die solche Inhalte verbreiten.

CEO Sam Altman reiste im vergangenen Jahr um die gesamte Welt, um mit Politiker:innen über OpenAIs Technologien zu sprechen. In der EU konnten die Lobbyist:innen des Unternehmens immerhin erfolgreich verhindern, dass die neuen Regeln für den Einsatz von Künstlicher Intelligenz allzu strikt mit Basismodellen umgehen, die auch die Grundlage von OpenAIs Text- und Bildgeneratoren sind.

Frühere Versuche sind gescheitert

Mit den Ankündigungen dieser Woche signalisiert OpenAI so seine Bereitschaft, der Gefahr selbst entgegenzutreten, die von seinen Werkzeugen ausgeht. Ob das auch gelingt, ist eine andere Frage: In der Vergangenheit ist OpenAI bereits einmal damit gescheitert, die Inhalte aus einen eigenen Generatoren verlässlich zu erkennen. Einen Detektor, der Texte aus ChatGPT von menschlichen Texten unterscheiden sollte, hat das Unternehmen vergangenen Sommer beerdigt: Die Erkennungsquote war zu schlecht.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

4 Ergänzungen

  1. > Das Unternehmen plädiert dennoch dafür, solche Standards zu etablieren. Wenn sich die Metadaten erst mal etabliert hätten, würden Menschen misstrauischer gegenüber Medien, bei denen sie fehlten.

    Wenn das so ist, füge ich doch mal ein paar Metadaten ein. Wird sich zwar eh niemand ankucken, da die große Masse ja noch nicht mal weiß was Metadaten sind. Aber kann ja nicht schaden.

  2. Sollte der Detektor wirklich irgendwann zuverlässig funktionieren dann wird eines der wichtigsten Anwendungsbereiche wohl sein zu erkennen ob ein Missbrauchsmaterial echt oder generiert ist. So kann die Strafverfolgung sich die Ressourcen sparen, welche in eine Identitätsfeststellung fließen würde.

  3. Für eigene Texte könnten die eine Datenbank machen :p, aber der Anspruch ist sicherlich, auch Abänderungen zu finden.

    Das mit dem Watemarking halte ich für Quatsch /-ig, weil Menschen als nächstes „Inspiration“ von KI-Texten empfangen, und dann hat man am nächsten Tage einfach nur alles zubetoniert. (Andererseits… wäre eine Erkennung ja ganz nett. Aber Open-Source. Hier gibt es keinen Weg ohne Open-Source. Das Potential von KI in kommerziellen und organisierten Händen ist bereits hoch Problembehaftet, am Besten also noch die Hoheit der Erkennung? Womöglich nach dem gleichen Prinzip „siehe da, es funkioniert“! Dann lieber Todd Howard…)

    1. Anspruch: und das für Texte der Konkurrenz. Hinauszögern der Trainingsdatenapokalypse (für welches System dann auch immer). Im Moment hebeln wir massiv Müll…

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.