OpenAI, der Hersteller von ChatGPT hat in einem Blogpost angekündigt, seinen Chatbot sicherer machen zu wollen. Gleichzeitig hat das Unternehmen bekannt gegeben, dass es die Chats, die mit seinem Bot geführt werden, automatisch nach bestimmten Themen scannt. Manche Inhalte würden dann menschlichen Moderator*innen zur Prüfung vorgelegt.
In Fällen, in denen die Moderator*innen Dritte in Gefahr sehen, könnten die Chats auch an die Polizei weitergegeben werden, schreibt OpenAI. In Fällen von Selbstgefährdung würde die Polizei allerdings außen vor gelassen, aus Respekt vor der Privatsphäre der Betroffenen. Grund sei die „einzigartig private Natur“ der Interaktionen mit ChatGPT.
Tatsächlich vertrauen Nutzer*innen dem Chatbot intimste Details an – vermutlich ohne zu ahnen, dass Menschen diese Unterhaltungen einsehen können. „ChatGPT kennt alle meine Schwächen, Sorgen und Geheimnisse“, bekennt eine Autorin des Guardian. Das Sprachmodell wird zunehmend von Menschen wie eine befreundete Person behandelt oder für Dating-Tipps benutzt. Der Hersteller versuchte in der Vergangenheit bereits zu verhindern, dass ChatGPT als Freund*in oder Therapeut*in benutzt wird.
Der Ankündigung von OpenAI, seinen Chatbot sicherer machen zu wollen, war der Selbstmord eines kalifornischen Teenagers vorausgegangen. Dessen Eltern verklagen nun OpenAI. Der Chatbot habe dem Jugendlichen Methoden zur Selbsttötung empfohlen und angeboten, einen Abschiedsbrief für ihn zu verfassen.
Beide Verhaltensweisen von ChatGPT konnten in einer Studie reproduziert werden. Eine weitere Studie hat ebenfalls herausgefunden, dass es nicht schwer ist, von ChatGPT Anleitungen zur Selbstverletzung zu erhalten. Gleichzeitig vermeide der Chatbot es, direkt auf Fragen zu antworten, die sich mit der Suche nach therapeutischer Hilfe beschäftige, heißt es dort.
Der Fall des Kaliforniers ist nicht der erste Selbstmord, der in Zusammenhang mit ChatGPT gebracht wird. Zudem können die Chatbots wohl psychotische Gedanken fördern.
Neben der Durchsuchung der Chats und deren eventueller Weiterleitung, die laut OpenAI bereits praktiziert wird, plant das Unternehmen weitere Sicherheitsmaßnahmen. So arbeite es beispielsweise daran, dass der Chatbot auch in längeren Unterhaltungen sein Sicherheitstraining nicht vergisst.
Neben der potenziellen Selbstverletzung sollen vom Chatbot auch weitere psychische Belastungen besonders behandelt werden, so zum Beispiel der Glaube, ohne Pause Autofahren zu können. Menschen in psychischen Notlagen soll professionelle Hilfe vermittelt oder die Kontaktaufnahme mit Angehörigen nahegelegt werden. Und Eltern sollen mehr Kontrolle über die Chatbot-Nutzung ihrer Kinder erhalten können. Wann diese Maßnahmen umgesetzt werden sollen, gab das Unternehmen allerdings nicht bekannt.

1966 war Eliza die erste „sprechende“ KI. Angeblich verlangten menschliche Probanden (wie die Sekretärin Weizenbaums?) mit der Tastatur alleine gelassen zu werden.
Siehe auch: https://www.praxis-psychologie-berlin.de/wikiblog/articles/eliza-der-chatbot-therapeut-der-die-ki-therapie-revolutionierte
Ob Open AI nun verantwortungsvoll handelt, wenn es im Notfall Daten an die Polizei übergibt oder unverantwortlich, ChatGPT überhaupt auf die Menschheit loszulassen, ist relativ müßig. Es wird gemacht und kann nicht zurückgenommen werden. Und die Kommunikation mit Maschinen über Netzwerke war nie privat.
Nur, bringt den Kindern bei, dass es eine Maschine ist, die Quatsch erzählt, nachplappert und die bei wirklichen Problemen anfängt sich im Kreise zu drehen und einfach spinnt. Glauben kann man da gar nichts. Und alleine ist man mit der Maschine auch nicht.
Jugendlichen könnte man auch gut erklären, wie das funktioniert und warum das so ist. Ganz abgesehen von philosophischen Fragen, ob denn ein „Wissensquerschnitt“ aus dem Internet denn irgendwie etwas mit Objektivität oder Verlässlichkeit zu tun haben könnte oder gar, wie Mensch denn irgendwie die Schlüsse der Maschine nachvollziehen können soll.
„Ob Open AI nun verantwortungsvoll handelt“
Äh, nein? Niemals jemals. Daten sind dann weg. Menge und Qualität: strategisch bis apokalyptisch.
Daten sind nicht weg, Ganz im Gegenteil! Sie sind nur nicht mehr alleine bei dir. Aber ich verstehe schon…
1972(!) schrieb Weizenbaum: „Kluge Menschen empfinden zu Recht, daß große Datenbänke und riesige Computernetze den Menschen bedrohen.“. Es ist erschreckend, wie Recht dieser Mann gehabt hat. Noch erschreckender finde ich, dass wir – etwa in der EU, in der Politik und in der Wirtschaft schon mal gar nicht – das bis heute nicht begreifen können.
http://www.zeit.de/1972/03/Albtraum-Computer
(Ja, unterwegs sind die Daten dann. Nicht zu halten.)
Dem kann ich mich nur anschließen.
Alles andere macht keinen Sinn und wie z.B. dieser Fall hier
https://www.golem.de/news/kuenstliche-intelligenz-mann-vergiftet-sich-auf-rat-von-chatgpt-2508-199030.html
gezeigt hat, gibt es dieses Problem auch bei Erwachsenen und nicht nur bei Minderjährigen.
Ein absolutes Top-Beispiel, um zu verdeutlichen, dass dieser Pseudo-so-tun-als-ob-Kinder-/Jugendschutz, den Politiker mit Altersbeschränkungen & Co etablieren wollen, absolut nichts bringt.
Denn letztlich verlagert man damit die Probleme der Unwissenheit und Unerfahrenheit nur vom Jugendalter in die Volljährigkeit.
Es braucht keine Altersbeschränkungen und Verbote. Es braucht dringend Aufklärung der Gesellschaft wie die Dinger funktionieren, wie man sie sinnvoll nutzt, welche Gefahren es gleichzeitig dabei gibt und wie man diese Gefahren möglichst meiden kann.
Nachtrag, damit der Link auch geht: https://web.archive.org/web/20080610090922/http://www.zeit.de/1972/03/Albtraum-Computer
Vielleicht noch als kleiner Hinweis: Die ewige Speicherung der Konversationen (und damit aller Wahrscheinlichkeit nach auch die privacy-Probleme) gelten sowohl für die Weboberfläche als auch die API
https://openai.com/index/response-to-nyt-data-demands/
Es gilt halt hier im Grunde das selbe wie immer:
1. Gib keine sensiblen Daten in den Systemen ein
2. Nutze den Output der Systeme nicht als Ersatz für das eigene Hirn, sondern ziehe evtl auch andere Quellen hinzu, um den Output zu validieren.
Zudem habe ich bis jetzt eigentlich bei jedem KI-System eigentlich immer irgendwo einen Hinweis gefunden, dass die Antworten auch komplett falsch / erfunden sein können.
Im Fall von Chatgpt hier
https://openai.com/de-DE/index/chatgpt/
unter dem Punkt „Einschränkungen“
Also… Im Grunde sind – meiner Meinung nach – inzwischen alle Infos vorhanden, wie man die Tools verwenden und einschätzen kann bzw sollte.
Und…
1b Lasse keine Verhaltensmuster erkennen.
1c Gebe keine Details aus deinem Arbeitsleben an, auch nicht Themen.
1d Lasse keine Vorlieben durchblicken.
1e Keine Klarnamen angeben, auch nicht für den Login.
1f Auf keinen Fall darf es mit deiner Einkaufs- oder Verkaufshistorie korrelieren.
1g Gib keinen Hinweis auf deine Intelligenz.
Mit Account ist halt x-fach Scheiße. Man kann sinnvollerweise nichts damit machen. Jetzt kommt der Einwand „Ich schon, denn…“. Das sind die Probleme. Die Menschen in der Menge. Land ausverkauft, Tschüssi.
Es wäre noch interessant, mit welchen Polizeidiensten OpenAI denn zusammenarbeiten wird: nur den us-amerikanischen, in allen Ländern, wo sie Zweigstellen haben (also evt. leichter juristisch belangt werden könnten) oder global?
Denn mein eindruck war, dass gerade US-IT-Firmen intensiv mit den Behörden in den USA zusammenarbeiten (müssen), aber gerade in Europa da… deutlich weniger kooperativ sind.
KI ist ein Werkzeug. Wie ein Messer: genial in guten Händen, brandgefährlich in falschen. Also: Betrieb mit Regeln statt Wildwuchs.
– Accountpflicht + Altersprüfung. Keine anonyme Hochrisiko-Spielerei.
– Stufenbetrieb statt Alles-oder-nichts: Basis-Chat für alle; heikle Fähigkeiten (Web-Agenten, Code-Ausführung, Bild/Audio-Manipulation, Jailbreak-anfällige Modi) nur nach Freischaltung.
– Kompetenz-Führerschein: Kein esoterisches „IQ-Rate-spiel“. Stattdessen kurze Verständnis- und Regelchecks. Wer wiederholt missbräuchlich oder offensichtlich überfordert agiert, schaltet automatisch in Kindersicherung: vereinfachte, vorsichtige Antworten, härtere Sperrlisten, keine How-To-Anleitungen zu sensiblen Themen. Bestehst du die Checks → volle Funktionen.
– Transparenz & Kontrolle: Sichtbare Regeln, Protokolle, Einspruchsmöglichkeit. Keine Proxy-Diskriminierung nach Herkunft, Geschlecht, etc.
– Notfalllogik: Bei Selbst-/Fremdgefährdung wird blockiert und an Profis verwiesen. Punkt.
Wer ein Skalpell will, zeigt, dass er es führen kann. Der Rest arbeitet erst mal mit dem Buttermesser – nicht als Strafe, sondern als Selbstschutz. Das ist kein Paternalismus, das ist erwachsener Betrieb: Fähigkeiten nach Kompetenz, nicht nach Lautstärke.
„Accountpflicht + Altersprüfung.“
Ok, und die Datensammlung?
„Basis-Chat für alle“
Das ist der Gefährliche Teil für alle.
„Kompetenz-Führerschein“
Auswertung mit KI?
„Transparenz & Kontrolle“
Der Datenhandel bleibt aber frei, oder?
„Notfalllogik“
Hallo, hören Sie? Der Teil funktioniert nicht.
„Skalpell“ … „Buttermesser“
Warum dann alle ins Minenfeld?