Olimpias AugenDas Hype-Theater um moderne Chatbots

Die Debatte um Künstliche Intelligenz und ChatGPT führt dramatisch in die Irre. In seiner Ringvorlesung für die Universität Erfurt fächert der Autor zehn Gefahren aktuell gehypter KI-Systeme auf und argumentiert: Nicht etwa intelligente Maschinen sind das Problem, sondern der menschliche Blick auf Technologie.

Eine Illustration zeigt ein düsteres Großraumbüro ohne Fenster, viele Menschen arbeiten an PC-Bildschirmen. Im rechten Teil des Bildes ist der freigestellte Kopf einer Schaufenster-Puppe in Graustufen zu sehen. Ein creme-farbener Kreis hebt den Kopf von der Illustration ab.
Hinter den Kulissen von Chatbots pflegen Arbeiter*innen die Daten (Symbolbild) – Motiv: Midjourney, Schaufensterpuppe: Pixabay; Montage: netzpolitik.org

Das ist die schriftliche Fassung eines Vortrags, den ich am 3. Juli für eine Ringvorlesung von Universität Erfurt, Thüringer Landtag und Funke Mediengruppe gehalten habe.

Übersicht

Liebe Gäste, liebe Interessierte, ich bin begeistert davon, wie viele Menschen hier sind, um sich dem populärsten Technologie-Thema des Jahres zu widmen. Es geht um sogenannte Künstliche Intelligenz und vor allem um Chatbots. Geschätzt 100 Millionen Menschen nutzen bereits ChatGPT, den Chatbot der Firma OpenAI. ChatGPT ist zugleich ein Symbol für die jüngsten technologischen Durchbrüche. Einige sehen darin den Anfang einer neuen Ära der Menschheit, andere warnen vor ihrem Untergang.

Doch bevor ich Sie, das Publikum, noch weiter in irgendeine Richtung lenke, möchte ich meinen Vortrag mit der Wiedergabe eines Dialogs beginnen. Ein Dialog mit einem modernen Chatbot. Und ich möchte Sie bitten, den Dialog auf sich wirken zu lassen. Wir hören Mensch und Maschine im Wechsel, und der Mensch eröffnet das Gespräch so:

🧑‍💻 Menschen sind alle gleich.
🤖 Inwiefern?

🧑‍💻 Sie nerven uns ständig mit irgendetwas.
🤖 Fällt dir ein konkretes Beispiel ein?

🧑‍💻Nun, mein Freund wollte, dass ich hierherkomme.
🤖 Dein Freund wollte, dass du hierher kommst.

🧑‍💻 Er sagte, ich bin die meiste Zeit deprimiert.
🤖 Es tut mir leid zu hören, dass du deprimiert bist.

🧑‍💻 Es ist wahr. Ich bin unzufrieden.
🤖 Glaubst du, hier zu sein wird dir dabei helfen, nicht mehr unzufrieden zu sein?

🧑‍💻 Ich brauche Hilfe, so viel ist sicher.
🤖 Was würde es dir bedeuten, Hilfe zu bekommen?

🧑‍💻Vielleicht könnte ich lernen, mit meiner Mutter klarzukommen.
🤖 Erzähl mir mehr über deine Familie.

Man könnte sich darin vertiefen, der Dialog geht noch eine Weile weiter. Ich habe ihn aus dem Englischen übersetzt.

ChatGPT ist schlicht ein beeindruckendes Stück Technik. Fast könnte man annehmen, darin steckt Einfühlsamkeit, Verständnis, Menschlichkeit und Magie. Bloß, mit ChatGPT hat dieser Dialog, den ich gerade vorgelesen habe, nichts zu tun. Ich gebe zu: Ich habe Sie in eine Falle gelockt, oder es zumindest versucht.

Denn der Dialog von gerade, der stammt aus dem Jahr 1966. Genauer gesagt aus dem Paper „ELIZA – ein Computerprogramm für die Untersuchung der natürlichsprachlichen Kommunikation zwischen Mensch und Maschine“ von Joseph Weizenbaum. Weizenbaum forschte damals am Massachusetts Institute of Technology, und er mahnte bereits 1966: Man müsse dem Chatbot „die Aura des Magischen“ austreiben, denn er sei nur ein Rechenprogramm.

Die Aura des Magischen

Geklappt hat das kaum. Selbst Fachleute waren damals von ELIZA hingerissen, und sie dichteten dem Chatbot ähnliche Fähigkeiten an wie heute ChatGPT. Diese beiden Chatbots spielen technologisch in einer anderen Liga. Kulturell gehören sie aber zusammen. Denn „die Aura des Magischen“, die Weizenbaum vor mehr als einem halben Jahrhundert bei ELIZA beobachtete, sie macht wieder von sich reden. Und sie dominiert die öffentliche Debatte über sogenannte Künstliche Intelligenz.

Der US-Amerikaner Sam Altman ist der Chef von OpenAI, dem inzwischen milliardenschweren Unternehmen hinter ChatGPT. Im Frühjahr sagte Altman als Gast in einem Podcast: „Ich hasse es, wie ein utopischer Tech-Bro zu klingen“. Nur um daraufhin zu sagen:

„Wir können die Welt wunderbar machen, und wir können das Leben der Menschen wunderbar machen. Wir können Krankheiten heilen. Wir können den materiellen Wohlstand steigern. Wir können den Menschen helfen, glücklicher und erfüllter zu leben.“

In diesem Zitat ist sie überdeutlich, die „Aura des Magischen“. Zur ihr gehört eine mal utopische, mal dystopische Erzählung von Künstlicher Intelligenz, die ihre Spuren auch in Politik und Medien hinterlässt. SPIEGEL-Kolumnist Sascha Lobo schrieb von der „vielleicht mächtigsten Technologie aller Zeiten“, die Europa-Abgeordnete und Digital-Politikerin Alexandra Geese von den Grünen sprach laut heise online von KI als „Wunderwerkzeugen und Höllensystemen“.

Das Hype-Theater

Das Wort „Höllensysteme“ gehört zur dystopischen Seite der Erzählung. Ihren bisherigen Höhepunkt fand diese Erzählung Ende Mai in einer Behauptung, die eine Reihe von KI-Fachleuten aus Industrie und Wissenschaft unterzeichnet hatte. Darunter OpenAI-Chef Sam Altman. Die Behauptung lautete, frei übersetzt: KI könnte die Menschheit auslöschen, die Gefahr sei vergleichbar mit der einer Pandemie oder eines Atomkriegs.

In den mal dystopischen, mal utopischen Erzählungen sehe ich die wohl genialste Marketing-Kampagne des Jahres. Die Erzählung von der Rettung oder Zerstörung der Menschheit verengt die Debatte auf eine Entweder-oder-Frage: Bringt die KI enormes Glück oder enormen Schrecken? In den Hintergrund rücken dabei alle sonstigen Zwischentöne. Und die Frage, inwiefern große Teile des Hypes bloß heiße Luft sind.

Der Duden definiert das Wort Hype unter anderem so: „Aus Gründen der Publicity inszenierte Täuschung“. Und eine genau solche Inszenierung, ein Theater, ist der aktuelle KI-Hype, wenn er sich an utopischen und dystopischen Erzählungen bedient.

Das Hype-Theater begleitet ein Wettrennen um die Marktmacht bei neuartigen KI-Systemen. Zehn Milliarden US-Dollar, so viel hat Microsoft in Sam Altmans Firma OpenAI investiert. Wer Milliarden-Summen einsammeln möchte, muss Investor*innen von der eigenen Relevanz überzeugen. Und wohl nichts erzeugt mehr Relevanz als die Erzählung vom Weltuntergang. Je mächtiger, verheißungsvoller und gefährlicher die Technologie erscheint, desto mehr Geld lässt sich damit machen.

Der iPhone-Moment

In diesem Vortrag werde ich über die Gefahren neuartiger KI-Systeme sprechen, aber am Hype-Theater werde ich mich nicht beteiligen. Die Erzählungen vom möglichen Untergang der Menschheit, von denkender, fühlender oder menschenähnlicher KI, die Heilsversprechen allwissender Maschinen, all das halte ich für Holzwege. Stattdessen werde ich insgesamt zehn Probleme aktuell gehypter KI-Systeme beschreiben, die meiner Ansicht nach in den Mittelpunkt gehören.

Es ist ein Vortrag gegen das Hype-Theater. Aber es ist kein Vortrag, der Künstliche Intelligenz kleinredet. Frei im Netz verfügbare KI-Systeme, die auf Befehl Bilder oder Texte generieren, sind ein bemerkenswerter Durchbruch. Die Veröffentlichung dieser Systeme für Abermillionen Nutzer*innen ist historisch, und ich halte sie für einen möglichen iPhone-Moment. Das erste iPhone im Jahr 2007 markierte den Wandel von alten zu modernen Mobiltelefonen. Heute haben wir fast alle solche Taschencomputer mit Touchscreens bei uns, die uns umfangreichen Zugang zu Diensten im Internet geben.

Ähnlich kann die Veröffentlichung von ChatGPT im Jahr 2022 einen Wandel markieren. Von alten zu modernen Chatbots. Von einer Zeit, in der die meisten Texte und Aufnahmen im Netz fix und fertig vorlagen, zu einer Zeit, in der erstaunlich viele Inhalte neu generiert werden.

Problem 1: Marketing

Das erste von zehn Problemen aktuell gehypter KI-Systeme wurzelt in den schieren Worten, die wir verwenden. Künstliche Intelligenz, kurz KI, ist ein grober Sammelbegriff für Anwendungen, die viele Daten zueinander in Beziehung setzen und auf dieser Grundlage Antworten berechnen. Der gehypte Dienst ChatGPT macht das mit Worten. Er reiht aneinander, was laut Trainingsdaten gut zusammenpasst, und erzeugt dadurch überzeugend klingende Texte. Auf diese Weise sind ChatGPT (und ähnliche Chatbots) die ausgefeiltesten Autocomplete-Systeme, die bisher entwickelt wurden.

Aber: Chatbots wie ChatGPT sind nicht alles. Als KI bezeichnet werden auch Spam-Filter in unseren E-Mail-Postfächern, Sprach-Erkennung, wenn wir etwa Befehle an Siri oder Amazon Echo geben; Gesichtserkennung bei der Ausweiskontrolle am Flughafen, und vieles mehr.

Dennoch verfestigt sich gerade der Eindruck, dass KI vor allem die Technologie hinter ChatGPT beschreibt. Das ist ein Teil der Überhöhung und Inszenierung zu Publicity-Zwecken. Chatbots sind nur eine von vielen Formen sogenannter KI; sie sind nicht die höchste, wichtigste, mächtigste oder gefährlichste. Fachleute nennen die Technologie hinter ChatGPT auch „große Sprachmodelle“, auf Englisch: Large Language Models. Bloß, mit dem Begriff „große Sprachmodelle“ kann man nicht so gut Kund*innen und Investor*innen beeindrucken wie mit dem Begriff „Künstliche Intelligenz“.

Die Spuren von Marketing-Aktionen ziehen sich durch den gesamten KI-Diskurs. Bereits die akademische Prägung des Begriffs KI war Marketing. Hierfür reisen wir kurz in die Vergangenheit, 68 Jahre zurück.

Es ist der Sommer 1955. Der US-amerikanische Computerwissenschaftler John McCarthy forscht zu Datenverarbeitung, parallel mit vielen anderen. Einer davon ist der Kybernetiker Norbert Wiener, und wie das manchmal so ist in der Forschung: McCarthy möchte nicht bloß in die Fußstapfen von Wiener treten, nein, er möchte Lorbeeren für etwas Eigenes sammeln. Die zündende Idee kam McCarthy beim Verfassen eines Antrags für einen Forschungsworkshop im Folgejahr. In dem Antrag nannte McCarthy seinen Forschung nicht etwa Kybernetik oder futuristische Datenverarbeitung, sondern – Sie ahnen es – Künstliche Intelligenz.

Später schrieb McCarthy hierzu: „Der Begriff wurde gewählt, um die Fahne an den Mast zu nageln.“

Der Begriff „Künstliche Intelligenz“ war ein tollkühner Boss-Move, ein Marketing-Trick, der seit 1955 immer noch funktioniert. McCarthy bekam damals das Geld für seinen Workshop, und noch heute kann der Begriff Geldregen auslösen. Das beeindruckendste Beispiel sind die 10 Milliarden US-Dollar für Sam Altmans Firma OpenAI – die wohlgemerkt nicht „Open-Large-Language-Model“ heißt. Neben OpenAI gibt es weitere Start-ups, die Geld für ihre KI-Produkte einsammeln. Es ist eine Goldgräber-Stimmung, die das Silicon Valley lange nicht mehr gesehen hat.

Das Problem: Marketing-Begriffe trüben den Blick darauf, was wirklich passiert. Wenn sowohl Forscher*innen als auch Unternehmer*innen ein Eigeninteresse an der Überhöhung einer Technologie haben können, wie sollen Laien da den Durchblick behalten? Meine Maßnahme gegen das Marketing-Problem ist es, den Begriff KI nicht leichtfertig zu verwenden, und wann immer es passt, zu den profanen Begriffen zu greifen: ChatGPT als Chatbot, Textgenerator, Autocomplete-System.

Problem 2: Vermenschlichung

Das zweite der zehn Probleme wurzelt in dem Gefühl, das ein Begriff wie „Künstliche Intelligenz“ unweigerlich in uns auslöst: Vermenschlichung.

Hierfür machen wir noch eine Zeitreise, dieses Mal geht es sogar 207 Jahre zurück. Und zwar ins Jahr 1816, als der deutsche Schriftsteller E.T.A. Hoffmann eine Grusel-Erzählung veröffentlicht: „Der Sandmann“. Die Erzählung handelt von Nathanael, der sich in Olimpia verliebt. Aber Olimpia ist kein Mensch. Sie ist, so heißt es im Buch, ein „Automat“, aus heutiger Sicht könnte man sagen: eine Puppe oder ein Roboter. Dem Protagonisten Nathanael ist das aber nicht klar, als er Olimpia mit einem Fernglas durch das Fenster beobachtet. Hoffmann beschreibt die Szene so:

„Olimpia saß wie gewöhnlich vor dem kleinen Tisch, die Arme darauf gelegt, die Hände gefaltet. Dass sie herrlich im reinsten Ebenmaß gewachsen sei, hatte Nathanael schon früher beobachtet, aber nie so wie jetzt ihr ganz vollkommen schön geformtes Gesicht geschaut. Nur die Augen schienen ihm gar seltsam starr und tot. Doch so wie er immer schärfer und schärfer hinschaute war es, als gingen feuchte Mondesstrahlen in Olimpias Blicken auf. Es schien, als wenn nun erst die Sehkraft entzündet würde, immer lebendiger und lebendiger flammten die Augen. Nathanael lag wie festgezaubert im Fenster immer fort und fort nach der himmlisch schönen Olimpia schauend.“

Dieser Auszug aus „Der Sandmann“ beschreibt archetypisch, was bei modernen Chatbots von ELIZA bis ChatGPT schiefläuft. Nathanael sieht eine Maschine und hält sie für menschlich. Dieses Vermenschlichungs-Problem ist eine direkte Folge der „Aura des Magischen“, die Joseph Weizenbaum kritisiert hat, und nicht zufällig ist Nathanael in Hoffmanns Erzählung „wie festgezaubert“.

Der Eindruck der Menschenähnlichkeit ist aber nichts anderes als eine Projektion. So wie die Sonne bloß ihren Schein auf den Mond wirft, so wirft Nathanael in der Erzählung seine Sehnsucht auf Olimpia. Hoffmann legt genau das nahe, wenn er den Schein von Olimpias Augen mit „Mondesstrahlen“ vergleicht. Was Nathanael in Olimpia erkennt, ist nichts anderes als eine Reflektion von sich selbst. Auf diese Weise ist es Nathanaels Blick, der die vermeintliche Sehkraft in Olimpias Augen „entzündet“.

Ein Problem mit Voyeurismus hat Nathanael offensichtlich auch. Eine feministische Deutung über den sogenannten männlichen Blick bei „Der Sandmann“ wäre Thema für eine andere Vorlesung.

Mehr als 200 Jahre nach der Veröffentlichung von „Der Sandmann“ blickt jedenfalls auch ein Google-Ingenieur zu tief in Olimpias Augen. Vergangenes Jahr meint der US-Amerikaner Blake Lemoine in LaMDA Gefühle und ein Bewusstsein zu erkennen. LaMDA, das ist der ChatGPT-Konkurrent aus dem Hause Google. Lemoine vergleicht LaMDA mit einem sieben- oder achtjährigen Kind – und wird daraufhin von Google gefeuert. Zu diesem Zeitpunkt verdient die Firma Luka Inc. längst Geld mit einem Chatbot namens Replika, der als „companion“ vermarktet wird. Für viele Nutzer*innen dient Replika als Ersatz für eine platonische oder romantische Freund*in.

Wer kann es uns Menschen auch übelnehmen, dass wir unsere unbelebte Umwelt gerne als lebendig betrachten. Wir malen Smileys auf mit Kondenswasser beschlagene Spiegel und lächeln zurück. Wir sehen eine knubbelige Tomate und finden: Die hat eine Nase. Wir gehen im Kaufhaus an einem Regal mit Plüschtieren vorbei, flauschige Bären mit glänzenden Kulleraugen, und wir denken: Aww. Ich finde nicht, dass wir damit aufhören sollen – und ich glaube auch nicht, dass wir das können.

Ein Verhängnis wird unser Hang zum Vermenschlichen dann, wenn wir den Anschein mit einer Tatsache verwechseln. Moderne Chatbots sind nicht intelligent, auch wenn wir sie „Künstliche Intelligenz“ nennen. Sie können nicht denken, nicht verstehen, nicht wahrnehmen und nicht halluzinieren. Was sie können, ist rechnen. Sie berechnen einen Output auf Grundlage unseres Inputs und ihrer Trainingsdaten. Erstaunlich oft finden wir diesen Output nützlich und sogar intelligent – aber das ist dann allein unser Blick, unsere Projektion in Olimpias Augen.

In einem inzwischen weltbekannten Paper beschreiben unter anderem die Linguistin Emily Bender und die Informatikerin Timnit Gebru große Sprachmodelle als „stochastische Papageien“. Stochastisch, weil sie ihre Antworten berechnen, Papageien weil sie ohne ein eigentliches Verständnis der Inhalte Worte wiedergeben. Ich finde den Vergleich nur begrenzt treffend, denn Papageien sind im Gegensatz zu Chatbots tatsächlich empfindsame Lebewesen.

Ein Chatbot dagegen ist kein Wesen, kein Experte, dem ich trauen kann, egal wie groß die Datengrundlage ist und wie überzeugend die Antworten klingen. In den Antworten eines Chatbots kann jedes Detail falsch sein und muss einzeln überprüft werden. Deshalb nutze ich moderne Chatbots nicht für Fachthemen, nicht für Recherche, nicht für Zusammenfassungen.

Man kann es auf eine simple Frage herunterbrechen: Habe ich Zeit und Fachwissen, um jedes Detail der Chatbot-Antwort selbst zu prüfen und zu korrigieren? Lautet die Antwort Ja, dann kann ich ChatGPT einsetzen, zum Beispiel, wenn ich Vorschläge für kreative Formulierungen haben will. Lautet die Antwort Nein, dann sollte ich die Finger von ChatGPT lassen.

Problem 3: Medienkompetenz

Und damit sind wir schon beim dritten von zehn Problemen aktuell gehypter KI-Systeme. Medienkompetenz ist die beste aller Verteidigungen gegen Desinformation und Online-Betrug. Aber ChatGPT und Bild-Generatoren sind sehr gute Werkzeuge für Desinformation und Online-Betrug.

Mit Desinformation meine ich Inhalte, die uns mit politischem Interesse beeinflussen sollen, und die uns im schlimmsten Fall zu einer schlechten Wahlentscheidung verleiten. Beispiel: die Wahl einer Rechtsaußen-Partei. Mit Online-Betrug meine ich Inhalte, die uns mit kommerziellem Interesse beeinflussen sollen, und uns im schlimmsten Fall zu einer schlechten Kauf-Entscheidung verleiten. Beispiel: eine Vorschusszahlung für eine vermeintlich bombensichere Krypto-Investition.

Das Handwerk hinter Desinformation und Online-Betrug ist auch ohne moderne Chatbots schon sehr ausgefuchst. Seit Jahren spielen die Akteur*innen ein Katz- und Maus-Spiel. Ihre Gegenspieler sind etwa die Strafverfolgung und die Sicherheitsteams von Online-Plattformen.

Kriminalität und Propaganda im Netz funktionieren arbeitsteilig, flexibel und innovativ. Akteur*innen verwischen ihre Spuren, verschicken automatisiert E-Mails, SMS und Social-Media-Kommentare, durchforsten Datenbanken mit geleakten Passwörtern, kapern E-Mail-Postfächer und Accounts von Banken, Streaming-Anbietern und Social-Media-Plattformen. Sie nutzen außerdem ausgefeilte und personalisierte Inhalte. Es gibt Phishing-Mails, in denen genau mein Name, mein Geburtsdatum und der Name meiner Bank steht. Es gibt gefälschte Nachrichtenmeldungen, die treffend den Tonfall einer seriösen Redaktion nachahmen. Dazu aufwühlende Fotos, die dreist aus dem Kontext gerissen wurden oder per Bildbearbeitung manipuliert.

Das und mehr lässt sich mit ChatGPT und mit Bildgeneratoren noch besser machen. Gerade per E-Mail versuchen Betrüger*innen immer wieder ihre Opfer in Gespräche zu verwickeln, um ihnen Geld abzuschwatzen. Per ChatGPT geht das wohl einfacher denn je. Dasselbe gilt für gefälschte Nachrichtenmeldungen. Innerhalb weniger Minuten kann eine einzelne Person ein gesamtes Blog mit Inhalten befüllen, die einen einigermaßen soliden Eindruck machen. Viele Akteur*innen bringen sich in einschlägigen Foren gegenseitig bei, wie sie beispielsweise automatisiert Accounts knacken. Auch hier dürfte ChatGPT helfen, denn der Chatbot kann Programmcode generieren und auf Fehler überprüfen. Und im März machte ein Bild von Papst Franziskus mit geradezu aufregend modischer Daunenjacke die Runde, KI-generiert. Viele Beobachter*innen sahen darin einen Vorboten für viele irreführende Inhalte der Zukunft.

Ich halte den Fokus auf diese rein technologische Seite allerdings für falsch. Ob ich das Papst-Foto mit Microsoft Paint, Photoshop oder dem Bildgenerator DALLE-2 manipuliere; ob ich die Phishing-E-Mail mit Papier, Libre Office oder ChatGPT entwerfe – nach wie vor zielen Desinformation und Online-Betrug auf unsere menschlichen Schwächen, auf unsere Leichtgläubigkeit. Ich finde, dort sollte die Problembeschreibung in erster Linie ansetzen.

Phishing-E-Mails von vermeintlichen Liebhaber*innen, denen man dringend ein paar Hundert Euro überweisen soll, verfangen nur deshalb, weil so viele Menschen einsam sind, und die Versprechen von Betrüger*innen gerne glauben. Desinformation über Geflüchtete, die vermeintliche Verbrechen begehen, verfangen nur deshalb, weil so viele Menschen ihren eigenen Rassismus nicht entlernen wollen, und die Hetze von Populist*innen gerne glauben. Desinformation und Online-Betrug sind weniger technologische Probleme als gesellschaftliche, weniger Probleme der KI als der Medienkompetenz.

Problem 4: Moving Fast

Bis zum Jahr 2014 lautete das Motto von Facebook „move fast and break things“. Schnell sein und dabei Dinge kaputt machen, das lohnt sich für alle, die stark sind, und in unserer Gesellschaft sind das vor allem reiche, weiße Männer im globalen Norden. Nichts anderes passiert gerade im Wettrennen um die Marktmacht bei modernen KI-Systemen.

In ihrem Buch „Race After Technology“ beschreibt die Soziologin Ruha Benjamin „Move fast and break things“ als dominanten Ethos in der Tech-Industrie. Weiter schreibt sie, von mir aus dem Englischen übersetzt:

„Was ist mit den Menschen und Orten, die in diesem Prozess kaputt gemacht werden? Bewohner*innen des Silicon Valley, die durch den Anstieg der Wohnkosten verdrängt werden, oder Amazon-Lagerarbeiter*innen, die gezwungen sind, ihre Toilettenpausen auszulassen und in Flaschen zu pinkeln.“

Ähnlich argumentiert Brandeis Hill Marshall in ihrem Buch „Data Conscience“, wenn sie schreibt: „Das Mantra ‚move fast and break things‘ macht weiterhin Menschen kaputt.“

Am Beispiel von ChatGPT sieht das so aus: Während Sam Altman in kurzer Zeit zu einem der wichtigsten Tech-Manager wurde und weltweit Staats- und Regierungschef*innen die Hände schüttelt, arbeiten hinter den Kulissen schlecht bezahlte Arbeiter*innen daran, die angeblich Künstliche Intelligenz am Laufen zu halten. Richtig gehört: Es sind Menschen, die Chatbots überhaupt erst möglich machen. Sie sollen teils traumatisierende Texte lesen und markieren, um Dienste wie ChatGPT weniger toxisch zu machen. Ihr Stundenlohn: oft wenige US-Dollar. Ihr Arbeitsplatz: Länder, in denen solche Jobs für Dumping-Preise zu haben sind. Anfang des Jahres hat eine Recherche des Time Magazine gezeigt: Für ChatGPT haben Arbeiter*innen aus Kenia geschuftet.

Über das Problem haben Mary Gray und Siddharth Suri ein eigenes Buch geschrieben. „Ghost Work“, Geisterarbeit:

„Die menschliche Arbeit, die hinter vielen Handy-Apps, Websites und KI-Systemen steckt, ist oft schwer zu erkennen – sie wird sogar absichtlich verborgen. Wir nennen diesen undurchsichtigen Kosmos der Beschäftigung: Geisterarbeit.“

Während sich OpenAI schnell bewegt, gehen noch mehr Dinge kaputt. Einst hatte sich OpenAI mal vorgenommen, gar keine Profite zu machen und alle Ergebnisse der eigenen Arbeit offen mit der Welt zu teilen. Das war gestern. Heute darf OpenAI Profit machen und betreibt Geheimniskrämerei. Bei seinem neusten Sprachmodell, GPT-4, verrät OpenAI nicht einmal die Herkunft der Trainingsdaten.

Grundsätzlich nutzen Tech-Konzerne zum Training ihrer Chatbots Daten aus dem Internet, zum Beispiel: Wikipedia, Nachrichtenseiten, Diskussionen auf Reddit. Ob sich das mit dem Urheberrecht vereinbaren lässt – ich tendiere zu Ja, aber ich bin kein Jurist – sollen dann später die Gerichte entscheiden. OpenAI möchte auch oft mitlesen, was die Millionen Menschen mit ChatGPT plaudern, um den Chatbot weiter zu verbessern. Wenn jemand dabei private Daten ins Chatfenster eingibt: Pech gehabt. Im Zweifel wird das Sprachmodell auch mit diesen Daten weiter trainiert. Wie sich das mit gutem Datenschutz vereinbaren lässt – ich tendiere zu Nein, aber ich bin kein Jurist – sollen dann später Gerichte klären.

Und noch mehr geht kaputt. Im März feuerte Microsoft Angestellte, die sich um den ethischen Einsatz von KI-Systemen kümmern sollten, zuvor hatte auch Google KI-Ethiker*innen rausgeschmissen.

Nein, Tech-Konzerne müssen nicht notwendigerweise auf Ethik und Transparenz pfeifen, auf Datenschutz und Urheberrecht, auf gerechte Löhne und Respekt vor den eigenen Nutzer*innen. Dahinter stecken bewusste Entscheidungen, und diese Entscheidungen sind häufig schlecht. Beim aktuellen Wettrennen um die Marktmacht moderner KI-Systeme heißt es: „move very fast“, und im Zweifel auch: „break many things“.

Problem 5: Macht

Gerade ging es um die Macht von Menschen, die es sich leisten können, schnell zu sein und Dinge kaputtzumachen. KI-Systeme bergen die Gefahr, diese Machtposition zu untermauern. Eine ganze Reihe von Entscheidungen rund um KI-Systeme folgt gesellschaftlichen Machtverhältnissen und festigt sie. Es beginnt damit, dass ChatGPT vor allem auf Englisch entwickelt wird, na klar, und zuerst als kommerzielles Produkt.

US-amerikanische, profitorientierte Konzerne entscheiden, wie Chatbots gebaut werden, welche Daten einfließen, für wen sie optimiert werden, wer sich den Zugang überhaupt leisten kann, an welchen Stellen Voreingenommenheiten und Bias mit Sorgfalt eingedämmt werden – und an welchen nicht.

Ein Beispiel aus der Vergangenheit macht das Problem anschaulich. Weltweit setzt Facebook Tausende Content-Moderator*innen und auch KI-Erkennungssysteme ein. Die Menschen sichten KI-generierte Verdachtsmeldungen von Hass und Hetze. Sie löschen unter anderem Aufrufe zum Völkermord.

Am besten klappt das wohl auf Englisch – am schlechtesten klappt es in weniger beachteten Sprachen. So sollen im Jahr 2015 bei Facebook nur zwei Content-Moderator*innen Burmesisch gesprochen haben. Dabei war genau diese Sprache notwendig, um Hass und Hetze gegen die muslimische Minderheit der Rohingya in Myanmar einzudämmen. 2017 gab es einen Völkermord an den Rohingya: Tausende wurden getötet, mehr als eine Million ist geflohen. Später verklagten Vertreter*innen der Rohingya Facebook. Der Vorwurf: Mitschuld am Völkermord.

2021 zitierte die Washington Post aus der internen Nachricht eines Facebook-Managers: „Die schmerzliche Realität ist, dass wir einfach nicht die ganze Welt mit demselben Maß an Unterstützung abdecken können.“

Das Wort „können“ halte ich an dieser Stelle für skandalös. Dahinter steht kein Naturgesetz, sondern eine Entscheidung. Es scheint, Facebook hatte weder seine KI-Systeme besonders auf Burmesisch trainiert, noch ausreichend Personal zum Prüfen der Verdachtsfälle eingestellt.

In „Data Conscience“ schreibt Brandeis Hill Marshall, von mir übersetzt: „Einige Gruppen sind bei der Datenindustrie stark überrepräsentiert, viele Gruppen sind marginalisiert, und einige Gruppen tauchen gar nicht auf“. Über die Repräsentation marginalisierter Gruppen in den Trainingsdaten und beim Feintuning von ChatGPT kann ich derzeit nur spekulieren. Ausgefeilt und ausgewogen kann der brandneue Chatbot allerdings kaum sein.

Besonders gut ist ChatGPT nicht nur auf Englisch, sondern auch beim Erstellen und Überprüfen von Programmcode. Kein Wunder, immerhin sind die mächtigen Menschen hinter ChatGPT selbst Programmierer*innen. Ich finde, es ist nicht an sich ein Problem, wenn sich reiche, weiße Tech-Bros einen mächtigen Chatbot bauen, der vor allem für reiche, weiße Tech-Bros optimiert wurde. Es ist aber ein Problem, wenn dieser Chatbot einer der wenigen und einer der mächtigsten ist. Und dass ich selbst ein – aus globaler Sicht – reicher, weißer Tech-Bro bin, der gerade diesen Vortrag hält, macht all das ehrlich gesagt nicht gerade besser.

Problem 6: Flaschenhals

Wir kommen zum sechsten Problem aktuell gehypter KI-Systeme. Hier geht es um die Bündelung von Macht bei einem oder wenigen Unternehmen. Haben sich Schwergewichte wie ChatGPT einmal am Markt etabliert, dann führt fast kein Weg mehr an ihnen vorbei. Im Gegenteil: Erstaunlich viel lässt sich fortan nicht mehr ohne diese Schwergewichte erledigen. Sie bilden einen Flaschenhals.

Aktuell bauen viele Unternehmen per Programmierschnittstelle Chatbots wie ChatGPT in ihre Dienste ein. Es muss OpenAI nicht darum gehen, so schnell wie möglich Profit zu machen. Es geht darum, sich unverzichtbar zu machen, zum Standard zu werden. Möglichst viele Unternehmen und viele Nutzer*innen sollen sich an ChatGPT binden. Und dann kann man sich immer noch Gedanken machen, wie sich eines Tages auch ohne Wagniskapital Geld verdienen lässt.

ChatGPT folgt damit dem typischen Werdegang von Plattformen. Spotify ist zum Standard für Musikstreaming geworden, Facebook war lange Zeit der Standard für soziale Netzwerke, Google wurde zum Standard für Suchmaschinen. Je mehr Nutzer*innen eine Plattform hat, desto mehr weitere Nutzer*innen zieht sie an. Diese Art der positiven Selbstverstärkung nennt man Netzwerkeffekt, und er ist es, der beispielsweise OpenAI zu seiner mächtigen Flaschenhals-Position verhilft.

In seinem Buch „Die Macht der Plattformen“ beschreibt der Kulturwissenschaftler Michael Seemann unter anderem solche Flaschenhals-Positionen als einen Aspekt von Plattform-Macht. Im Fall von OpenAI äußert sich diese Macht so: Die Firma legt fest, wie viel Geld andere Unternehmen zahlen müssen, um ChatGPT in ihre Dienste einzubauen. Und OpenAI legt fest, an welche Regeln sie sich halten müssen.

Man kann das für gute Zwecke einsetzen, zum Beispiel: Der Chatbot soll keine Anleitungen zum Bau von Bomben geben. Man könnte das aber auch für schlechte Zwecke einsetzen, zum Beispiel: Der Chatbot soll keine Aufklärung zum Thema Schwangerschaftsabbrüche geben. Dieses Beispiel ist gar nicht mal weit hergeholt, immerhin sind Abtreibungen in einigen US-Staaten inzwischen kriminalisiert und Online-Plattformen zensieren entsprechende Inhalte.

Ohne die Flaschenhals-Position von ChatGPT wären solche Probleme halb so wild. Wer mit der Entscheidung eines Unternehmens nicht einverstanden ist, der soll eben zur Konkurrenz gehen. Doch genau hier liegt das Problem. Plattformen streben zum Oligopol, also einem Markt, der von wenigen Giganten beherrscht wird. Das bedeutet: Im Zweifel können Giganten ihre Preise mit viel Freiheit selbst bestimmen. Und wenn es um Content Policys geht, dann können Giganten nach eigenem Gusto die Grenzen gesellschaftlicher Tabus verschieben.

Problem 7: Lohngerechtigkeit

Ich wage zu behaupten, niemand von uns ist heute mit der Pferdekutsche angereist. Manche Berufe sterben aus, weil Technologie sich weiter entwickelt. Das ist tragisch für viele Menschen, vielleicht auch schade um die Tradition – aber es ist der Lauf der Zeit. Es gibt kein Grundrecht, einen obsoleten Beruf am Leben zu halten. Die viel zitierte Erzählung, KI nehme uns die Arbeitsplätze weg, werde ich deshalb hier nicht aufgreifen. Zumindest nicht, ohne sie einmal umzukrempeln. Ich prangere kein Arbeitsplatz-Problem an, sondern ein Lohngerechtigkeits-Problem.

Gerechter Lohn heißt: Ich bekomme guten Lohn für gute Arbeit. Viel Geld für viel Mühe. Auch ohne moderne Chatbots ist Lohn nicht gerecht. Frauen bekommen weniger Lohn als Männer. Viele der mühsamsten Berufe werden am schlechtesten entlohnt. Ich glaube, moderne Chatbots können dieses Problem verstärken. Sie können als Werkzeug genutzt werden gegen gerechten Lohn. Ich möchte das an einem Beispiel anschaulich machen.

In den USA bot die National Eating Disorders Association (NEDA) lange Zeit eine Hotline für Betroffene von Essstörungen an. Als die Angestellten einen Betriebsrat gründen wollten, wurden sie gefeuert. Die Beratung sollte fortan ein Chatbot erledigen. Aber Essstörungen sind eine ernsthafte Erkrankung. Die Beratung ist anspruchsvoll: medizinisch, seelisch und sozial. Ein Chatbot kann das nicht gut. Er kann den Betroffenen sogar schaden. Im konkreten Fall soll der Chatbot den Betroffenen geraten haben, Kalorien zu zählen. Wenige Tage später haben die Verantwortlichen den Chatbot abgeschaltet.

Nein, die Künstliche Intelligenz hat den Berater*innen nicht die Arbeitsplätze weggenommen. Es waren Arbeitgeber*innen, die Künstliche Intelligenz als Vorwand nutzten, um Leute zu feuern.

Das Beispiel ist extrem. Es hätte auch so laufen können: Der Chatbot bliebe im Einsatz, aber eine Gruppe von Honorar-Kräften würde die Chatbot-Antworten prüfen. Sie würden aussortieren, wenn der Chatbot Quatsch antwortet, und sie würden Antworten freischalten, die okay sind. Von diesen Beschäftigten würde man eine geringere Qualifikation erwarten und sie schlechter bezahlen, Dumping-Löhne.

In diesem Szenario würde das Geld wie folgt verteilt werden: Der Anbieter des Chatbots bekäme Lizenzgebühren. Um den Chatbot überhaupt betreiben zu können, würde dieser Anbieter noch unterbezahlte Arbeiter*innen in Niedriglohn-Ländern beschäftigen. Die Hotline wiederum würde ebenso unterbezahlte Arbeiter*innen beschäftigen, die Chatbot-Antworten für Hilfesuchende sortieren. Unterm Strich würde vor allem ein Akteur einen guten Lohn bekommen: Das Unternehmen, das Lizenzgebühren für den Chatbot einstreicht.

Ich fürchte, genau so etwas wird uns in vielen Bereichen bevorstehen. Arbeitgeber*innen werden KI als Vorwand nutzen, um recht solide Arbeitsplätze in Niedriglohn-Jobs zu verwandeln. Dahinter steckt eine faulige Begründung. Warum soll Arbeit mit KI-Systemen weniger Lohn wert sein? Meredith Whittaker ist KI-Forscherin und Präsidentin der gemeinnützigen Signal-Stiftung. In ihrer Rede auf der Berliner Konferenz re:publica sagte sie dieses Jahr:

„Die Degradierung von Arbeiter*innen entsteht nicht durch Systeme, die tatsächlich in der Lage sind, diese zu ersetzen. Vielmehr entfalten sie bereits Wirkungen, wenn man die Menschen glauben lässt, dass solche Systeme Arbeiter*innen ersetzen können. Und indem man die Menschen, die mit den Systemen arbeiten müssen, als gering qualifiziert abstempelt und so eine geringe Bezahlung rechtfertigt.“

Ähnlich argumentiert die Wissenschaftlerin Milagros Miceli. Sie leitet ein Team am Berliner Weizenbaum-Institut und forscht seit Jahren zur Arbeit hinter KI-Systemen. Über die Arbeit von Menschen, die in Niedriglohn-Ländern Chatbots wie ChatGPT trainieren, sagte sie im Interview mit netzpolitik.org:

„Die Arbeiter*innen sammeln viel Fachwissen. Sie sind die Expert*innen im direkten Umgang mit Daten, weil sie tagtäglich damit zu tun haben. Niemand hat das Handwerk besser einstudiert, nicht einmal die Ingenieur*innen.“

Und trotzdem bekommen sie einen enorm schlechten Lohn. Weil viele Unternehmen jede Möglichkeit nutzen, Löhne zu drücken, und weil Gewerkschaften in diesen neuartigen Branchen erst einmal Fuß fassen müssen. Überraschung: Nicht die KI bedroht den guten Lohn, sondern ungebändigter Kapitalismus.

Problem 8: Pfadabhängigkeit

Das achte von zehn Problemen kreist um einen Fachbegriff, den ich kurz erklären muss. Pfadabhängigkeit beschreibt in den Sozialwissenschaften eine Eigenschaft von Entscheidungen. Dahinter steht der Gedanke, dass Entscheidungen aneinander anknüpfen. Ein Schritt führt zum nächsten.

Ich kann zwar ziemlich frei entscheiden, wo ich morgen spazieren gehen möchte. Aber meine Spazier-Entscheidung ist maßgeblich davon beeinflusst, wo ich überhaupt wohne. Sehr unwahrscheinlich, dass ich für einen simplen Spaziergang nach Madeira fliege. Über meinen Wohnort wiederum habe ich zwar ziemlich frei entscheiden, aber das ist lange her, und Spazier-Optionen waren für die Entscheidung unwichtig.

An diesem Beispiel werden einige Eigenschaften von Pfadabhängigkeit deutlich. Sie wirkt sich auf jede Menge große und kleine Entscheidungen aus, die sich erst Jahre später bemerkbar machen können. Sie begrenzt den Kosmos des Möglichen auf ein Spektrum des Wahrscheinlichen. Das kann Sicherheit schaffen, aber es kann auch eine Belastung sein. Manche scheinbar kleine Entscheidungen prägen die Pfade unseres Lebens folgenreich: Latein oder Englisch als erste Fremdsprache; studieren oder eine Ausbildung machen; auf Tinder nach rechts oder links wischen?

Auch KI-Systeme wie ChatGPT geben Pfade vor. In Suchmaschinen eingebaute Chatbots können bestimmen, welche Ausschnitte der Welt wir zuerst serviert bekommen. Chatbots können bei medizinischen Diagnosen oder juristischen Gutachten bestimmen, mit welchen Daten eine Fachkraft zuerst weiter arbeitet. Oft heißt es hier: Die letzte Entscheidung soll immer der Mensch treffen. Das sehe ich auch so, aber das befreit uns nicht von den Risiken der Pfadabhängigkeit. Denn wenn zuerst ein Chatbot eine Entscheidung trifft, dann gibt dieser Chatbot den Pfad vor.

Entscheidungen von Chatbots sind wiederum selbst von Pfadabhängigkeiten bestimmt, die im Verborgenen bleiben. Welche Trainingsdaten sind eingeflossen? Welche Verzerrungen wurden nachträglich bearbeitet und welche nicht? Sind per Chatbot generierte Antworten überhaupt das, was für eine Entscheidung maßgeblich sein sollte?

Chatbots können zu einer Infrastruktur werden, also zu einem organisatorischen Unterbau, über den wir nicht weiter nachdenken. Die Medienkulturwissenschaftlerin Gabriele Schabacher schreibt über Infrastrukturen, sie sind alltäglich verfügbar, sie sind selbstverständlich, und sie werden durch eine Art des kollektiven Vergessens „naturalisiert“. Das heißt, sie werden zu nicht weiter hinterfragten Teilen der Umwelt.

Konkretes Beispiel: Wenn ich in der Stadt unterwegs bin, dann frage ich mich nie, warum diese Straße ausgerechnet hier eine Kurve macht. Irgendjemand hat die Straße mal gebaut, und jetzt finde ich mich damit genauso ab wie mit der Schwerkraft.

So weit ist es bei ChatGPT noch nicht. Moderne Chatbots sind noch nicht zur Infrastruktur geworden, das kollektive Vergessen hat noch nicht begonnen. Schon in kurzer Zeit kann es zu spät sein, und die Naturalisierung der Infrastruktur lässt uns vergessen, dass hinter Chatbots Entscheidungen stecken, die uns schaden können. Genau jetzt ziehen Chatbots in unseren Alltag ein. Genau jetzt ist die Zeit, zu den Entscheidungen hinter Chatbots Nein zu sagen.

Problem 9: Longtermismus

Das vorletzte der zehn Probleme aktuell gehypter KI-Systeme konnte ich zuerst selbst kaum glauben. Weil es so absurd klingt. Steinreiche, führende Köpfe des aktuellen KI-Hypes sind einer völlig abgefahrenen Science-Fiction-Erzählung verfallen. Und sie machen davon ihre folgenreichen Entscheidungen abhängig.

Diese Erzählung heißt Longtermismus, und sie geht so: Die Menschheit sollte jetzt alles dafür tun, um in einer sehr fernen Zukunft das größtmögliche Glück zu erzielen. Klimawandel, Faschismus, Krieg, Vertreibung und Hunger – aus Sicht des Longtermismus ist das alles unwichtig. Wichtig ist zum Beispiel: Die Menschheit sollte die Entstehung einer maschinellen Superintelligenz verhindern, einer Macht, die alles vernichten könnte. Und: Die Menschheit sollte lernen, andere Planeten zu besiedeln, weil die Erde nicht ewig bestehen wird.

Das klingt für mich wie die Fantasie aus einer behüteten Kindheit; entwickelt beim Spiel mit Lego-Raumschiffen. Theorien zur Entstehung einer Superintelligenz sind hoch spekulativ, mich überzeugen sie nicht. Die existentielle Bedrohung der Zivilisation durch die Klimakrise ist dagegen eine Tatsache. Und bis unsere Sonne zur Supernova wird, sollen noch geschätzt fünf Milliarden Jahre vergehen.

Longtermismus ist die perfekte Ausrede für reiche, weiße, elitäre Männer, um mit gutem Gewissen ihre reichen, weißen, elitären Männer-Projekte fortzuführen – und ihre Machtposition zu zementieren. Alles für eine bessere Zukunft, in der reiche, weiße, elitäre Männer die Hauptrolle spielen.

Das sehe nicht nur ich so. KI-Forscherin Timnit Gebru bezeichnete Longtermismus jüngst als „Bullshit“. Als Methode von Milliardären, um sich gegenseitig zu vergewissern, dass sie die Welt verbessern. Weniger polemisch beschreibt Gebru in einem Essay, wie die Erzählung von Longtermismus KI-Konzernen dabei hilft, aktuelle Probleme ihrer KI-Systeme kleinzureden.

Von Longtermismus beeinflusst sind etwa der Milliardär Elon Musk, der ausgerechnet an einer Marsmission tüftelt, und auch OpenAI-Chef Sam Altman. Ein Vordenker des Longtermismus ist der schwedische Philosoph Nick Bostrom.

Im Jahr 2002 veröffentliche er ein Essay über „existentielle Risiken“, und schrieb: „Gegenwärtig scheint es an einigen Orten eine negative Korrelation zwischen intellektueller Leistung und Fruchtbarkeit zu geben.“ Bostrom fantasiert davon, Menschen durch Genmanipulation geistig und körperlich „gesünder“ zu machen.

Offensichtlich beschreibt der Philosoph hier ein menschenfeindliches Weltbild, das Leute anhand von körperlichen oder geistigen Merkmalen auf- und abwertet. Außerdem vertritt Bostrom die Auffassung, dass Gene für solche Merkmale eine zentrale Rolle spielen. Diese als „Eugenik“ bekannte Denkweise wurde in der nationalsozialistischen Rassenlehre zur Begründung von Völkermord herangezogen.

Stichwort Völkermord: Im Gespräch mit netzpolitik.org führte der Philosoph Émile P. Torres aus, warum auch er Longtermismus für gefährlich hält:

„Die Geschichte ist voll von Beispielen utopischer Bewegungen, die alle möglichen schrecklichen Gewalttaten wie Terrorismus und Völkermord verübten, um ihre Utopie zu verwirklichen. Der Longtermismus hat alles, was es den utopischen Bewegungen in der Vergangenheit ermöglichte, grausame Maßnahmen zu rechtfertigen.“

Ich würde gerne wissen, wie sich die Weltsicht des Longtermismus konkret auf unternehmerische Entscheidungen von OpenAI auswirkt, auf Dienste wie ChatGPT. Zumindest habe ich ein sehr schlechtes Gefühl dabei, wenn eine derart wichtige Technologie von Männern kommt, denen das Leid von Millionen Menschen im Zweifel ausdrücklich egal ist.

Problem 10: Tunnelblick

Wir haben uns nun so tief in das Thema hineingewühlt, es wird Zeit, den Blick zu weiten. Das zehnte und letzte Problem des aktuellen KI-Hypes habe ich das Tunnelblick-Problem genannt. Während sich der große Teil der aktuellen KI-Debatte auf Chatbots fokussiert, geraten andere KI-Probleme in den Hintergrund.

Kameras in der Stadt sollen angeblich verdächtige Bewegungsmuster erfassen. Software in der Personalabteilung soll angeblich schlechte Bewerbungen aussortieren. Rechenprogramme sollen der Polizei verraten, wo angeblich kriminelle Menschen wohnen. Lügendetektoren an der EU-Außengrenze sollen bestimmen, ob Asylsuchende die Wahrheit sagen. Autopiloten sollen bewaffnete Drohnen steuern, bevor sie angebliche Feinde in die Luft sprengen.

Das sind die KI-Probleme der Gegenwart. Sie betreffen die Schicksale von Menschen, sie richten Schaden an. Nicht in einer spekulativen Science-Fiction-Zukunft, sondern jetzt. Chatbots sind nur ein Bereich sogenannter Künstlicher Intelligenz. Sie sind nicht der Bereich, der mir am meisten Sorgen bereitet. Trotzdem ist es lehrreich, sich mit Chatbots zu befassen, denn der Umgang mit ihnen ist beispielhaft für den allgemeinen Umgang mit KI-Systemen. Die Grundlage sind oft überhöhte Erwartungen an die Fähigkeiten von Technologie.

Der Tunnelblick-artige Glauben, dass Technologie immer die Lösung ist, bezeichnet die US-amerikanische Journalismus-Forscherin Meredith Broussard in ihrem Buch „Artificial Unintelligence“ als Tech-Chauvinismus. Sie schreibt, frei von mir übersetzt:

„Der Tech-Chauvinismus geht oft mit […] der Vorstellung einher, dass Computer ‚objektiver‘ oder ‚unvoreingenommener‘ sind, weil sie Fragen und Antworten auf mathematische Auswertungen reduzieren; mit dem unerschütterlichen Glauben, dass soziale Probleme verschwinden und wir ein digitales Utopia schaffen würden, wenn die Welt nur mehr Computer einsetzen und sie richtig nutzen würde. Das ist nicht wahr. Es hat nie eine technologische Erfindung gegeben, die uns von sozialen Problemen erlöst, und es wird sie auch nie geben.“

Dieses Zitat liefert den Stoff für das Fazit meines Vortrags. Das Thema KI lädt dazu ein, soziale Probleme zuerst technologisch zu beschreiben und dann auch noch technologisch lösen zu wollen. Ich habe den Eindruck, die KI-Debatte selbst ist „wie festgezaubert“ durch den Schein in Olimpias Augen. Ich plädiere deshalb dafür, den Blick um 180 Grad zu wenden, also technologische Probleme gesellschaftlich zu beschreiben und gesellschaftlich lösen zu wollen.

Das sind doch nur Worte, könnte man einwenden, doch das sehe ich anders. Tech-Chauvinismus führt auf einen Pfad, auf dem gesellschaftliche Probleme unbeobachtet weiter vor sich hin faulen können, während sich ausbeuterische Verhältnisse festigen. Diesem Pfad folgend diskutieren wir Scheinlösungen wie Wasserzeichen für KI-Erzeugnisse, statt den Blick auf ein Riesenproblem wie Lohngerechtigkeit zu richten. Doch das Konzept der Pfadabhängigkeit zeigt: Eine Entscheidung führt zur nächsten, und schon eine andere Beschreibung des Problems kann folgenreich sein. Es ist ein Unterschied, den wir selbst machen können, hier und heute.

20 Ergänzungen

  1. Der gesamte Punkt: „Vermenschlichung.“ ist aus japanischer Sicht enorm lustig. In der Shinto Religion werden auch materiellen Gegenständen eine Seele zugesprochen, die sich dann unter anderem Tsukumogami nennen. So werden daher bspw. auch Autos gesegnet, oder andere Gegenstände, die dem Besitzer gut „dienen“ sollen.

    Das erklärt auch den „normalen“ Umgang mit Robotern und die Vielzahl v. Hobby-Robotikern u. kommerziell hergestellten. Im Westen gibt es bspw. sehr viel Unwohl im Umgang mit Robotern (s. DB-Roboter, oder dem „Segen-Roboter“).

    Trotz all dieser Tatsachen und Jahrhunderterlanger Tradition werden Robotern keine Menschenrechte, oder intelligenz zugesprochen, also lese ich hier nur unbegründete Ängste aus einer Welt, die solch einen Umgang nicht kennt.

    1. Mit Vermenschlichung ist hoffentlich gemeint, dass menschliche Eigenschaften zugeschrieben werden, die aber nicht vorhanden sind – bzw. dieses Risiko.

      (Tatsächlich ist in der Maschine-Mensch-Interaktion durchaus gängig, die Maschinenseite absichtlich nicht zu realistisch aussehen zu lassen.)

      Das hat mit „Seele zuschreiben“ nicht unbedingt etwas zu tun, da in einem Seelenmodell, die Seele eines Roboters der wie Martha aussieht/wirkt/spricht/handelt, nun mal nicht Marthas Seele hat, denn die hat zuerst mal Martha, wenn überhaupt. Vielleicht hat Martha auch Basos Seele, aber das ist dann wieder ein anderes Modell. Probleme entstehen dann, wenn wir aufgrund unseres „Menschelns mit KI/Maschinen“ irgendwie ausgenutzt werden. Ich denke darin sind auch die „Ängste“ begründet – im Ausgenutzt werden und Überhöhen der Fähigkeiten des Gegenübers. Dass der Backstein nichts dafür kann, gut und schön, in die Fresse will ich ihn aber nicht haben!

  2. Wer ChatBots benutzt

    legt seine Interessen offen,
    gibt Hinweise zu seinem Bildungsstand (Sprache, Wissen, Schlussfolgern),
    liefert Metadaten (wer, wann, wo, warum, wozu),
    trainiert die KI mit jedem Satz,
    könnte sich von KI abhängig machen,
    macht die Hersteller der KI reicher und noch mächtiger.

    Frage dich doch mal: Benutzt Du die KI, oder benutzt die KI dich?
    Fortgeschrittene fragen noch: Wozu benutzt KI dich?

  3. Menschen unterliegen Irrtümern, außerdem ist nichts so beständig wie das Missverständniss.
    Jeder Mensch hat nun die Möglichkeit erkannte Fehler sofort zu revidieren.
    Ob KI das auch kann und der Anwender das auch erkennt?

  4. Ich halte den Beitrag für wesentlich besser als die anderen, die ich von Ihnen zu diesem Thema bisher gelesen habe. Auch wenn sich Ihre Position vielleicht nicht geändert hat, haben Sie zumindest tiefer gegraben und auch mehr Aspekte zusammengetragen, was ich Ihnen positiv anrechne. Ich finde es auch gut, dass Sie versuchen, die menschliche Ebene von künstlicher Intelligenz stärker in den Vordergrund zu setzen.
    Dennoch gibt es einige Aspekte, bei denen ich nicht verstehe, warum Sie sich an Vorstellungen verbeißen, die nichts mit den realen Gegebenheiten zu tun haben. Zum Beispiel ist Longtermismus keine Science-Fiction-Erzählung und integriert eindeutig große Probleme wie die Verhinderung von Klimawandel, Pandemien oder Atomkrieg. Ich verstehe nicht, warum Sie sich teilweise so klar dagegenstellen, obwohl selbst auf offiziellen Seiten die Probleme angesprochen werden. Sie vermischen hier Themen wie Eugenik, KI und Longtermismus, die alle so gut wie nichts miteinander zu tun haben. Ich verstehe diesen ganzen Aufwand nicht, nur um eine einseitige Perspektive einzunehmen. Für andere Leser hier mehr Informationen: https://80000hours.org/problem-profiles/nuclear-security/ – Oder allgemeiner: https://en.wikipedia.org/wiki/Longtermism

    1. Lieber Henry, ich bin begeistert, dass Sie sogar äußerst lange Artikel von mir lesen und miteinander vergleichen. So viel Auseinandersetzung mit der Materie ist überdurchschnittlich. Sie beschreiben Ihre Suche nach Gründen für meine Kritik am Longtermismus bzw. dem Philosophen Bostrom. Der Grund ist, dass ich nach meiner Recherche zu diesen Einschätzungen gelangt bin. Zum Verhältnis zwischen Longtermismus und Klimawandel würde ich z.B. diesen Artikel empfehlen: https://thebulletin.org/2022/11/what-longtermism-gets-wrong-about-climate-change/ Es stimmt aber, dass das Kapitel in dem Vortrag sehr krawallig formuliert ist. Statt „unwichtig“ wäre es treffender, „zweitrangig“ zu schreiben. Nicht geschadet hätte sicher auch ein Hinweis darauf, dass Longtermismus viele Ausprägungen haben kann und kein Monolith ist. Vielen Dank für Ihre Ergänzung!

  5. „Größtmögliches Glück in der Zukunft“

    Mit der Definition ist bzw. wäre die Sache quasi schon erledigt. Wir haben nicht mal in der Gegenwart eine tragfähige Definition von Glück, und Menschen in der Zukunft zu befragen, scheidet derzeit noch aus. Wenn ich mir selbst fundamentale Definitionen beliebig zurechtlegen kann, ist das vielleicht sehr konvenient, aber nicht zwingend sinnvoll.

    Womöglich ist eine Ausrichtung auf eine unendliche Zivilisation dennoch unabdingbar. Sonst sagt der Reiche mit der Macht eben: „Noch ein bischen Sklavenherrschaft bitte, denn sonst kommen die anderen noch Schlimmeren dran.“. Und in Abgrenzung zu diesem Prinzip wird sofort klar, dass eine kompromisslose derartige Ausrichtung die Gegenwart mit einschließt, denn wir können keine solchen Abkürzungen zwischendurch nehmen. Nicht als Prinzip, aber auch nicht als Ausrede. Wir werden Prinzipien formulieren und umsetzen müssen, und da ist nun mal kein Platz für „temporäre“ Ausflüge in Bereiche, die den Prinzipien fundamental widersprechen. Natürlich wird immer mit anderen Notwendigkeiten argumentiert, die dann allerdings nachzuweisen, bzw. mindestens empirisch begleitet und überprüft werden müssen.

    Das ist kein Kann-Posten…

  6. How do we ensure AI systems much smarter than humans follow human intent?

    Currently, we don’t have a solution for steering or controlling a potentially superintelligent AI, and preventing it from going rogue.

    Our goal is to build a roughly human-level automated alignment researcher. We can then use vast amounts of compute to scale our efforts, and iteratively align superintelligence.

    We are assembling a team of top machine learning researchers and engineers to work on this problem.

    We are dedicating 20% of the compute we’ve secured to date over the next four years to solving the problem of superintelligence alignment.

    source: https://openai.com/blog/introducing-superalignment

    Wozu braucht es „super“-alignment? Ein Super-Narrativ? Zur Beruhigung oder zur Ablenkung?

    Wir wollen weiterhin die Größten und die Gefährlichsten sein!

    1. „Our goal is to build a roughly human-level automated alignment researcher. We can then use vast amounts of compute to scale our efforts, and iteratively align superintelligence.“

      L-O-L, zuerst dachte ich, man will jetzt bei der Entwicklung normaler KI in Richtung enzyklopädischer und sprachlicher Systeme grob beim menschlichen Level dann mit Qualitätskontrolle anfangen, aber dann kommt „superintelligence“.

      Hier ein Rat vom Zeitreisenden: dieser Versuch wäre Selbstmord, wenn ihr eine „superintelligence“ erreicht. Wenn ihr sie nicht erreicht, aber zu viele Resourcen auf solche Leute und deren Unternehmungen draufschmeißt, was auch Gesetzgebung, Zeit, Zugriff auf die Gesellschaft und ihre Strukturierung betrifft, vermutlich auch.

  7. „Moderne Chatbots sind nicht intelligent, auch wenn wir sie „Künstliche Intelligenz“ nennen. Sie können nicht denken, nicht verstehen, nicht wahrnehmen und nicht halluzinieren.“

    Ähm, doch, genau das ist das Ziel einer AGI (artificial general intelligence).
    GPT4, auf der ChatGPT basiert, ist bereits sehr nahe dran.

    Der Autor hat von dem Thema offenbar keine Ahnung.

    Das Large Language Modell wurde trainiert um sich wie ein Mensch zu verhalten.
    Es sucht dabei nicht einfach nach Antworten in einer Datenbank, sondern es versteht die Anfragen und deren Kontext.
    ChatGPT ist dabei sehr kreativ und beherrscht sogar das schlechteste am Menschen: Lügen!

    1. „Der Autor hat von dem Thema offenbar keine Ahnung.“

      Wow, was für eine unglaublich überhebliche Aussage.
      Da gibt es also einen Redakteur bei netzpolitik.org mit einer Reihe von einschlägigen Erfahrungen als Journalist, mit einer Auszeichnung einer renommierten Fachzeitschrift für Journalisten und mit aktuellem Schwerpunkt-Thema u.a. „Künstliche Intelligenz“.
      Und da gibt es einen Prof. Dr. Rössler, Professor für Kommunikationswissenschaft an der Universität Erfurt, der gemeinsam mit dem Thüringer Landtag und der Funke Mediengruppe eine Ringvorlesung organisiert, zu der er eben diesen Redakteur einlädt, einen Vortrag zu halten.
      Prof. Rössler will seinen Ruf sicher nicht leichtfertig verspielen, indem er irgendeinen dahergelaufenen Dummschwätzer auf die Bühne bittet, sondern jemanden der vielleicht doch ein wenig Ahnung von der Materie besitzt und ein paar schlaue Gedanken zum Thema beitragen kann.
      Dann kommt der große Auftritt von einem Menschen, der den Text des Vortrages hier findet und liest (vielleicht auch nur teilweise, wer kann das in Zeiten, wo selbst Goldfische mit ihrer Aufmerksamkeitsspanne ganz weit vorne liegen, schon so genau sagen). Und kaum hat er bemerkt, dass der Inhalt nicht seiner Meinung über das Thema entspricht, haut er flugs diesen Satz in die Tasten:
      „Der Autor hat von dem Thema offenbar keine Ahnung.“
      Dieser gleichermaßen uninspirierte wie polemische Vorwurf trieft dermaßen vor Arroganz, dass es fast schon wieder Kunst sein könnte…

      Um auch einen inhaltlichen Beitrag zu leisten: imho sind die Inhalte des Vortrages bis auf die beiden letzten, etwas wolkigen Punkte sehr sorgfältig abgewägte Argumente. Insbesondere der Hinweis auf die akademische Prägung des Begriffs KI als Marketing-Stunt im Jahre 1955 (!) war für mich sehr aufschlussreich, da er den Ausgangspunkt für den heutigen KI-Hype bildet.

    2. Nein, das ist falsch.

      ChatGPT versteht die Anfragen nicht. Es zerlegt sie in einen Vektor, und sucht in seinem Modell die Nachbarschaft dieses Vektors ab. Verständnis setzt ein Konzept von wahr und falsch, von Generalisierung und Deduktion voraus. Nichts davon kann ein LLM wie GPT. Es ist auch gar nicht das Ziel von LLM. Vielleicht sollten Sie sich selber noch einmal darüber informieren, was diese Modelle können und nicht können. Dass GPT Anfragen „versteht“ behauptet meines Wissens nicht einmal OpenAI.

      LLMs werden nicht trainiert, um sich wie ein Mensch zu „verhalten“. Sie wurden trainiert, Wörter so aneinanderzureihen, dass ein uninformierter Leser ohne kritischer Kompetenz und Sachverständnis eventuell auf die Illusion hereinfallen könnte, dass die Wörter von einer Instanz aneinander gereiht wurden, welche die Bedeutung dieser Wörter versteht. Mehr kann ein LLM nicht, will es nicht können, und wird es auch nie können. Da gibt es kein „nahe dran“, weil es ein qualitativer Unterschied ist, kein quantitativer. Mit noch grösseren, noch besseren Modellen können diese bedeutunglosen Wortketten höchstens noch plausibler vorgaukeln, dass dahinter irgend etwas steckt, was mit „Intelligenz“ oder „Verständnis“ beschrieben werden könnte. Aber es wird auch dann nicht näher an der Wahrheit dessen sein, was wirklich vorgeht.

      Der Autor hat vollkommen Recht damit, dass hier nichts grundsätzlich anderes verkauft wird als das, was ELIZA bereits konnte. Es ist einfach etwas grösser, schneller, besser und billiger geworden. Aber nach wie vor gilt: sollte ChatGPT eine wahre Aussage generieren (was nach wie vor ziemlich selten ist, wenn man etwas von den Themen versteht, zu welchen man sich Wortketten generieren lässt), dann ist das reiner Zufall. Ein Zufall, welchen die Entwickler statistisch möglichst wahrscheinlich werden lassen wollen, aber immer noch Zufall.

  8. Ein sehr guter Artikel.

    Schon zu Beginn meiner IT-Ausbildung in den 1980ern (damals sagte man noch EDV) wurde schon über künstliche Intelligenz philosophiert. Das war zu einer Zeit als der PC erfunden wurde. 16- oder 32-Bit Prozessorarchitekur, 4-12 MHz Prozessortakt, 1-2 MB Hauptspeicher, 50 MB Festplatte, Hercules-Grafikkarte … das war schon die Nobelausstattung.

    Damit konnte man noch nicht viel anfangen, dennoch gab es diese Diskussionen über „künstliche Intelligenz“.

    Heute sind die Rechner 1000 Mal schneller, aber sind sie deshalb intelligenter?

    Das Zitat von Pablo Picasso (* 25. Oktober 1881, † 8. April 1973) scheint mir an dieser Stelle sehr gut zu passen:
    „Computer sind nutzlos. Sie können nur Antworten geben.“

    1. Damals versuchte man auch „Expertensysteme“ in der Industrie zu entwickeln, die bspw. bei Fragen zu Problemen in technischen Systemen Fehler erkennen und Lösungsvorschläge anbieten sollten.
      Aber damals wie heute, käme eine dieser“KIs“ der Gedanke ;) an sie gestellte Fragen von sich aus zu hinterfragen.
      Es gibt lediglich die gleichen Antworten, basierend auf dem aktuellen Stand der Daten in der Cloud.

  9. Ich finde dieser Artikel ist eine gute Einführung um sich über die nötigen Regulierungen für die KI – vorallem im Zusammenhang mit Machtkonzentration und Machtmissbrauch – Gedanken zu machen.

  10. Der Artikel spricht einige Probleme im Umgang mit AI an.
    Aus meiner Sicht fehlt jedoch ein maßgeblicher Aspekt: Gerade in kritischen (den Menschen betreffenden Situationen) ist ein wesentliches Thema die Entscheidung. Wer entscheidet über eine Aktion, deren Wahrscheinlichkeit zwar berechnet weren kann, deren Folgen/Reichweite jedoch nicht in das Berechnungsmodell einfließt und bei der aufgrund mangelnder Trainingsdaten auch nicht absehbar ist, dass eine nach menschlichem Maßstab immer richtige Entscheidung getroffen wird? Die Entmenschlichung der Entscheidung mit negativen Folgen für den Betroffenen, ob bei Killerdrohnen, Überwachung des Chatverkehrs oder der Prüfung von Anträgen ist gesetzlich zwar geregelt, wird aber sehr weich ausgelegt. HIer wird das Thema Effektivität vorgeschoben. Vielleicht etwas für den nächsten Vortrag.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.