Vorneweg, ich liebe alles an dieser Geschichte: Es beginnt damit, dass ein Rechercheteam der Frankfurter Allgemeinen Sonntagszeitung (FAS) über Wochen hinweg zufällig ausgewählte Artikel in der deutschsprachigen Wikipedia mit Unterstützung von KI auf Fehler untersucht. Zu den Fehlern, die sich auf diese Weise besonders leicht auffinden lassen, zählen widersprüchliche Angaben in einem Beitrag sowie veraltete Informationen. Am Ende eines der größten Fact-Checking-Vorhaben der deutschen Journalismusgeschichte erscheint der Artikel „Wikipedia weiß immer weniger“ (Paywall). Auf Basis der 1.000 Artikel umfassenden Stichprobe kommen die Redakteure der FAS zu folgendem Ergebnis:
Probleme gibt es auf mehr als jeder dritten Seite. Mindestens 20 Prozent der Seiten enthalten Informationen, die nicht mehr aktuell sind, und nur bei der Hälfte fällt es sofort auf. Dazu kommen fast noch einmal so viele Seiten mit Angaben, die noch nie gestimmt haben.
Im Anschluss an dieses Ergebnis diskutiert der FAS-Beitrag Ursachen – allen voran ein ständig wachsender Artikelbestand bei stagnierender Zahl an freiwilligen Autor:innen – und mögliche Lösungsvorschläge. Ich durfte anknüpfend an einen Beitrag hier bei netzpolitik.org aus dem Jahr 2022 ebenfalls welche beisteuern.
Transparente Vorgehensweise
Mindestens so interessant wie das Ergebnis ist aber die Beschreibung und Reflexion über die Methodik:
Auch das zeigt die F.A.S.-Untersuchung: Wenn sich Wikipedia und die Künstliche Intelligenz nicht einig waren, hatte die KI auch nicht öfter recht als Wikipedia. […] Gleichzeitig sind die meisten KI-Modelle auch mit den Wikipedia-Artikeln trainiert. Die KI hat also sehr wahrscheinlich einige Fehler übersehen, weil sie falsche Angaben aus Wikipedia gelernt hat.
Hinzu kommt, dass die Redakteure Valentin Bauer, Patrick Bernau, Christopher Herstell und Jacob Kramer ihr Vorgehen bei Artikelauswahl und KI-gestützter Fehlersuche samt vollständiger Liste der untersuchten Artikel ebenfalls in einem eigenen Beitrag dokumentiert haben (Paywall). Die radikale Transparenz der Wikipedia wird somit gespiegelt, ist es doch ebendiese Transparenz, die Analysen wie jene der FAS überhaupt erst möglich machen.
Von der FAS in die Wikipedia
Die Geschichte der FAS-Recherche ist an dieser Stelle aber nicht zu Ende. Im Gegenteil, in mancher Hinsicht beginnt sie mit der Veröffentlichung der Ergebnisse erst. Denn noch am Veröffentlichungswochenende fand die vollständige Liste an untersuchten Artikeln ihren Weg in die deutschsprachigen Wikipedia als bearbeitbare Tabelle. In der Erläuterung heißt es dort:
Falls ihr einen Fehler korrigiert oder entscheidet, dass eine Korrektur unnötig ist, wäre es schön, wenn ihr das in der Spalte ‚abgearbeitet‘ vermerkt.
Mit anderen Worten: Statt sich beleidigt zurückzulehnen, wurde die Recherche der FAS als Verbesserungsauftrag angenommen und sofort mit der Arbeit begonnen. Am Sonntag Abend, 6. Juli, waren die meisten der gröberen Schnitzer bereits ausgebügelt.
Parallel dazu wurden die Ergebnisse der Recherche sowie mögliche Lösungsansätze kontrovers, differenziert und öffentlich im Wikipedia-Kurier diskutiert, einem Nachrichtenblatt der Community. Stellvertretend für den konstruktiven Tenor vieler Beiträge dort:
‚Wikipedia-Bashing‘ mit eingebundener Werbung an die FAS-Leser, sich doch bitte bei der Wikipedia zu beteiligen, wenn man den gegenwärtigen Zustand für unbefriedigend hält? So ein ‚Bashing‘ könnten wir alle Tage gebrauchen…
Fazit
Die Moral von der Geschichte? Wissen ist und bleibt eine endlose und kollektive Aufgabe. Alle, die sich mit ehrlichem Erkenntnisinteresse daran beteiligen, leisten einen Beitrag. Fehler oder veraltetes Wissen aufzuzeigen ist dabei mindestens so wichtig wie das Zusammentragen und Aufbereiten von mit seriösen Quellen gestütztem Wissen selbst.
Dass Fehler systematisch recherchiert und zeitnah korrigiert werden können, ist ein Grundpfeiler für Glaubwürdigkeit und Qualität der Wikipedia als wichtigster Wissenssammlung unserer Zeit. Natürlich ist Wikipedia-Wissen immer nur vorläufig und nie völlig gesichert – wie Wissen ganz allgemein. Und wahrscheinlich ist es einer der wichtigsten aufklärerischen Verdienste der Wikipedia, diesen Umstand jeden Tag aufs Neue deutlich zu machen.
Daß die Autorenzahl stagniert oder rückläufig ist, wundert mich nicht. Die Übergriffigkeit und die politische Agenda der Administratoren, die willkürlich Artikel zenzieren oder löschen schreckt die Autoren, mich eingeschlossen, davon ab, bei Wiklipedia beizutragen. Wikipedia hat ein internes strukturelles Problem.
Exakt. Die ideologische Verblendung und mangelnde geistige Reife der Wikipedia-Moderatoren wurde schon in mehreren Dokumentationen belegt, die Leute enttarnt.
Wissenschaft hat neutral und ergebnisoffen zu sein. Der Leser soll sich eine eigene Meinung bilden dürfen, auch wenn Totalitaristen das gar nicht gerne sehen.
Den Wikipedia-Oberen empfehle ich eine Traumatherapie, um ihre totalitären Tendenzen in den Griff zu bekommen. Geistig gesunde Menschen wissen, dass die Welt komplex und chaotisch ist.
Ein (mittlerweile historischer) Vergleich mit der Qualität klassisch redigierter Enzyklopädien wäre interessant gewesen. Die sind systemimmanent beim Druck veraltet.
Als es die noch gab, waren sie in Vergleichen nicht besser als Wikipedia, aber das ist natürlich über ein Jahrzehnt her…
Finde ich nicht. Mit dem Aufstieg der Wikipedia hat sich fundamental verändert, was eine „Enzyklopädie“ ist bzw. sein kann oder soll.
Natürlich veralten gedruckte Enzyklopädien noch schneller und decken nur einen Bruchteil der Themen in oft viel geringerem Umfang ab. Hinzu kommt, dass Wikipedia auch längst bei aktuellen Themen quasi journalistischen Charakter hat.
Insofern ist ein Vergleich mit klassisch-gedruckten Enzyklopädien zunehmend immer weniger aussagekräftig. Die Wikipedia muss sich mehr an ihrer tatsächlichen Relevanz, Rolle und ihren eigenen Ansprüchen messen lassen.
Ich glaube was der Kommentar von Anonym letztendlich eigentlich zum Ausdruck bringen sollte: Schon bei einer gedruckten Enzyklopädie hätte Teil der Medienkompetenz des Anwenders sein müssen „Ist mit Druck schon veraltet“, d.h. ich sollte jede Information kritisch betrachten und nicht als absolute Wahrheit sehen. Das Marketing damals hat diese Kompetenz aber auch nicht vermittelt, sondern nur wie viele tolle neue Einträge hinzugekommen sind.
Diese Kompetenz hatten daher damals schon nicht alle. Heute könnte man besser sein, ist man Teilweise auch, aber zur Medienkompetenz Wikipedia gehört halt auch, das System funktioniert nicht so gut wie es könnte (und wie es das Marketing suggeriert). Und daher muss man auch heute noch kritisch sein.
D’accord. Vielleicht wäre das des Vergleichs auch schon genug gewesen 8)
Gab es durchaus, siehe etwa https://www.spiegel.de/netzwelt/web/vergleichstest-wikipedia-schlaegt-die-profis-a-521457.html oder https://www.sueddeutsche.de/wirtschaft/wikipedia-besser-als-der-brockhaus-1.324954
Es ist fast schon erschreckend mit welcher Härte und Autorität einige Moderatoren der deutschen Wikipedia vorgehen. Editoren werden diffammiert, diskreditiert und Artikel zur Löschung vorgeschlagen, weil es nach der subjektiven Meinung einer Person „keine Relevanz“ hat trotz weltweiter Berichterstattung, erfolgreicher Bürgerinitiative usw. usf (bspw. „Stop Killing Games“).
Ganz schlimm ist es im medizinischen Bereich, wo jedes Mal ein und dieselbe Person es ablehnt den neuen ICD-11 in die Artikel einzubringen, da er gewisse Einträge „verharmlose“, obwohl es der aktuellste wissenschaftliche Stand ist.
Wer kennt den Grund, warum Wikipedia „die letzten Monate“ im Aussehen und Darstellung zum Nachteil umgebaut wurde?
Welcher Nachteil? Gewöhnungssache. Das neue Layout hat vor allem den Vorteil, dass für die Ansicht mit Mobilgeräten nix extra gebaut werden muss. Neu ist das auch nicht wirklich, in Wikipedias anderer Sprachen, z.B. Englisch, ist dieses Layout seit längerem Standard.
Das Problem ist beginnt schon damit, dass auch hier der Eindruck erweckt wird es gäbe gegenüber Wikipedia ein Anspruch auf Richtigkeit. Was völlig abwegig ist bei einem Gemeinschaftsprojekt wo Menschen freiwillig und kostenlos (das Geld der Spenden gehen zu NULL Euro an Autoren, das ist nur Technik und Verwaltung) ihre Arbeit und Wissen rein stecken. Insofern gibt es keinen Anspruch an Wikipedia.
das andere Problem ist das mittlerweile viele von denen, die am Anfang diese Wissensquelle aufgebaut haben vertrieben wurden, weil auch dort nur Wissen so dargestellt werden darf, wie es bestimmte Meinungsführer gerne haben. Nicht umsonst nennen manche Wikipedia auch ein repository für Journalisten, genauer muss man sagen bestimmter ausgewählter Journalisten. Denn fast immer werden zu Zeitgeschichtlichen, aber auch vielen historischen Themen oder bei Fragen zu sozialen oder Umweltthemen, die Meinungen von Journalisten als „das Wissen“ benutzt. Was durchaus kritisiert wird und wurde, aber mit dem Argument der „reputablen Quelle“ weg gewischt wurde.
Und zum dritten wächst der Überbau immer mehr. Aber das ist mittlerweile überall so. Verwaltung, Juristen und Akademiker finden ihre Anstellungen bei der Wikimedia Foundation ohne das dort inhaltlich was gemacht wird.
Zur reputablen Quelle: Das geht halt nicht anders. Wikipedia hat die Aufgabe, quellenbasiert Wissen lexikalisch abzubilden. Auch solches Wissen, das tendenziös oder möglicherweise falsch ist. Alles andere ist Theoriefindung, die nicht zulässig ist. Das Problem ist, dass entlang der Definition „welche Quelle ist reputabel“ eine willkürliche Bewertung/Selektion von Quellen und damit zulässigen Informationen möglich ist. Das soll vor Desinformation schützen, überlässt es aber eben gerade nicht dem Lesenden, sich anhand der Aussage und dazugehörigen Quelle ein eigenes Werturteil zu bilden. Die Lösung wäre es meinesachtens, dass die Relevanz/Zulässigkeit von Quellen nur noch anhand ihrer Reichweite gemessen wird, also dass es eine öffentlich relevante Quelle ist. Punkt. Auf Informationen aus tendenziösen Quellen kann im Fließtext hingewiesen werden (z.B. „nach Darstellung des Lobbyvetbands xy sei die Sorge unbegründet“). + ggf. Gegendarstellungen aus anderen Quellen anfügen. Aber tendenziöse Informationen als nicht reputabel zu filtern, nimmt nicht nur den individuellen Prozess der Meinungsbildung vorweg, sondern ist eben auch anfällig für willkürliche Moderationsentscheidungen.
„Das geht halt nicht anders“, ist eine Aussage, die autoritäre Eltern ihren Kindern gegenüber tätigen. Natürlich geht es anders. Die Richtigkeit einer Aussage oder einfach nur einer Meinung hängen ja nicht davon ab wo sie geäußert werden. Das ist aber leider genau der Gedanke den die einflussreichen WP Autoren haben. (Der aber aktuell massiv auch politisch/medial forciert wird. Die Idee des „Wahrheitsministerium“ ist gar nicht mehr so dystopisch, wie man es vor einigen Jahren noch gedacht hat und da spielen solche Regeln eine wichtige Rolle)
Zum Thema Autorenzahl: Ich sehe das so: Es gibt keine theoretische Grundlage. Niemand hat gesagt, dass ~180 k Editoren notwendig sind (vgl. URL 1), oder ein Argument geliefert, wie viele es sein sollten. Hinter der Zahl steckt die Definition „one or more edits”, bitte beachten. Die Zahl der aktiven Editoren (vgl. URL 2) ist hingegen seit Jahren relativ stabil, wobei es auch hier keine Garantien oder Gesetze gibt, die bestimmen, wie lange jemand mitmacht und wie viel von einer Person in eine teilweise ausgereifte Umgebung (Artikel) eingebracht werden kann. Manche Edits sind mit einer OP vergleichbar: Man benötigt eine Checkliste im Kopf, eine gewisse Geschwindigkeit, usw. Der Patient wartet zwar, aber irgendwann muss es über die Bühne gehen.
Ich empfehle jeder „neuen” Generation wärmstens, sich ein paar Gedanken zu machen. Wenn ich mir anschaue, wie viele hundert Milliarden Stunden in YouTube-Videos investiert werden, kann ich nur eines sagen: Irgendwann sind die VHS-Kassetten auch verschwunden. Nur Bücher sind für die Ewigkeit.
URL 1: https://stats.wikimedia.org/#/de.wikipedia.org/contributing/editors/normal|line|all|~total|monthly|Anzahl|Autoren|DE
URL 2:
https://stats.wikimedia.org/#/de.wikipedia.org/contributing/active-editors/normal|line|all|(page_type)~content*non-content|monthly
Jetzt noch mal mit KI.
Übrigens auch lustig, wenn die Quellenangaben bei der ersten Suche Quatsch sind (Fachfremdes irgendwas), bei der zweiten dann sogar z.T. ähnliche Bereiche betreffen, keine jedoch konkret die spezifische Frage.
Da spielt eben die viel besungene Abstraktion rein („ist ein Kunsstoff … der Klasse …“). Aber der konkrete Materialmix und Produktionsweise, ist eben nicht klar. Daher sind Aussagen da etwas schwierig. Bei der Haltbarkeit von stichhemmenden Materialien wird es dann grenzwertig.
D.h. „die KI“ wird sich gnadenlos etwas ausdenken. Als Mensch die Grenzen dieses „Wissenssystems“ zu erkunden zu wollen, kommt eigentlich dem Prinzip der Zeitverschwendung gleich. Bei Wikipedia weiß man wenigstens, dass es keinen Artikel zu den Schlagworten gibt. Der Aspekt des Kompendiums, was ein LLM in gewisser Weise auch darstellt, darf aber nicht überbewertet werden. Das ist wie ein Mensch mit sehr gutem Gedächtnis, der so tut, alles zu wissen, aber die Dinge nicht versteht.
Sicherlich kriegen wir noch eine Definition für Verstehen vorgesetzt. AGI, Bewusstsein, Verstehen. Dann fehlt noch Lebensfähigkeit.