Autorenschwund in der Wikipedia: Algorithmen als Ursache und Lösung?

Das Objective Revision Evaluation Service (ORES) hat sogar ein eigenes Logo

Mit Hilfe eines neuen Tools zur Evaluation von Editierungen in der freien Online-Enzyklopädie Wikipedia möchte die Wikimedia Foundation, die gemeinnützigen Organisation hinter der Wikipedia, den seit mittlerweile fast zehn Jahre dauernden Rückgang an aktiven WikipedianerInnen stoppen. Am Wikimedia-Blog ist gar von „künstlicher Intelligenz“ und „Röntgenbrillen“ die Rede, die helfen sollen schlechte Änderungen (z.B. Vandalismus) besser von solchen Änderungen zu unterscheiden, die zwar vielleicht gut gemeint („good faith“), aber nicht nicht gut genug nach den Standards der Wikipedia sind. Auf diese Weise sollen Neulinge nicht mehr durch sofortiges und kommentarloses Rückgängigmachen ihrer Änderungen („revertieren“) verprellt sondern stattdessen bei ihren ersten Gehversuchen in der Wikipedia unterstützt werden.

Maßgeblich beteiligt an der Entwicklung des etwas sperrig als „Objective Revision Evaluation System“ (ORES) bezeichneten Werkzeugs ist Aaron Halfaker. Bevor Halfaker als Senior Researcher zur Wikimedia Foundation gewechselt ist, forschte er an der University of Minnesota zum Autorenschwund in der Wikipedia. Gemeinsam mit seinen Co-Autoren war er einer der ersten, der Algorithmen – „Bots“ – für den Rückgang an menschlichen WikipedianerInnen mitverantwortlich machte.

In dem Beitrag „The Rise and Decline of an Open Collaboration System: How Wikipedia’s Reaction to Popularity Is Causing Its Decline“ (Open Access Pre-Print PDF) belegen Halfaker und Kollegen, dass eine steigende Zahl automatisierter Revertierungen die Wahrscheinlichkeit verringert, dass Neulinge auch längerfristig in der Wikipedia mitarbeiten. Gleichzeitig ermöglichen es aber ebendiese Bots bei bis heute ständig wachsender Zahl an Artikeln Probleme mit Vandalismus, Werbung und Verfälschungen in Grenzen zu halten.

Schematische Darstellung  des ORES-Algorithmus (Bild: EpochFail, CC-BY-SA)
Schematische Darstellung des ORES-Algorithmus (Bild: EpochFail, CC-BY-SA)

Mit ORES soll jetzt also ein Algorithmus helfen ein Problem zu lösen, für das andere Algorithmen zumindest mitverantwortlich sind. Konkret sollen sich Bots in Hinkunft in ihrem Verhalten nach der Analyse von ORES richten und dementsprechend „sensibler“ auf gut gemeinte Änderungen reagieren. Ganz allgemein zeigen Halfaker und Taraborelli, Leiter der Wikimedia Forschungsabteilung, mit der ORES-Initiative ein gestiegenes Bewusstsein für die (auch: politische) Brisanz der algorithmischen Implementierung sozialer Regeln und Normen („algorithmic governance“, vgl. Müller-Birn et al. 2012). Im Blogeintrag zur Vorstellung von ORES führen sie dessen Entwicklung demnach auf „feministische Inspiration“ zurück und mahnen zur Vorsicht bei algorithmischer Problemlösung (meine Übersetzung):

Auch wenn künstliche Intelligenz wahrscheinlich von entscheidender Bedeutung für die Lösung von Problemen in der Größenordnung der Wikipedia ist, kann die Abbildung subjektiver Einschätzungen in Algorithmen auch Menschen unterjochen und inhärente Voreingenommenheiten verschleiern.

Aber selbst wenn es mit ORES gelingen sollte, zumindest die gröbsten Ecken und Kanten der bestehenden Bots etwas abzuschleifen, für andere Probleme wie zum Beispiel fehlende Diversität sind algorithmische Lösungen nicht in Sicht. Ähnliches gilt für das angespannte Verhältnis zwischen der (ehrenamtlichen) Wikipedia Community und den Hauptamtlichen in der Wikimedia Foundation. Auch hier werden bessere Algorithmen nicht wirklich weiterhelfen.

28 Ergänzungen

  1. Wichtig ist, dass die Identität der Wikipedia-Administratoren endlich offengelegt wird. Wer soviel Macht hat, darf sich nicht hinter einem Pseudonym verstecken können.

  2. Wer sich mal die Edit-Wars und Diskussionsseiten der deutschen Wikipedia angeschaut hat, der weiß, dass bessere Algorithmen hier nicht helfen werden. Eher etwas mehr Augenmaß und Menschlichkeit.

  3. Ich persönlich habe die aktive Teilnahme an Wikipedia zurückgefahren, weil es mir nicht einsichtig war, warum ich für Wikipedia als long-standing konstruktiver Nutzer kein Tor (oder bestimmte andere Proxies) benutzen darf. Tschüss, Jimmy. War eine schöne Zeit. Nun sehe ich zwar Fehler und Lücken noch, darf sie aber nicht mehr fix beheben.

    Ich hör die Gegenargumente antrapsen.
    – Nein, einen bestimmten Grund habe ich nicht, es geht mir nur darum, dass Tor neben anderen Anonymisierungstechniken für mich Alltag ist und ich direkte Verbindungen seit Snowden aus Prinzip vermeide und mir geradezu wünsche, dass dieses Prinzip Internet-Standard wird (hallo @Alvar).
    – Ja, Wikipedia macht gutes TLS mit PFS.
    – Ja, ich vertraue ihnen soweit.
    – Dennoch ist es nicht komplett albern, sondern IMHO einfach gute Datenhygiene, eine IP-Historie gar nicht erst entstehen zu lassen.

    Ein einziges Argument lasse ich gelten, und zwar ließen sich mehrfach aus Netzen gewisser Organisationen getätigte PR-Edits zurückverfolgen. Ich könnte dagegenhalten, dass die Abwägung mir nicht transparent gemacht wird und das IP-basierte Erkennen letztlich nur als Indiz betrachtet werden dürfte und Verschleierungsszenarios recht einfach denkbar sind (es genügt ja, wenn das Firmen- oder Behörden-Edit außerhalb der Arbeitszeit vom Heimanschluss geschieht).

    Nein, summa summarum sehe ich nicht ein, warum man indirekte Verbindungen bei Wikipedia als hochheilige Ausnahme sieht und Edits über Tor nur ausgewählten Teilnehmern anbietet, die der Wikibürokratie nachweisen können, dass sie es in ihrem Land wirklich brauchen. Ich würde es nämlich einsehen, wenn es nur anonyme Edits beträfe. (Lesen darf ich zum Glück noch, ohne durch brennende Reifen zu springen).

    Ich wünsche den Admins von Wikipedia die Weisheit, auf IP-basierte Blocks zu verzichten oder sie auf nicht-angemeldete Edits zu beschränken und sich Gedanken über bessere Konzepte zur Spam-, Vandalismus- und Manipulationserschwerung zu machen.

    Ich hege spontan Zweifel an der Erklärung, Bots würden systematisch Neulinge abschrecken. Kann leider nur anekdotisch anmerken, dass mich noch nie einer gestört hat und dass mir die Existenz von Bots von Anfang an transparent war. Will die Studie natürlich lesen. Wikipedia ist zu gut, als dass man nicht ein Nachfolgeprojekt in die Wege leiten sollte, wenn es untergehen sollte.

    1. @McGurk
      Wozu brauchst Du Tor für Wikipedia. Hast Du eine feste IP von deinem Provider bekommen?
      Ansonsten stelle eine Haltezeit von 1-2 Minuten in deinem Router ein, und schon bekommst Du eine neue IP von Deinem Provider geschenkt.

    2. Leider lassen sich die meisten deiner Vorschläge von unerwünschten Bearbeitern zu leicht umgehen. Allein keine IPs mehr zu bannen, würde die offensichtlich nötige Defensive enorm aufweichen. Wer einen gutwilligen Edit durchführen will, kann sicher leichter zu einer erlaubten IP wechseln als unerwünschte Editoren, die sofort zusätzliche Hardware einsetzen müssten, um eine erlaubte IP zu bekommen.

  4. HALLO, WARUM VERSCHWINDEN MEINE DISKUSSIONSBEITRAEGE SCHON WIEDER IM SPAM?

    Dafür ist mir die Zeit zu schade. Tschüss

    1. toll, dieser hat’s geschafft … sorry, den könnt ihr löschen und bitte den anderen wieder hervorholen. bitte, bitte, bitte?

  5. Ich habe mich schon mal als Autorin in der Wikipedia versucht und mußte feststellen, daß die Spielregeln und der Umgang unter den Autoren, nicht dazu beigtragen hat, mein Engagement dort langfristig aufrecht zu halten. Für mich war das eine kurze Episode und nichts, das ich wiederholen möchte. Vielleicht hilft künstliche Intelligenz davor, das Neulinge nicht durch die alten Hasen vergrault werden.

  6. Ich habe aufgehört Beiträge für die Wikipedia zu schreiben weil meine Interessen offensichtlich für einige Autoren zu irrelevant sind. Die deutsche Wikipedia kann ich weder ernst nehmen noch benutze ich sie.

  7. Man kann allen Kommentatoren nur zustimmen. Im Gegensatz nichtdeutschen Wikimedia-Portalen wird das deutsche Portal ganz offensichtlich von sich untereinander absprechenden Administratoren beherrscht, die nur ihre persönliche gefärbte Sichtweise gelten lassen. Selbst sachliche Richtigstellungen werden als Vandalismus gewertet, wenn sie dem Zensor nicht passen und wer sich dagegen wehrt, einfach gesperrt. Mir ist meine Zeit deshalb für dieses Machwerk zu schade, das zu allem anderen geworden ist, als zu dem, was sein Gründer einmal wollte.

  8. Es zeichnet sich in den Kommentaren eine gewisse Konstellation ab, die man wie folgt zusammenfassen könnte:

    „Ein Muster bei den ganzen Wikipedia-Kritikern hier im Forum kann man
    klar erkennen: Sie haben versucht einen (oder mehrere) Artikel in
    Wikipedia zu schreiben und sind (aus verschiedenen Gründen)
    gescheitert. Nun wettern sie gegen die Wikipedia aus verletztem
    Stolz.
    Dabei übersehen sie die andere Seite, Admins, die vermutlich täglich
    Hunderte von Vandalismus-Versuchen abwehren müssen und die deshalb
    nach eher groben Massstäben beurteilen, und die sicher auch dabei
    Fehler machen. Leute, die Fehler in anderen Menschen nicht
    akzeptieren oder sich nicht an die unvollkommene Arbeitsweise der
    Wikipedia anpassen können, haben damit ihre Schwierigkeiten.
    Wenn man dann nach kurzer Zeit aufgibt, oder solche offensichtlich
    dumme Sachen macht, wie die Löschmarkierung an der eigenen Story zu
    entfernen(!), dann ist man sicherlich frustiert. Deshalb hier ständig
    Weltuntergangsstimmung zu verbreiten, ist aber auch ein bisschen weit
    hergeholt.“

    Der Witz daran? Das ist ein Zitat aus dem Heise-Forum vom 19. Dezember 2006 (link hier: http://www.heise.de/forum/heise-online/News-Kommentare/Wikimedia-sammelt-Spenden/Wikipedia-und-seine-Kritiker/posting-18501977/show/). Die Argumentation (Die Admins sind schuld! In der englischen Wikipedia ist es viel besser!! Ich habe früher mitgemacht und jetzt nicht mehr!!!) ist tatsächlich so alt wie die Wikipedia selbst.

    1. Die Argumentation ist alt. Aber die –vermeintlichen — Effekte aktuell.

      BTW: Ich habe öfters die Erfahrung gemacht, dass die Leute, die sich über Admins aufregen nur mit ganz normalen Autoren zu tun hatten.

    2. Also die Wikipedia ist doch älter als 2006.

      Ein großer Wendepunkt ist die Relevanzdebatte von 2009. Seitdem ist in vielen Kommentaren „im Netz“ die deutschsprachige Wikipedia eher eine Lachnummer.

      1. Diese Relevanzdebatte betraf eine sehr spezifische Netzöffentlichkeit, der wahrscheinlich einige Kommentatoren hier angehören. Die Autorenzahlen waren da aber bereits am Fallen.

    3. “ Die Argumentation (Die Admins sind schuld! In der englischen Wikipedia ist es viel besser!! Ich habe früher mitgemacht und jetzt nicht mehr!!!) ist tatsächlich so alt wie die Wikipedia selbst.“

      Wie alt sie ist, ist vollkommen egal. Das Traurige ist, dass es stimmt.

    4. Sorry. Es handelt sich nicht um „normale Autoren“. Die können nämlich nicht zu Sperr-Keule greifen, den Verlauf oder das Archiv manipulieren. Und das ist nur der harmlosere Teil.

  9. Das Logo ist perfekt: Das glubschige Auge einer sich liebevoll sorgenden Edit-Überwachungsmaschine.

    Ich finde es ja immer noch völlig nachvollziehbar und damit zu erwarten, dass die Zahl der Autoren mit der Zunahme der Komplexität der Artikelpflege heruntergeht. Als es noch viele „tief hängende Früchte“ gab, war die Zahl von Edits, die problematisiert wurden, gegenüber Edits, die akzeptiert wurden, gering. Die Frustration und damit der Anteil von Autoren, die abspringen, muss fast zwangsläufig hochgehen und gleichzeitig ist es wegen der gestiegenen Ansprüche schwierig diese Verluste durch Neuzugang auszugleichen.

  10. … Wikipedia ist nicht mehr das, wofür es angetreten ist.
    Besonders in Deutschland ist der Platz für neue Autoren
    nicht vorhanden.

  11. Das Problem da WP hat ist (zumindest auf der englischen WP) ein wirklich toxisches Klima das bestimmt ist von Cliquen denen es nicht um Wahrheit in den Artikeln sondern darum geht ihre politischen Ansichten zu pushen. Das führt da zu sachen wie z.B. der Gamergate Controversy Artikel nichts mehr mit der Realität gemein hat. „Wikiality“ und „Citogenesis“, anyone?

    Jeder der nicht auf Linie ist wird sehr schnell mit WP:BUCHSTABENSUPPE bombardiert und allgemein rausgeekelt. Instanzen die sowas eigentlich verhindern sollten sind komplett in der Hand von einer Handvoll Admins die sehr genau darauf achten das nur die Richtigen ™, ihre Pöstchen bekommen.
    Ganz wie in guten alten Ostblockzeiten.

    Daher ist es kein Wunder das Autoren denen es um Wahrheit und sauberes Arbeiten geht irgendwann das Handtuch werfen und sagen „Fuck that noise, ich habe besseres zu tun als diesen Kindergarten zu bespaßen.“

  12. Wahrscheinlich hat jeder, der ab und zu Beiträge verfasst, schon schlechte Erfahrungen gemacht. Ich trete aber dem Eindruck entgegen, dies sei immer so. Ich wurde zuletzt sehr angenehm betreut. Manchmal habe ich den Eindruck – auch bei einigen Kommentaren hier – dass die Fähigkeit zur Kommunikation auf beiden Seiten verbesserungsfähig ist.

  13. Algorithmen (oder gar eine Wikipedia AI) sollen also die Probleme lösen und dafür natürlich auch die Verantwortung tragen… klingt ja echt wunderbar demokratisch & ethisch einwandfrei durchdacht.

    Welcher Admin genau kodiert jetzt nochmal diesen tollen ORES-Zauberalgorithmus?

    Sinnvoller wäre mal, wenn der Rechner mal auswertet, welche Admins da ständig ihre Macht missbrauchen und im Vergleich zu anderen Admins überproportional viele neue Autoren mit der Irrelevanz-Keule per SLA’s überziehen.

  14. Das liegt an den seltsamen „Cliquen“, dem Umgangston und den Hierarchien da. In der Beziehung ist die deutsche WP wohl mit an der Spitze…
    In den letzten Jahren hat die Kritik daran massiv zugenommen, es gibt genug Berichte über Ex-Wikipedianer und grundlos Gesperrte und über gewisse Platzhirsche da die immer wieder negativ auffallen. Viele dieser Platzhirsche kommen aus bestimmten ideologischen Ecken oder aus dem Dunstkreis von Psiram und Konsorten, scheinen Tag und Nacht aktiv zu sein.
    Ganz extrem bei weltanschaulichen und politischen Dingen, da scheint eine klare ideologische Linie zu herrschen.

  15. Wikipedia vertraue ich bei politischen Themen genauso wie der BILD.
    Hemmungslos und wahrscheinlich mit voller Absicht werden dort Worte benutzt, deren Konnotation in eine Richtung weisen.
    Hoffe auf eine grundlegende Reform oder einer Löschung aller politikbezogenen Artikel.

  16. Die deutsche Wiki kann man nur in die Tonne treten…das ist das politische Sprachrohr von AntiFas und Feministen die keine Meinung neben der eigenen erlauben, egal wie falsch deren Meinung ist.
    Von dem „Relevanz“-Ding mal ganz abgesehen……alles ist relevant, sobald es irgendeiner (egal wer) relevant findet. Die Leute sind da so abgehoben und fühlen sich als so was besseres, das eine Kommunikation gar nicht möglich ist.
    Ich wollte mal einen Artikel korrigieren, in dem angegeben war wo sich ein bestimmtes Gebäude innerhalb des Ortsteils befindet,. Die Angabe im Wiki-Artikel war definitiv falsch (ich wohne da und weiß ganz genau wo das Gebäude steht und wichtiger, wo es nicht steht), also korrigierte ich……am nächsten Tag war der Fehler wieder da. Ich fragte nach warum meine Korrektur gelöscht worden sei. Die Antwort: „Wo ein Gebäude steht bestimme ich, nicht du, verpiss dich“.
    Und ungefähr so oder so ähnlich liefen alle meine Kontakte und auch die von Kollegen mit der deutschen Wiki ab.

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.