Als ich zuerst davon gehört habe, dachte ich: Das ist doch der Stoff, aus dem Komödien gemacht sind. Da gibt es diesen monströsen Gegner, teils organisierte Gruppen aus Trollen, Propagandist*innen und Rechtsextremen. Mal verbreiten sie im Netz nur Gemeinheiten, mal machen sie Menschen das Leben zur Hölle. Sie schlüpfen durch Löcher in Community Guidelines und feuern mit mehreren Accounts parallel. Sie verursachen Wellen aus Hass und Hetze, die selbst die reichsten Konzerne der Welt mit ihren Zehntausenden Content Moderator*innen kaum bändigen können.
Und dann meldet sich plötzlich eine Aufsichtsbehörde aus einem deutschen Bundesland – die Landesmedienanstalt Nordrhein-Westfalen – und präsentiert ihre selbstgebaute Waffe für die epische Schlacht: Ein Ticketsystem mit 234 Seiten Handbuch, bedient von einer niedrig zweistelligen Zahl Beschäftigter. Das ist, als würde man mit einem Kugelschreiber in den Fechtkampf ziehen.
Das Ticketsystem heißt KIVI, und die deutsche Medienaufsicht durchforstet damit das Netz, zunächst nur in Nordrhein-Westfalen, seit dem Frühjahr 2022 deutschlandweit. Das Tool soll unter anderem Websites, Telegram, TikTok, YouTube und Twitter durchleuchten und dabei allerlei verdächtige Inhalte aufspüren. Dabei kommen Text- und Bilderkennung zum Einsatz.
Die Idee beispiellos. Es ist ein Problem, dass derzeit vor allem private Konzerne Inhalte im Netz regulieren. Die Grundlage dafür sind meist Community Guidelines, entwickelt ohne demokratische Kontrolle, angewandt ohne Transparenz. KIVI ist ein Gegenentwurf. Inhaltskontrolle auf demokratisch legitimierter Grundlage. Im Visier sind unter anderem Volksverhetzung, Hakenkreuze, Gewaltdarstellungen, Suizidverherrlichung. Aber auch frei zugängliche Pornografie soll KIVI finden, das ist ein Thema für sich. Amtliche Sichter*innen sollen die Funde im Ticketsystem abarbeiten und gegebenenfalls Anzeigen erstatten, es gibt einen direkten Draht zur Staatsanwaltschaft. Bloß, wohin führt das?
Schutz vor Insektenstichen
Die Medienaufsicht in Deutschland ist öffentlich-rechtlich, sie bekommt 35 Cent aus dem monatlichen Rundfunkbeitrag. Damit kann man einiges machen, um etwa die „Demokratie in den Medien zu schützen“, wie es der Chef der Landesmedienanstalt NRW, Tobias Schmid, zusammenfasst. Ich habe aber die Befürchtung, dass KIVI genau dort Energie reinsteckt, wo sie am schnellsten verpufft. Egal, wie fleißig die Sichter*innen das Ticketsystem bearbeiten: Ihr Beitrag bleibt klein.
„Wenn jemand noch eine bessere Idee hat, dann werde ich sie mit großem Jubel übernehmen“, auch das hat Schmid gesagt. Die Zitate stammen aus einem Doppel-Interview mit der Bundeszentrale für politische Bildung (bpb) im Oktober, der zweite Interview-Gast war ich. In der Vorbereitung durch die bpb fiel auch mal das Wort „Streitgespräch“, aber gestritten haben wir uns nicht. Wir sind vor allem zu verschiedenen Schlussfolgerungen gelangt.
In dem Gespräch habe ich es mit einem Vergleich versucht: Niemand käme auf die Idee, im Regenwald massenhaft Insekten zu fangen, um Menschen gegen Insektenstiche zu schützen. Zu viele Insekten. Nein, man gibt den Menschen, die im Regenwald unterwegs sind, einen Insektenschutz.
In diesem Vergleich stehen die Insekten für die Massen an problematischen Inhalten, und der Insektenschutz steht für Gegenmittel, die unmittelbar an den Menschen ansetzen: Hilfsangebote für Betroffene, Prävention für potenzielle Täter*innen, Medienkompetenz für alle. Auch die Medienaufsicht mischt da mit. Ich finde, davon kann es nicht genug geben, und ich würde solche Maßnahmen einer systematischen Inhaltskontrolle vorziehen.
Anzeige ist raus
Statt als Komödie könnte sich die Geschichte von KIVI auch als Tragödie entpuppen. Es ist das tragische Schicksal von Technologie, dass sie auch als Waffe eingesetzt werden kann. Die Vorsicht sollte umso höher sein, je besser sich eine Technologie zum Angriff eignet.
Der Name KIVI ist eine Kombination aus „Künstliche Intelligenz“ und dem lateinischen Wort „vigilare“, überwachen. Eine Person, die selbst mit KIVI arbeitet, hat mir gesagt, sie komme sich vor wie ein Internet-Polizist. Die Person bat mich, nicht namentlich genannt zu werden.
Aktuell durchforstet KIVI das Netz unter anderem nach Hakenkreuzen, Holocaust-Leugnungen, Gewaltorgien. KIVI nimmt viele Inhalte ins Visier, die klar gegen Gesetze verstoßen und mindestens seelischen Schaden anrichten können. Sichter*innen klicken sich durch die Treffer in einer automatisch generierten Tabelle. Sie ergänzen händisch Eckdaten und Screenshots. Bei drastischen Fällen tippen sie direkt bei KIVI ein, was die Staatsanwaltschaft zum Ermitteln braucht. Exportieren als PDF, Anzeige ist raus.
Skalierbar in alle Richtungen
Eine solche Kontrolle ist effizient und skalierbar. Aus der derzeit niedrig zweistelligen Anzahl Sichter*innen könnten auch Hunderte werden. Die text- und bildbasierte Suche ließe sich problemlos erweitern, um auch beliebige andere Online-Inhalte zur Anzeige zu bringen.
Keine Demokratie ist gegen grundrechtsfeindliche Gesetze immun. Eine autoritäre Gesetzgebung genügt, schon wird aus der in Gang gesetzten Maschine aus Monitoring-Teams, juristischen Referent*innen und Schnittstellen zur Staatsanwaltschaft ein gefährliches Werkzeug.
In Ungarn verbieten queerfeindliche Gesetze die Verbreitung von Aufklärungs- und Bildungsmaterial über queere Identitäten und Sexualität. In Deutschland waren noch bis zum Sommer Informationsangebote für Schwangerschaftsabbrüche per Gesetz verboten. Ebenfalls im Sommer wurden reproduktive Rechte in den USA zurückgeschraubt: Seit dem Kippen von Grundsatzurteilen können US-Bundesstaaten Schwangerschaftsabbrüche kriminalisieren.
Es wäre fatal, wenn KIVI eines Tages dafür eingesetzt wird, zum Beispiel queere Inhalte aus dem Netz zu tilgen und die Verantwortlichen anzuzeigen – oder Ärzt*innen ins Visier zu nehmen, die über Schwangerschaftsabbrüche informieren. Undenkbar ist das nicht: Die Landesmedienanstalt NRW und der Entwickler Condat AG vermarkten KIVI auch aktiv im EU-Ausland, erste Länder sind bereits interessiert, und was sich in der EU erprobt, kann auch darüber hinaus Schule machen.
Geheime Stichwortlisten
Es gibt einen Fachbegriff dafür, wenn Technologie allmählich über ihren zunächst eng abgesteckten Zweck hinaus eingesetzt wird: Function Creep. Das Wort „creep“ heißt auf Englisch kriechen. KIVI trägt dazu bei, dass staatlich organisierte, systematische Kontrolle von Internet-Inhalten in unseren Alltag kriecht. Die Medienaufsicht will also vorsorglich per „KI“ einen Blick draufwerfen, nachdem jemand etwas im Netz veröffentlicht hat. Hinterher gekrochen kommt noch etwas, und zwar, dass Sichter*innen mal eben einen Tweet zur Staatsanwaltschaft rüberschieben können. Zumindest nachdem er im Stichwortfilter hängen geblieben und überprüft worden ist.
Ich wollte wissen: Welche Stichworte findet KIVI verdächtig, während es Websites und Social Media durchsucht? Antwort der Landesmedienanstalt NRW: Das bleibt geheim. Nutzer*innen könnten diese Worte ja gezielt meiden, um nicht entdeckt zu werden. Aus Perspektive der Medienaufsicht klingt das folgerichtig. Doch auch hier kommt etwas in den Alltag gekrochen. Selbst rechtschaffene Nutzer*innen dürfen nicht erfahren, mit welchen Wörtern sie bei der Medienaufsicht einen Alarm auslösen. Sie erfahren nicht, wann ihre Inhalte zur Prüfung auf dem Schreibtisch eines Menschen landen können, der direkten Draht zur Staatsanwaltschaft hat.
Konkretes Beispiel: Bei einer Vorführung von KIVI April landete eine Pressemeldung des Zentralrats der Muslime bei KIVI. Ein knapper Text, der islamistische Terroranschläge verurteilt. Ein „false positive“, wie die Pressestelle danach erklärte, Fehlalarm. Der Mensch hat es zum Glück gemerkt, die Maschine wurde korrigiert.
Einschüchtern – aber wen?
Einen Vorteil von KIVI sieht Schmid laut Interview in der sogenannten Generalprävention, also der abschreckenden Wirkung auf potentielle Täter*innen. Ich befürchte, Täter*innen sind erstaunlich oft unerschrocken. Vielmehr könnte KIVI rechtschaffene Nutzer*innen einschüchtern – einfach, weil sie auf keinen Fall auf einem Bildschirm der Medienaufsicht landen möchten, auch nicht als Fehlalarm. Nicht alle empfinden es als Schutz, wenn sie immer mit dem kontrollierenden Blick einer Behörde rechnen müssen, selbst wenn es eine sehr freundliche Behörde ist. Wenn sich Menschen aus solchen Gründen selbst in ihren Äußerungen einschränken, nennt man das auch Chilling Effect.
Was genau passiert überhaupt hinter den Kulissen von KIVI: Hat das Tool einen Bias, also einprogrammierte Vorurteile durch lückenhafte Daten? Verengt KIVI möglicherweise den Blick auf ganz bestimmte Ausprägungen von Volksverhetzung und Gewalt, während es andere ausblendet? Ohne tiefere Einblicke lässt sich das kaum beurteilen. Ich finde, mindestens Forschung und Zivilgesellschaft sollten Zugang zu den Stichwortlisten und technologischen Grundlagen von KIVI bekommen. Sie sollten unabhängige Audits erstellen dürfen.
Die Geschichte von KIVI hat gerade erst begonnen. Niemand kann seriös vorhersagen, ob daraus eine Komödie oder eine Tragödie wird. Ob sich die Realität überhaupt an Genre-Grenzen von Kinofilmen hält. Nur eines sehe ich gerade nicht: Dass die Software KIVI aus dieser Geschichte als Heldin hervorgeht.
Offenlegung: netzpolitik.org-Gründer Markus Beckedahl ist seit 2010 Mitglied des Medienrats der Medienanstalt Berlin-Brandenburg (mabb).
Sorry, aber was für ein bigotter Bullshit.
Deutschland hat ein fettes Rassismusproblem und außerhalb der virtuellen Welt interessiert das NIEMANDEN.
Als POC zur Polizei und Anzeige machen?
Netter Witz.
Da wird dir das Wort im Mund rumgedreht und am Ende bist du, der Rassismus anzeigen will, dafür selbst schuld und wirst von der Polizei dumm angemacht.
(Ja, das habe ich nicht nur einmal erlebt)
Aber im Internet will man natürlich „Vorreiter“ sein.
Soviel Falschheit und Bigotterie kotzen mich nur noch an.
Wie schnell kann man da – als Unschuldiger – „verhaftet“ werden.
Wenn es da dann eine „unfehlbare“ KI gibt:
Wer glaubt mir dann meine „Unschuld“?
Schöne neue Welt: Will ich so etwas haben?