Internet-KontrolleBelgien setzt Überwachungs-KI der deutschen Medienaufsicht ein

Auch Medienwächter*innen in Belgien durchforsten das Internet automatisch, unter anderem suchen sie frei zugängliche Pornografie. Dahinter steckt das Online-Werkzeug KIVI, das die deutsche Medienaufsicht in der EU beworben hat. Andere Länder haben bislang nicht angebissen.

Illustration im Bauhaus-Stil zeigt einen Scheinwerfer auf einem Turm, der einen breiten Lichtkegel auf eine Stadt wirft.
Aufsicht übers Internet (Symbolbild) – Public Domain DALL-E-3 („a spotlight on a tower scans the city with a wide beam of light, bauhaus style reduced minimalist geometric shape“); Bearbeitung: netzpolitik.org

Die Software geht im Internet auf Streife und spült verdächtige Inhalte in ein Ticketsystem. Das ist das Prinzip von KIVI, einem Werkzeug der deutschen Medienaufsicht. Dieses Werkzeug kommt nun auch in Belgien zum Einsatz. Für die Software verdächtig sind zum Beispiel Pornos oder Gewaltaufrufe; Menschen müssen das dann händisch prüfen.

Das Wort KIVI besteht aus der Abkürzung für Künstliche Intelligenz, KI, und den ersten Buchstaben des lateinischen Wortes „vigilare“, überwachen. Die Landesmedienanstalt Nordrhein-Westfalen hat das Werkzeug zusammen mit der Berliner IT-Firma Condat AG entwickelt und setzt sich für seine Verbreitung ein. „Die Vermarktung in das europäische Ausland ist nur gemeinsam mit der Landesmedienanstalt möglich beziehungsweise vorgesehen“, schrieb uns ein Condat-Sprecher hierzu im Jahr 2022. Zunächst wurde KIVI in ganz Deutschland ausgerollt, nun gehört mit Belgien auch das erste weitere EU-Land dazu.

Wie die belgische Medienaufsicht CSA (Conseil Superieur De l’Audiovisuel) mitteilt, hat sie mithilfe von KIVI bereits nach Pornografie auf dem Twitter-Nachfolger X gesucht. Von September bis Dezember 2023 wurden demnach rund 5.000 Verdachtsmeldungen gesammelt. Prüfer*innen hätten rund ein Fünftel davon gesichtet, und rund 90 Prozent dieser Inhalte seien „klar“ pornografisch gewesen. Ohne strenge Alterskontrollen dürfen solche Inhalte nicht zugänglich sein.

250 Stichworte auf Französisch

KIVI wurde zunächst für deutschsprachige Inhalte entwickelt. Dafür sucht KIVI etwa nach verdächtigen Wörtern. Die genaue Liste möchte die Medienaufsicht jedoch nicht offenlegen. Bislang bekannte Wörter sind etwa „Terror“, „Mord“, „Islam“, „Juden“, „Christen“ – sie können KIVI etwa auf extremistische Inhalte hinweisen.

Beim Einsatz in Belgien geht es um Inhalte auf Französisch. Die belgische Medienaufsicht habe die Software hierfür mit 250 Stichworten gefüttert, offenbar aus dem Bereich Pornografie, sowie mit 90 besonders aktiven Accounts, heißt auf der Website der Aufsicht. Gemeint sind offenbar Social-Media-Profile, die nach Auffassung der Medienwächter*innen besonders viele pornografische Inhalte verbreiten.

Künftig möchte die belgische Aufsicht den Einsatz von KIVI ausweiten, insbesondere auf Hassrede. Die für die deutsche Sprache optimierte Version von KIVI sucht etwa nach Volksverhetzung und Holocaustleugnungen sowie nach Inhalten, die Drogen oder Suizid verherrlichen. Das Handbuch der Software haben wir im Jahr 2022 analysiert und veröffentlicht.

Kein KIVI in Österreich

Ende 2022 hieß es vonseiten der deutschen Medienaufsicht, auch Österreich sei an KIVI interessiert. Das ist aktuell aber nicht mehr der Fall. Ein Sprecher der staatlichen Rundfunk und Telekom Regulierungs-GmbH (RTR) schreibt uns : „Aus derzeitiger Sicht“ sei kein Einsatz von KIVI geplant. Gründe möchte er dafür aber nicht nennen, denn das könne „Interessen Dritter berühren“.

Für die RTR scheint KIVI ein sensibles Thema zu sein: Auf Nachfrage möchte die Aufsicht nicht einmal benennen, um welche „Dritte“ oder um welche „Interessen“ es geht. Ein Sprecher der Condat AG schreibt uns, es gebe „aktuell keine konkreten Umsetzungspläne für den Einsatz in weiteren Ländern“.

Auch außerhalb der EU gibt es Interesse daran, Software im Internet auf Streife zu schicken: So soll das autoritäre Regime in Russland mit „Oculus“ ein Werkzeug einsetzen, das im Prinzip an KIVI erinnert. Wie die russische Nachrichtenagentur Interfax Anfang 2023 mitteilte, könne Oculus automatisch Texte, Bilder und Videos im Netz scannen und dabei nach Verstößen gegen russische Gesetze suchen.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

7 Ergänzungen

  1. Unabhängig davon, ob es gut oder schlecht ist, wenn Twitter/X überwacht wird. Aber was bringt so eine Software, wenn sie nur für einen spezifischen Onlinedienst eingesetzt wird? Selbst wenn diese auch auf andere Dienste/Webseiten ausgeweitet wird. Zur Umgehung wird es immer Möglichkeiten und andere Alternativ-Dienste geben. Das erscheint mir nach Ressourcenverschwendung…

      1. Die offiziellen Amtssprachen in Belgien sind: Französisch, Niederländisch und Deutsch.
        Jedoch übernehmen bisweilen wallonische Verwaltungen auch Zuständigkeiten in der Deutschsprachigen Gemeinschaft. Der frankophone Auftritt täuscht darüber hinweg, daß der CSA sicherlich auch „auf Deutsch“ suchen kann und Ergebnisse nach Bedarf auch ins Niederländische übersetzt.

        1. Danke für deine Ergänzung! Zumindest auf seiner Website schreibt der CSA ausdrücklich vom Einsatz auf Französisch: „De manière à adapter l’outil aux réalités belges francophones, le CSA a dressé une liste de 250 mots-clefs en français et identifié 90 comptes de super-propagateurs pour offrir à KIVI une base d’apprentissage lui permettant de débuter le monitoring.“ https://www.csa.be/123778/les-contenus-pornographiques-circulent-quasi-librement-sur-x-twitter/

  2. Sie kann nur öffentlich zugängliches Material durchsuchen und Betreiber können auch mit KI solche suchen erkennen und blockieren. Viele verlangsamen die Request oder der Server antwortet dann nicht mehr sobald eine Maschine erkannt wird.

    Sie müssen dies auch nicht dulden und können ganze IP Bereiche sperren. Wenn wir uns dann alle Angemeldet haben finden solche Dinge hinter verschlossen Türen statt. Schon jetzt Diskutieren die Feinde der Verfassung in geschlossen Gruppen.

    Die Software wird immer wertloser um sie mehr sie verwendet wird, wenn auch sie hinterlässt spuren in dem man sie erkennt.

    1. „Betreiber können auch mit KI solche suchen erkennen und blockieren“
      Hier stellte sich mir noch die Frage, wenn die völlig inkapablen „Suchalgorithmen“, bzw. die Vorschlagssysteme, die die Nutzer vorgesetzt kriegen, nicht schlechter wären, als was die Behörden kriegen… dann wären wir bei beliebig manipulieren.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.