System "Oculus"Was wir aus Russlands Internet-Kontrolle lernen können

Ein Werkzeug namens Oculus soll russischen Behörden bei der Suche nach unliebsamen Uploads helfen. Im Visier sind unter anderem queere Inhalte. Rein technisch erinnert das an eine Software, die auch die deutsche Medienaufsicht einsetzt. Ein Kommentar.

Farbenfrohes Bild einer Stadt mit surrealistischen Stil. Ein Turm mit menschlichen Augen. Ein Mensch mit Aktenkoffer und Anzug vor einer Kamera.
Internet unter Aufsicht (Symbolbild) – Public Domain DALL-E-2 („surveillance at every corner of the futuristic city, vibrant painting by salvador dali“)

Technologie lässt sich nach Belieben für gute und schlechte Zwecke einsetzen. Ein aktuelles Beispiel dafür ist ein neues System, das die russische Medienaufsicht zur Inhaltskontrolle im Netz verwenden will. Automatisch soll die Software Texte, Bilder und Videos analysieren und dabei nach Verstößen gegen russische Gesetze suchen. Das teilt die russische Nachrichtenagentur Interfax mit. Ein ähnliches System nutzt die deutsche Medienaufsicht unter dem Namen KIVI. Der Vergleich mit Russland ist schwierig, aber ich halte ihn für wichtig.

Schon die Namen der beiden Systeme ähneln sich. Der Name des russischen Systems, Oculus, bezieht sich auf das lateinische Wort für Auge. Das deutsche System KIVI basiert auf dem lateinischen Wort für überwachen (vigilare) sowie der Abkürzung für Künstliche Intelligenz (KI). Beide Systeme nutzen Text- und Bilderkennung.

Der entscheidende Unterschied: Russland, mitten im Angriffskrieg gegen die Ukraine, ist eben keine lupenreine Demokratie und auch kein funktionierender Rechtsstaat. Mit Oculus gehen russische Behörden gegen Inhalte vor, die aus der Perspektive von Grund- und Menschenrechten als legal betrachtet werden müssen. So wird Oculus zu einem Werkzeug der Unterdrückung und zum Teil des Zensurapparats.

Systematischer Einsatz durch Aufsichtsbehörden

Noch mehr Einblicke in die russische Online-Zensur liefert ein Leak der Medienaufsicht Roskomnadsor, den die Süddeutsche Zeitung jüngst ausgewertet hat. Demnach nutzte die russische Medienaufsicht den Dienstleister „Brand Analytics“, um systematisch Social-Media-Inhalte zu durchkämmen. Verdächtig waren demnach etwa „Aufrufe zum Protest“. In dem Leak gibt es laut SZ-Bericht bereits Hinweise auf Oculus.

Oculus sucht laut Interfax-Bericht etwa Inhalte zu „LGBT-Propaganda“, „extremistischen Themen“ und Versammlungen. Diese Wortwahl muss selbst als Propaganda verstanden werden. Queerness kann kein Verbrechen sein. Hinter den anderen Begriffen dürften beispielsweise demokratische Proteste oder legitime Regimekritik stecken. Außerdem soll Oculus Inhalte rund um Suizid und Drogen aufspüren können.

In Deutschland sucht KIVI unter anderem nach Volksverhetzung, Holocaustleugnung und Gewaltdarstellungen. Ähnlich wie Oculus sucht KIVI nach Verherrlichung von Drogen und nach Inhalten, die Suizid verherrlichen. Die Funde von KIVI landen in einem Ticketsystem, das amtliche Sichter*innen händisch abarbeiten. Wenn sich ein Verdacht erhärtet, lassen sich rasch Mitteilungen an die zuständige Staatsanwaltschaft generieren. Wie diese Arbeit im Detail abläuft, haben wir hier beschrieben.

Text- und Bilderkennung sind keine besonders neuen Technologien. Neu ist aber ihr vermehrter und systematischer Einsatz durch Medienaufsichtsbehörden. Solche Systeme legen den Grundstein für eine neue Infrastruktur staatlicher Inhaltskontrolle im Netz. Eine solche Kontrolle kann legitim sein, wie das Beispiel von KIVI zeigt, oder illegitim, wie das Beispiel von Oculus zeigt.

Debatte über Chancen und Risiken fehlt

Beiden Systemen gemeinsam ist, dass Inhalte im Netz nicht mehr sporadisch ins Visier von Behörden gelangen, weil ein Mensch sie entdeckt hat. Stattdessen durchkämmt eine Software das Netz und schlägt bei Verdacht Alarm. Es ist bloß eine Frage der Justierung, welche Stichworte eine Texterkennung suchen soll und welche Motive eine Bilderkennung.

Noch gibt es in Deutschland keine breite Debatte über die Chancen und Risiken einer solchen staatlichen Inhaltskontrolle. Einerseits kann eine Medienaufsicht mit diesen Systemen Grundrechte schützen, indem sie etwa Hassrede und Volksverhetzung aufspürt. Eine solche staatliche Kontrolle kann im besten Fall transparent und demokratisch legitimiert sein – anders als die oft nebulöse Inhaltemoderation durch privatwirtschaftliche Konzerne wie Facebook, TikTok oder Twitter. Die Technologie zeigt einen neuen Weg auf, Rechtsverstöße im Internet zu regulieren.

Andererseits können solche Werkzeuge kinderleicht auch zur Zensur genutzt werden. Sie können verändern, wie Menschen im Netz kommunizieren, weil sie damit rechnen müssen, mit ihren Inhalten einen automatisierten Alarm auszulösen. Das könnte vorauseilende Selbstzensur fördern, bekannt als Chilling Effect. Wer bloß nicht auf dem Schirm von Behörden landen möchte, könnte im Netz dann zum Beispiel weniger über den sicheren Konsum von Drogen sprechen. Manch einer möchte vielleicht keinen Fehlalarm riskieren, den dann erst ein Mensch richtig einordnen müsste.

Nachdem die deutsche Medienaufsicht den KIVI-Einsatz von Nordrhein-Westfalen auf alle anderen Bundesländer ausgeweitet hat, möchte sie das System nun auch in anderen Ländern der EU vermarkten. Um die Vor- und Nachteile beim Ausrollen dieser Technologie umfassend abwägen zu können, braucht es auch Negativ-Beispiele aus der Praxis – wie etwa das russische Oculus.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

10 Ergänzungen

  1. Auch deshalb ist es wichtig immer mehr Ende zu Ende verschlüsselte Dienste zu etablieren um die Privatsphäre zu erhalten und auch Zensur zu erschweren !

  2. Was auch immer „wir“ daraus lernen mögen…. in Brüssel und Berlin wird aus Moskau scheinbar eine ganze Menge gelernt. Und Russland hat ja auch erst mal von Deutschland gelernt (NetzDG). Ja, Russland hat ein anderes, noch autoritäreres System. Aber auch die EU ist alles andere als eine lupenreine Demokratie (siehe Kommission sowie Parlament ohne Initiativrecht). Und auch in Deutschland werden von angeblich demokratischen Parteien u. Regierungen seit Jahrzehnten ganz bewusst und der Reihe nach Gesetze durchgesetzt, die nachweislich gegen Verfassung und demokratische Prinzipien verstoßen. Die werden dann manchmal nach Jahren gerichtlicht gekippt, aber etwas haften bleibt dann doch sehr oft (oder wird „nachgebessert“ oder trotz allem fortgeführt). Will sagen: Der Zustand der Demokratie in Deutschland und der EU ist jetzt kein so unfassbar beruhigender, zuverlässiger Garant. Auch wenn wir zum Glück von Zuständen wie in Russland noch ein Stückchen entfernt sind.

    1. Leider wahr. Insbesondere, wenn wir schleichende Entwicklungen hierzulande berücksichtigen. Was vor 15 Jahren noch völlig undenkbar schien, ist heute Alltag – an das, was wir heute noch für völlig unmöglich halten, werden wir uns in wenigen Jahren gewöhnt haben.

  3. > „Aber auch die EU ist alles andere als eine lupenreine Demokratie (siehe Kommission sowie Parlament ohne Initiativrecht).“

    Ich erinnere mich noch daran, wie Papandreou das griechische Volk in einem Referendum entscheiden lassen wollte, ob sie überhaupt gerettet werden wollen und sofort Eurokurs, Dollarkurs und DAX fielen. Als später die Merkel von „marktkonformer Demokratie“ dummschwätzte dachte ich nur: „Die Märkte müssen demokratiekonformer werden und nicht umgekehrt. Es darf nicht sein, dass ein Land Demokratie anwenden will und dafür von den Märkten bestraft wird.“

    > „Die werden dann manchmal nach Jahren gerichtlich gekippt, aber etwas haften bleibt dann doch sehr oft (oder wird „nachgebessert“ oder trotz allem fortgeführt).“

    Ich wünschte, die Gerichte hätten die cojones um ein Gesetz komplett abzuschmettern statt feige „Nachbesserung“ zu fordern. Und alternativ zu sagen: „Das hatten wir schon mal. Es war damals illegal, es ist immer noch illegal, also hau ab und komm nie wieder.“

  4. Vielen Dank für den Beitrag Sebastian,

    in meiner Art neue Blickwinkel einzunehmen fallen mir die Punkte auch immer wieder auf. Auf der anderen Seite halte ich es halt für wichtig in Bezug zu Russland oder dem Iran, eben die Entscheidungen anderer Ländern (irgendwie) zu respektieren. Egal wie ich persönlich dazu stehe. Auch die Süddeutsche hat in ihrem Artikel leider gar nicht Bezug auf den Überwachungskapitalismus genommen und wie Filter (durch Künstliche Intelligenz bei dem Kameratreiber) oder Algorithmen bei der Personalisierung der Inhalte und Nachrichten schon Verhalten über die Benutzung eins Smartphones kontrollieren. Da ist der Zustellzeitpunkt von Push-Nachrichten und deren Reihenfolge noch gar nicht enthalten.

    Das wird im Westen immer sehr gerne vergessen. Die ganze Welt nutzt diese Geräte, auch Millionenfach in Russland und teilweise in China. Da haben die Geräte trotz der Firewall, entsprechende verstörende Verhaltensänderungen und tragen unmengen an persönlichen Daten raus.. von den die meisten nichts bemerken weil es Personalisierte Daten sind und in der Summe es keine gemeinsame Wahrnehmung mehr gibt. Weswegen ein Messen auch so schwierig ist.

    Ich denke aber jedes Land ist sich darüber, in Geheimdienstkreisen bewusst. Sonst würden wir in Europa uns nicht so gegen die USA oder die USA gegen die Chinesen mit TicTok wehren und so weiter.

    Wir Menschen, von egal woher haben es aber absolut verlernt die Wahrheit zu sagen und darüber zu sprechen. Genau deswegen haben wir die aktuellen Probleme. Wir reden nicht mehr mit einander sondern nur noch über einander auf einer höheren Ebene, der Wahrnehmung.

    P.s: @Pirate Party Member
    Die Verschlüsselung ist nur zur Beruhigung. Er spielt keine Rolle wenn im OS jedes Bild und jeder Text bei der Eingabe bewertet, bei bedarf Memorisiert wird.. von einer künstlichen Intelligenz die dir bei der Texteingabe hilft.. oder Photos/Videos optimiert usw.

  5. Die Bestrebungen der EU zur Chatkontrolle und die Vorfälle im Pegasus-Untersuchungsausschuss der EU sind beste Beispiele dafür, dass es eine Reihe von „Demokrat*innen“ gibt, die eine anlasslose, totale Kontrolle wollen. Grundrechte werden mit aus einer Sicht fadenscheinigen Argumenten ausgehebelt.

    Und wie Postdemcracy so richtig schrieb: Wir haben einen Rechtsstaat, ja und das ist auch gut so. Aber (jahrelange) Prozesse ändern nichts an der Tatsache, dass Grundrechte missachtet werden. Und diese Missachtung kann ein entsprechendes Urteil nicht rückgängig machen.

    Für mich gibt es hier nur eine Devise: „Wehret den Anfängen“.

    1. „…die eine anlasslose, totale Kontrolle wollen“ – ganz so ist es nicht. Diese Leute wollen diese Kontrolle nur für andere. Das kann man insbesondere auf der anderen Seite des Atlantiks beobachten, wenn sich „Überwachungsfreunde“ in Null-Komma-Nichts in Gegner verwandeln, wenn sie selbst mitbekommen, dass _sie_ überwacht wurden und nicht der „potentielle Terrorist“ (gut, war deutlich übertrieben) nebenan. Wie man an diesen Beispielen sieht, gilt der „Chilling effekt“ auch für die Befürworter der „totalen Kontrolle“.

  6. No Tracking. No Paywall. No Bullshit.

    Wenn kein Tracking, warum wird dann durch meinen Adblocker vg03.met.vgwort.de blockiert?

    1. Das ist kein Tracking, sondern ein Zählpixel der VG Wort, einer Verwertungsgesellschaft für Texte, die dadurch keine personenbezogenen Daten sammelt. Das Zählpixel zählt im Wortsinn und ermittelt die Reichweite (Zugriffe) der Artikel, um für uns als Organisation und für die VG-Wort-Mitglieder unserer Redaktion die VG-Wort-Ausschüttungen berechnen zu können.

  7. Also „lupenrein“ ist die deutsche Demokratie auch nicht. Nichtsdestotrotz selbstverständlich nicht mit Russland zu vergleichen..

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.