Die Medienaufsicht soll Jugendliche auch im Netz vor schädlichen Inhalten schützen, und dafür möchte sie ihre Augen am liebsten überall haben. Inzwischen nutzen die deutschen Landesmedienanstalten ein Online-Werkzeug namens KIVI, das automatisch Websites und soziale Netzwerke durchsuchen soll. Der Name setzt sich zusammen aus der Abkürzung für Künstliche Intelligenz, KI, und den ersten Buchstaben des lateinischen Wortes „vigilare“, überwachen.
Menschen sichten die automatisch generierten Treffer der Software und informieren teilweise die Polizei. Bei einer Pressekonferenz im April sagte eine Vertreterin der Landesmedienanstalt Nordrhein-Westfalen (NRW), man reiche 30 Strafanzeigen pro Monat ein. NRW war aber nur der Anfang. Inzwischen arbeitet die Medienaufsicht deutschlandweit mit KIVI – und hofft darauf, dass bald ganz Europa das öffentliche Internet mit diesem Tool überwacht.
„Wir freuen uns über das große Interesse auch unserer europäischen Kollegen“, zitiert Tagesspiegel Background den Direktor der Landesmedienanstalt NRW, Tobias Schmid. Er vernetzt sich mit Regulierungsbehörden anderer EU-Staaten in einer Gruppe namens ERGA (European Regulators Group for Audiovisual Media Services). An netzpolitik.org schrieb eine Sprecherin der Landesmedienanstalt NRW, es gebe Sondierungsgespräche mit mehreren Behörden.
Die Medienaufsicht in Belgien, CSA (Conseil supérieur de l’audiovisuel), schreibt auf Anfrage von netzpolitik.org: „Unsere deutschen Kolleg:innen haben tatsächlich ein Instrument entwickelt, das für uns von größtem Interesse ist.“ Man erkunde nun die Möglichkeiten für einen Einsatz in Belgien. Es sei schwierig, ein Datum zu nennen, aber man hoffe, bis Ende des Jahres einen Test durchführen zu können. Ein Sprecher der Medienaufsicht in Österreich, RTR (Rundfunk und Telekom Regulierungs-GmbH), schreibt: „Wir finden das Tool sehr interessant und evaluieren dessen Verwendung für unsere Zwecke gegenwärtig“. Es gebe aber derzeit keine Entscheidung.
KIVI sucht mit dem Wort „Terror“ nach Online-Extremismus
Der Begriff „Künstliche Intelligenz“ kann darüber hinwegtäuschen, dass es schlicht um eine Software zur Erkennung von Mustern geht. KIVI sucht beispielsweise auf Websites nach als verdächtig eingestuften Stichworten wie „Terror, Gräueltaten, Verbrechen, Mord etc. in Kombination mit Islam / Muslime / Christen / Juden“. Diese Beispiele nannte eine Sprecherin der Landesmedienanstalt NRW, nachdem KIVI bei einer öffentlichen Präsentation im April einen Fehler gemacht hatte. Die Software hielt eine Pressemitteilung des Zentralrats der Muslime für „politischen Extremismus“. Dabei hatte der Zentralrat darin bloß die Terroranschläge in London 2005 verurteilt.
Damit so etwas seltener passiert, führt die Medienaufsicht eine Positivliste von Websites, die grundsätzlich als harmlos gelten. Stand 4. Mai umfasste die Liste mindestens 100 Einträge. Dazu gehörten neben der Website des Zentralrats der Muslime auch die der Holocaust-Gedenkstätte Yad Vashem. Auch Websites deutscher Städte und der Landesmedienanstalten selbst sind darauf.
Eine weitere Fähigkeit von KIVI ist Bilderkennung. Die Software soll unter anderem Kennzeichen verfassungsfeindlicher Organisationen erkennen, wie heise online berichtet. Explizite Nacktheit werde demnach durch den Dienst Amazon Rekognition gesucht. KIVI soll neben Websites auch soziale Netzwerke durchforsten, etwa Telegram, Twitter, YouTube und TikTok.
„Vermarktung nur gemeinsam mit der Landesmedienanstalt“
Entwickelt wird KIVI von der Berliner IT-Firma Condat AG. Die einmaligen Kosten für Entwicklung und Weiterentwicklung betrugen nach Angaben der Landesmedienanstalt NRW 164.640 Euro netto. Die laufenden, monatlichen Gebühren für Hosting, Support und Lizenzen seien 2.300 Euro netto. Außerdem beschäftige die Medienaufsicht in NRW sieben studentische Hilfskräfte mit unterschiedlichen Stundenkontingenten, maximal 20 Stunden pro Woche. Im ersten Jahr habe KIVI 20.000 potentielle Verstöße erkannt, nach dem Aussortieren seien 6.700, rund ein Drittel, übrig geblieben.
Ein Condat-Sprecher schreibt netzpolitik.org, KIVI sei individuell mit der Landesmedienanstalt NRW entstanden. „Die Vermarktung in das europäische Ausland ist daher auch nur gemeinsam mit der Landesmedienanstalt möglich beziehungsweise vorgesehen“. Damit kommt der Medienaufsicht unter Direktor Tobias Schmid offenbar eine führende Rolle in der Verbreitung der Überwachungs-Software zu.
Aktuell sei KIVI nur für deutschsprachige Textinhalte trainiert, so der Condat-Sprecher weiter. Für andere Ländern müssten eigene Modelle aufgebaut werden. KIVI wird beim Einsatz kontinuierlich trainiert, indem Menschen die automatisch erzeugten Treffer bewerten. Wir wollten wissen, ob dieses Feedback künftig gebündelt werden soll, wodurch alle teilnehmenden Staaten das Tool gemeinsam trainieren würden.
„Ich denke, bei einem internationalen Einsatz von KIVI wäre der Abgleich vorhandener Trainingsdaten unbedingt wünschenswert“, schreibt der Condat-Sprecher. Vor allem, wenn es um justiziable Inhalte gehe, die länderübergreifend ähnlich geahndet würden, etwa pornographische Aufnahmen.
Internationaler Datenabgleich „unbedingt wünschenswert“
Falls diese Pläne wahr werden, wäre die Regulierungsbehörde aus Nordrhein-Westfalen maßgeblich mitverantwortlich für die Einführung eines europäischen Porno-Detektors. Die Landesmedienanstalt NRW hatte sich bereits auf Bundesebene im Kampf gegen öffentlich verfügbare Pornografie hervorgetan. Nach einem jahrelangen Ringen hatte die Medienaufsicht versucht, Deutschlands meistbesuchte Pornoseite zu sperren – allerdings vergeblich.
Was bedeutet der Einsatz von KIVI eigentlich für Datenschutz und Privatsphäre? Ende März antwortete die Landesmedienanstalt NRW auf eine Anfrage nach dem Informationsfreiheitsgesetz: „Eine Datenschutz-Folgenabschätzung war für die konkrete Anwendung des IT-Tools nicht erforderlich, daher liegt uns eine solche zur Übersendung nicht vor.“ Auch eine Machbarkeitsstudie liege nicht vor. Als Grundlage, um personenbezogene Daten verarbeiten zu dürfen, nannte die Medienaufsicht unter anderem ihre öffentlich-rechtlichen Aufgaben, das europäische Datenschutzgesetz (DSGVO) und den Jugendmedienschutz-Staatsvertrag.
Grundsätzlich machen selbst die besten automatischen Erkennungssysteme Fehler, und das liegt auch an ihren Trainingsdaten. Sogenannte Künstliche Intelligenz übernimmt die Verzerrungen und falschen Vorurteile aus vorgelegten Daten, das nennt sich Bias. Dieser Bias kann beispielsweise rassistisch oder sexistisch sein oder andere Arten von Menschenfeindlichkeit und blinden Flecken umfassen. Selbst die mächtigsten Daten-Konzerne der Welt wie Facebook und Google ringen mit diesem Problem. Anfang April bezeichnete Tobias Schmid KIVI in einer Pressekonferenz als „neutral“.
Eine Medienaufsicht die gegen Hass vorgehet und gleichzeitig vollkommen ungezügelt ihren Hass gegen Pornographie auslebt und diese sogar gleichstellt (mit der geleichzeitigen Nennung und Begründung) , ist eine sehr, sehr gefährliche Mischung.
Diese Mischung wird zukünftig dazu führen das sich ein Staat im Staat bildet – der außerhalb jeglicher Rechtsordnung agieren wird.-
Dazu kommt noch das das in Europa zu einer Saudi-Arabisierung führt, damit wird Europa am Ende zu Recht vorgeworfen werden, um nichts besser zu sein als Russland, China und Saudi Arabien.
In weiterer Folge wenn man sich die Entwicklung in den USA ansieht, könnte eine derartige ungezügelte Medienaufsicht sogar Protagonist des Radikalismus und Hasses werden.
Diese Warnung sollte durchaus einst genommen werden, für mich stellt sich nämlich ein ganz grundlegende Frage, warum geht diese Medienaufsicht nicht gegen Gewaltverherrlichung vor. So sind Photons, Videos und Material zur Folter aus China für Jugendliche ohne jegliche Altersbegrenzung zugänglich. Und das ist meines Erachtens für die Jugend wesentlich gefährlicher und traumatisierender als es Pornographie je sein kann. Somit wird diese Medienaufsicht auch noch zu einer Farce.
Ich vermute mal stark, dass sowohl KIVI als auch den Verantwortlichen dahinter beim Scannen von Terror und Verbrechen spontan die „richtigen“ Terroristen auffallen werden.
Ich verstehe das Netz als freien Raum, aber nicht als regelfreien oder gesetzfreien Raum. Eine Behörde die mittels eines Werkzeugs, hier eine wie auch immer geartete AI, nach rechtlichen Verstößen im Netz sucht, und diese von Menschen prüfen lässt um sie, sofern sie einen Gesetzesverstoß darstellen, zur Anzeige zu bringen, hat für mich wenig mit „Überwachungs-KI“ zu tun. Mir fehlt in diesem Artikel ein wenig die Objektivität (eigene Meinung). Welche Inhalte als jugendschutz-rechtlich fragwürdig und verboten eingeschätzt werden sind meines Erachtens unabhängig von dem eingesetzten Mittel und gehören gesondert diskutiert (hier vielen Dank für die bisher ausführliche Berichterstattung zum Thema).
Hallo Teddy o/ Die Bezeichnung Überwachungs-KI hat die Medienaufsicht selbst gewählt, siehe „Der Name setzt sich zusammen aus der Abkürzung für Künstliche Intelligenz, KI, und den ersten Buchstaben des lateinischen Wortes ‚vigilare‘, überwachen.“
Teddy: Doch, es ist eine Überwachung, weil der Gegenstand, der überwacht werden soll, gar nicht überwachenswert ist. Warum?
1. Pornographie (mit Ausnahme der Kinderpornographie) und deren Konsum muss nicht bekämpft und überwacht werden, weil die Idee, sie überwachen zu wollen, einzig und allein auf den Moralvorstellungen bestimmter Personen(gruppen) und nicht auf objektiv nachweisbarer Schadwirkung beruht.
2. Es ist Sache der Erziehungsberechtigten, Heranwachsende über Pornographie und Sexualität aufzuklären und nicht Angelegenheit des Staates.
3. Im Fall extremistischer Bestrebungen/Gewalt verwundert es doch, wenn diese einerseits sinvollerweise bekämpft werden sollen, jedoch allein schon im Fernsehen dermaßen viele Leichen „produziert“ werden, dass das Vorhaben mehr als doppelzüngig erscheint.
Ich denke, dass es sich um eine KI handelt, die etwas überwacht ist unstrittig, oder? Vielleicht ein etwas polarisierender Begriff, aber im Kern definitiv nicht unpassend.
Ob man das jetzt legitim und gut findet oder nicht, kann sicherlich diskutiert werden.
Ich halte es aber für offensichtlich, dass auch zur Durchsetzung von Gesetzen nicht alle Mittel immer angemessen sind, die Frage ist nur, wann diese Linie übertreten wird.
Also konkret: Dass die KI „das Internet überwacht“, um Jugendschutz durchzusetzen, macht sie nicht weniger überwachend.
Ich kann deine Aussage komplett unterschreiben. Zudem muss man bedenken, dass diese „Überwachungs-KI“ nur öffentlich im Internet verfügbare Inhalte scannt. Diese Inhalte können auch ohne diese KI von jedermann gefunden und gemeldet werden. Wenn man sich die starke Zunahme im Bereich der Hassnachrichten, Beleidigungen, Drohungen etc. anschaut, empfinde ich diesen Ansatz, potentiell erstmal sogar wünschenswert. Zumal hier nicht wie bei vielen Betreibern im Social Media Bereich, mit nicht nachvollziehbaren Begründungen, Inhalte entfernt werden. Und dabei teilweise nur sehr schwierige bis nahezu keine Widerspruchsmöglichkeiten existieren, bzw. diese einfach ignoriert werden. Da sehe ich die Weitergabe an strafverfolgende Behörden als eine deutlich legitimere Möglichkeit an. Da hierbei wie bereit erwähnt auch nur öffentlich zugängliche Inhalte überprüft werden, sollte die Weitergabe auch bei fehlerhaften Bewertungen der KI nicht sonderlich invasiv sein.
Die Umsetzung und insbesondere die gesetzten Schwerpunkte sind allerdings wiederum eine ganz andere Sache. Im Speziellen die steigende Verfolgung von Pornografie sehe ich allerdings auch eher als ein gesellschaftliches Problem. Zum einen sind wir permanent mit Technologien konfrontiert, die ein großer Teil der Gesellschaft nicht einmal im Ansatz versteht, was dann auch zu einer Unfähigkeit führt, diese möglichst abzusichern, bevor man den Kindern darauf Zugriff gibt. Zum Anderen scheint die deutsche Gesellschaft sich auch immer weiter der amerikanischen Einstellung zu Pornografie anzunähern, wodurch die Ächtung dieses Themas weiter verstärkt wird.
Abschließend wirkt dieses ganze Thema um diese KI zudem wie ein simpler Marketingschachzug. Diese Annahme verstärkt sich beim Betrachten der Erkennungsraten. Somit bleibt für mich nur der Eindruck von Symbolpolitik.
Ich möchte keine große Aussagen zur verwendeten Software treffen. Aber dass man für schlappe 164.000€ keine Super-KI bekommt sollte klar sein. Ich würde sogar vermuten, dass hier hauptsächlich Open-Source Software zusammengestellt wurde die den gewünschten Zweck erzielt (und das eher mittelmäßig, wir haben schließlich keine Daten über die „übersehenen“ Dinge, sondern wissen nur dass zwei Drittel der Treffer daneben liegen).
Und Dinge die nur nach Login sichtbar sind entgehen der KI onhnehin. Ich gehe nicht davon, dass man den Bot dazu gebracht hat sich _überall_ automatisch einen Login oder Account zu erstellen (das schaffen nicht einmal professionelle Spammer), und Unternehmen wie Facebook/Twitter/etc investieren in der Regel viel Geld in ihre Systeme um Bots (nichts anderes ist es wenn man das Internet automatisiert abgrast) zu erkennen und auszusperren.
Mich würde also wirklich interessieren welche Seiten im Internet hier genau überwacht werden. Denn „das Internet“ als ganzes überwacht man mit so einem Budget doch eher nicht.
Was außer Open-Source soll man denn nehmen, wenn man es selber baut?
Ich vermute das Gegenteil: mit dem Budget kaufen die Lizenzen für mittelmäßige geschlossenquelltextige Wolkenversprechen (Krabbeln und Verdauen 24/7, o.ä.).
Das Problem liegt darin, dass die Medienaufsicht das macht. Das gehört in ein real existierendes IT-Komptenzzentrum rein, und dann nicht so jedes Land für sich irgendwas, aber global und sofort.
Auch wenn zum jetzigen Zeitpunkt die Ziele enger definiert sind, die Vorgehensweise der algorithmischen Überwachung entspricht dem chinesischen Vorbild.
Die algorithmische Überwachung wird durch die anschließende menschliche Bewertung immer weiter optimiert. Die Optimierung berücksichtigt die Erfahrungen (auch Vorurteile und politische Einstellungen) der mit der Überwachung betrauten Menschen.
Eine optimierte Überwachungs-KI wird zwangsläufig auch Hinweise auf das Sozialverhalten von Chatteilnehmern beachten und damit die Grundlage eines allgemeinen Bürgerscorings schaffen. Intransparente Scoringverfahren sind im Bereich der Bonitätsanfragen längst etabliert.
Tja, der SUV des deutschen Buergers faehrt halt nicht nur auch ohne Wald sondern auch ohne Demokratie und sogar auch ohne Freiheit, solange kein Tempolimit kommt.