Vorbei die Jahre, als die Medienaufsicht vor allem mit Radio und Fernsehen beschäftigt war. Jetzt ist die Aufsicht auch fürs Internet zuständig – und mit dem Internet für eine schier nie enden wollende Flut an Rechtsverstößen.
Ob Extremismus, Volksverhetzung, Hakenkreuze, Pornografie oder Verherrlichung von Drogen – all das und mehr soll ein neues KI-Tool namens KIVI jetzt für die Medienaufsicht im Netz entdecken können. „Modernste“ Technologie, heißt es auf der Website der Landesmedienanstalt NRW.
Entwickelt wurde das Tool von der Berliner IT-Firma Condat. Die Herkunft des Namens erklärt Tobias Schmid, Direktor der Landesmedienanstalt Nordrhein-Westfalen, so: KIVI setze sich zusammen aus „KI“, der Abkürzung für Künstliche Intelligenz, und dem lateinischen Wort „vigilare“ – überwachen. Eine „Überwachungs-KI“ also. Schmid nennt das eine „fantastische Kombination“.
Nachdem die Medienanstalt NRW den Anfang gemacht hat, wird KIVI nun von allen 14 Landesmedienanstalten in Deutschland eingesetzt, wie die Medienaufsicht in einer Pressekonferenz am 7. April mitteilte. Von KIVI erfasst würden demnach Texte, Bilder und einzelne Frames von Videos. Unterwegs sei KIVI auf klassischen Websites sowie auf Telegram, Twitter, YouTube, TikTok, dem russischen Facebook-Konkurrenten VKontakte und dem Videoportal Bitchute.
Bereits doppelt so viele Strafanzeigen durch KI
20.000 potentielle Verstöße habe KIVI innerhalb eines Jahres erkannt. Die Verstöße werden dann in einem Ticketsystem von Menschen überprüft. Das sind laut Medienaufsicht NRW um die acht studentische Hilfskräfte und sieben Jurist:innen. Nach dem Aussortieren irrtümlicher Treffer seien 6.700 Verstöße übrig geblieben. Einige Treffer von KIVI führen etwa zu Meldungen bei den Plattformen, andere auch zu Strafanzeigen.
Die Anzahl der Strafanzeigen habe sich durch die KI verdoppelt, sagt Juristin Dr. Laura Braam. „Momentan reichen wir 30 Strafanzeigen pro Monat ein“. Vor der KI habe man das Netz händisch durchsucht. Das sei extrem zeitaufwendig gewesen. Nun erfasst die Medienaufsicht wesentlich mehr und hat entsprechend öfter mit der Polizei zu tun.
Medienaufseher Schmid bezeichnet die Zusammenarbeit mit dem Landeskriminalamt NRW als „sehr gut“. Als nächstes bereite man die Zusammenarbeit mit dem BKA vor, so Schmid. Wenn die Kolleg:innen des BKAs bei der Ermittlung helfen, „bin ich ziemlich sicher, dass wir die massenhaft auflaufenden Fälle auch sukzessive in den Griff kriegen“.
Medienaufsicht: Rechtsdurchsetzung „paneuropäisch hinkriegen“
KI und Computer sind sehr gut darin, Dinge zu skalieren – und genau das liegt offenbar im Interesse der Medienaufsicht. Mehr Überwachung, mehr entdeckte Rechtsverstöße, mehr Anzeigen. Der Einsatz von KIVI durch alle deutschen Landesmedienanstalten ist nur der Anfang. Medienaufseher Schmid hofft auf ganz Europa. „Es gibt keine andere Nation, die ein vergleichbares Instrumentarium hat zur Rechtsdurchsetzung im Netz“, sagt Schmid. Zu den nächsten Fragen gehöre: „Wie sorgen wir dafür, dass wir das paneuropäisch hinkriegen?“
Der Grundstein dafür ist gelegt. Regulierungsbehörden der 27 EU-Mitgliedstaaten haben sich im Jahr 2014 in einer Gruppe namens ERGA (European Regulators Group for Audiovisual Media Services) zusammengeschlossen, 2020 und 2021 war Schmid Vorsitzender des Gremiums. Mit Vorstößen wie dem KIVI scheint sich Deutschland in der Gruppe hervorzutun. Darüber hinaus spricht Schmid eine mögliche, zusätzliche Unterstützung vonseiten der Plattformen an. „Ich glaube schon, dass die Plattformen dazu verpflichtet werden sollten, uns dabei zu helfen“.
KIVI könnte zudem noch deutlich mehr Verdachtsfälle liefern als aktuell. Derzeit schicke man KIVI nur wochentags drei bis vier Stunden lang auf die Suche, erklärt Sacha Prelle von der IT-Firma Condat. Man könne KIVI aber auch 24/7 laufen lassen. Das Problem sei die Menge der Treffer.
Mit Menge kennen sich große Plattformen wie Facebook und TikTok gut aus. Sie beschäftigen Tausende Löscharbeiter:innen, die missbräuchliche Inhalte überprüfen und löschen. Dabei kommen auch KI-Tools zum Einsatz. Seit Jahren zeigen journalistische Recherchen: Selbst bei konzentrierter Arbeit im Akkord können Plattformen die Löscharbeit ihrer eigenen Inhalte allenfalls mühsam bewältigen. Immer wieder klagen Angestellte über belastende Arbeitsbedingungen und traumatische Folgen der Arbeit.
Es nicht zu tun, sei „keine Option“
Während die reichsten Konzerne der Welt also das Problem der Löscharbeit kaum stemmen können, möchte nun auch die deutsche Medienaufsicht selbst Löscharbeit machen – Inhalte aufspüren, finanziert durch den Rundfunkbeitrag. Warum?
„Mein Job ist in einem Punkt ganz einfach“, erklärt Schmid in der Pressekonferenz. „Wir sind eine Exekutivbehörde mit einem gesetzlichen Auftrag.“ Der Auftrag laute: „Ich soll die Rechtsordnung, so wie sie besteht, verteidigen, um Freiheit zu ermöglichen“. Es könne sein, dass man im Moment nur einen winzigen Teil der Delikte mitbekomme, so Schmid. Aber die Alternative wäre, es zu lassen. Das sei keine Option.
Als Beispiel beschreibt Schmid ein Szenario, wie es wäre, wenn man Plattformen wie Facebook die Verantwortung allein überlassen würde. Das führe dazu, dass man damit leben müsse, „dass in Zukunft der moralische, politische, emotionale Maßstab von Herrn Zuckerberg“ entscheide. Es gebe zwar das NetzDG (Netzwerkdurchsetzungsgesetz), aber das sei ein „sehr eingeschränkter Bereich von Delikten“. Das NetzDG erfasst etwa volksverhetzende Inhalte oder öffentliche Aufrufe zu Straftaten.
Einen kurzen Einblick in die konkrete Arbeit der KI gab es zu Beginn der Pressekonferenz. Eine Mitarbeiterin teilte ihren Bildschirm und zeigte die Oberfläche von KIVI. Ein Counter zeigte die Zahl 23.341. Sichtbar waren die jüngsten 20 Ergebnisse. Sie alle wurden laut Zeitstempel am Morgen des 7. April gefunden. Gleich neun dieser Ergebnisse kamen von zentralrat.de – das ist die Website des Zentralrats der Muslime. Anfang dieses Jahres hat der Zentralrat der Muslime laut Deutscher Presse-Agentur einen Verein ausgeschlossen, den der Verfassungsschutz dem Netzwerk der Muslimbrüder zurechnet.
Extremismus-Treffer beim Zentralrat der Muslime
Neben den neun Treffern von zentralrat.de war das Symbol einer gereckten Faust zu sehen. Bei KIVI steht das für „politischen Extremismus“, beispielsweise Volksverhetzung. Die dazu gehörigen URLs waren sichtbar. Tippt man eine davon in den Browser, erscheint eine Pressemitteilung vom 7. Juli 2005, in der es hießt: „Der Zentralrat der Muslime in Deutschland (ZMD) ist erschüttert und entsetzt über die Serie der barbarischen Terroranschläge in London.“ Politischer Extremismus ist auf dieser Seite nicht unmittelbar zu erkennen – wohl aber Stichworte wie „Terror“ und „Islam“.
Für die kuriosen Treffer könnte es alle möglichen Gründe geben. Wir haben die Pressestelle der Landesmedienanstalt gefragt, ob hinter diesen KIVI-Treffern möglicherweise antimuslimischer Rassismus stecken könnte. Wenn wir eine Antwort erhalten, werden wir den Artikel aktualisieren.
Generell übernimmt Künstliche Intelligenz häufig Voreingenommenheiten, Vourteile und Verzerrungen ihrer Trainingsdaten. Dieses Phänomen wird als Bias bezeichnet. Die KI der Medienaufsicht sei unter anderem mit Material der Landesmedienanstalt NRW trainiert worden, erklärt Sacha Prelle von der IT-Firma Condat. Sie lerne kontinuierlich dazu, wenn bei der Überprüfung durch Menschen Treffer als irrtümlich gekennzeichnet werden. Medienaufseher Schmid bezeichnet das KI-Tool in der Pressekonferenz als „neutral“, die Suche als „so herrlich unkorrupt“.
Ein klarer Vorteil von KIVI ist, dass Mitarbeiter:innen der Medienaufsicht nicht mehr unmittelbar mit möglicherweise traumatischen Inhalten konfrontiert werden. KIVI präsentiert Bilder zunächst in einem kleinen Vorschaufenster und stark verschwommen. Mitarbeiter:innen können zunächst lesen, um welche Art von Inhalt es sich möglicherweise handelt – etwa Gewalt oder Pornografie. Dann können sie mit einem Schieberegler vorsichtig die Bildschärfe erhöhen, um den Inhalt zu überprüfen. Solche Maßnahmen wurden etwa auch für TikTok-Löscharbeiter:innen gefordert, damit die Löscharbeit weniger belastend ist.
„KI und Computer sind sehr gut darin, Dinge zu skalieren“ zusammen mit „20.000 potentielle Verstöße habe KIVI innerhalb eines Jahres erkannt. Die Verstöße werden dann in einem Ticketsystem von Menschen überprüft. Das sind laut Medienaufsicht NRW um die acht studentische Hilfskräfte und sieben Jurist:innen. Nach dem Aussortieren irrtümlicher Treffer seien 6.700 Verstöße übrig geblieben.“
Also die KI sorgt für 70% falsche Treffer. Ich denke als nächsten Schritt wird man das Überprüferteam skalieren müssen. (und aufhören Studenten auszubeuten …).
Wir haben sowieso zu viele Jurist*innen an den Unis ausgebildet. Das wäre doch für diese eine Karrieremöglichkeit – und bestimmt lukrativ noch dazu, man hat schließlich ein (oder zwei) Staatsexamen und der ÖR bezahlt immer gut.
Aber ganz im ernst: mich würde es wirklich interessieren was man als „Jurist*in“ (wie immer das nun genau definiert sein mag) als „Löscharbeiter*in“ der Medienaufsicht verdient.
Die Landesmedienanstalten werden durch die Rundfunkbeitraege finanziert, Geld spielt fuer die Verantwortlichen wie die Politik also keine Rolle. Erfolgskontrollen gibt es ohnehin nicht.
„mich würde es wirklich interessieren was man als „Jurist*in“ (wie immer das nun genau definiert sein mag) als „Löscharbeiter*in“ der Medienaufsicht verdient.“
mich interessiert noch mehr die gehaltslücke zu den studi-hilfskräften.
Das Überwacherteam müsste aber wirklich MASSIV skaliert werden. Und dann benötigt dieses System ja auch deutlich mehr Personal, um die entdeckten Verstöße auch (straf)rechtlich zu verfolgen oder zivilrechtlich zu sanktionieren. Denn wie der Schmid sagte: „Nichtstun ist ja keine Option“. Wobei der auch nicht mitbekommen hat, dass Facebook und Konsorten ja schon längst die Maßstäbe setzen, aber ist halt Neuland.
Das einzig praktikable wäre vermutlich, subsidiär auf der Ebene von, hmm, sagen wir Straßenzügen und Wohnblöcken eine Art… Internetwart einzustellen?
Skalieren? Naaa.
+Blockchain
+Crypto
+ZukünftigesTrendyBuzzword.
Oder? :-)
Wahrscheinlicher wird nur das Ticketsystem per Internet Exportiert. In die Länder in denen eh schon Löscharbeiter von Großkonzernen ausgebeutet werden. Das ist dann vermutlich NOCH billiger als Studenten ausbeuten. Oder es gibt eine SuperSpezialsierte Wunder-KI für Hassrede, eine für Terror u.s.w. und an die wird das dann weiter geleitet. Und am Ende der Kette weiß keiner mehr um was es eigentlich noch ging!?
„Ob Extremismus, Volksverhetzung, Hakenkreuze, Pornografie oder Verherrlichung von Drogen – all das und mehr soll ein neues KI-Tool namens KIVI jetzt für die Medienaufsicht im Netz entdecken können.“
Wem bei diesem Satz kein kalter Schauer über den Rücken läuft offenbart über sich selbst, dass er nicht den blassesden Schimmer von KI hat.
Der naechste Schritt der Skalierung ist dann natuerlich das automatische Verhaengen von Strafen, deren Durchsetzung man dann analog dem Abmahnwesen privatisieren kann.
Interessant ist, dass es weder eine Machbarkeitsstudie noch eine Datenschutz-Folgenabschätzung für das „KI-Tool“ gibt. Meines Erachtens nach ein klarer Verstoß gegen Vergaberichtlinien und die DSGVO: https://fragdenstaat.de/anfrage/machbarkeitsstudie-zum-einsatz-eines-ki-tools-1/
“ Man könne KIVI aber auch 24/7 laufen lassen. Das Problem sei die Menge der Treffer.“
Ja, welch wundersame Überraschung. Ich wage mal eine waghalsige Hypothese: Die enorme Anzahl der Treffer zeigt nicht, wie gemein, böse und gefährlich das unregulierte Internet ist.
Vielmehr zeigt eine systematische und flächendeckende Überwachung des mittlerweile zentralen Mediums der persönlichen wie gesellschaftlichen Kommunikation halt einfach mal einen Großteil der Verstöße gegen Gesetze & Sozialnormen auf, die eine Bevölkerung von über 80 Millionen halt tagtäglich von sich gibt.
Vielleicht sollte ich der hiesigen Landesmedienanstalt meine Bücher vom Regalbrett „Soziologie/Sozialpsychologie/Kriminologie“ schenken, zusammen mit einem Exemplar von 1984. Jaja, letzteres ist ausgelutscht, aber offenbar gibt es immer noch Leute, die glauben, wenn ich allen Bürger*innen dauerhaft und automatisiert in Herz und Hirn gucke, wird alles brav und gut.
Sehe ich das falsch oder ist die Landesmedienanstalt NRW nicht nur für NRW zuständig? Dann sollen die gefälligst auch nur im NRW-Internet mit ihrer KI Spuk treiben.
Wie wird man eigentlich Chef einer Landesmedienanstalt? Herr Dr. Tobias Schmid ist das seit 2017, und war vorher über 10 Jahre bei RTL, und davor 5 Jahre beim Home Shopping TV . Er hat Rechtswissenschaft studient und Ende der 90er promoviert. Ist das der Lebenslauf, der einen zum Chef einer „Exekutivbehörde mit gesetzlichem Auftrag“ macht?? (Okay, er ist jetzt auch noch Testimonial der Condat AG). Übersehe ich da etwas, oder hat der Herr einfach das nötige Vitamin B im Blut? (Parteipolitisch scheint er nicht in Erscheinung getreten zu sein)
Mir kommt das irgendwie komisch vor – als ob man bald Julian Reichelt zum Jugendschutzbeauftragten des NDR machen würde.
Klingt beim Herrn Schmid nach einer Bertelsmann-Karriere. Passt doch super. Die kümmern sich doch auch um Uploadfilter und Contentmoderation/Informationsangebote auf Social Media. Fehlt nur noch „Fact Checking“, damit auch niemand „Desinformationen, Hass und Hetze“ wie z.B. Kritik an HartzIV, der Bologna-Reform oder der Privatisierung und Rationalisierung des Gesundheitssektors verbreiten kann, denn damit soll Bertelsmann auch irgendwas zu tun haben. Oder gibt es auch schon die Bertelsmann-Arvato-Fakten-KI? Wenn nicht, könnte sich Herr Schmid sicher auch darum noch kümmern.
Mich wundert hierbei vielmehr folgendes:
Die Landesmedienanstalt NRW ist JETZT AUCH für das Internet zuständig?
Wer hat das Beschlossen? Und was ist mit den genannten 14 anderen Medienanstalten?
Da die Landesbehörden sind, würde ich doch annehmen das deren Zuständigkeit an ihren jew. Landesgrenzen endet. Das Heißt: Die LMA NRW könnten und dürften lediglich Verstöße ahnden die auch aus NRW kommen. Bei allem anderen aus DE spucken sie folglich einer anderen LMA in die Suppe. Was nicht schlimm wäre wenn es untereinander Daten/Informations-austausch gäbe o. geben dürfe. Und jede LMA nutzt eine auf ihr Land speziell Trainiertes KIVI???
Ist hier ein Mißverständnis versteckt. Glaubt der Herr Schmid in seinem Wahn er sei auch für alle Internetinhalte zuständig die lediglich AUCH in seinem Ländle abrufbar seien? Ich denke daher kommt deren Zensierwahn gegen pornoportale u.a. dies im eigenen Bundesland nicht mehr abrufbar zu machen.
Das man dabei weit über’s ziel hinaus schießt ist klar. Aber generell spuckt er damit einer Welt-Internet-aufsichtsbehörde in die Suppe…. öh, so eine gibt es nicht? Ach was! Wie kommt das nur?
Und das fehlen eines Gesetzes zum Herbeiführen einer Explosion mittels Kernenergie (ja, so eines gibt’s in DE) führte also auch automatisch zum Zünden diverser Schmutziger oder Atombomben??? :-) [KIVI Triggerwarning: False Positive]
HALLOO, Landesmedienanstalt NRW. Bitte mal aufwachen! Ihr könnt gern eure Bürger schützen vor unrecht das aus eurem lande kommt. Aber unrecht das aus aller Welt in eurem Lande „rechtmäßig“ frei abrufbar ist geht euch einen Feuchten Dreck an. Und schon gar nicht ist das ein Grund für Massenüberwachung mit einer Wunder-KI. Die schießt auch über’s Ziel hinaus.
Wie heißt es doch so schön. You had ONE Job! Epic Fail!
Interessant das man den Zentralrat der Muslime nun auf der Positivliste hat. Jetzt können die ja unverblümt Terrorpropaganda und Hassbotschaften verbreiten weil KIVI auf dem Auge nun erblindet ist. Nicht das der ZMD es tun wollten oder müßten – aber sie könnten ja nun. Tolle Arbeitserleichterung, und skaliert bestimmt wunderbar. Die LMA NRW stecke ich jetzt in meine Negativ-Liste. Mal sehen was passiert (Ich rate: Nix!) :-)
N.B. Kommt mir fast so vor als fehle beim Kürzel LMA noch ein weiteres A dahinter. Ich fühle mich jedenfalls verarscht.
„Die Landesmedienanstalt NRW ist JETZT AUCH für das Internet zuständig?
Wer hat das Beschlossen? Und was ist mit den genannten 14 anderen Medienanstalten?“
Das steht im neuen Medienstaatsvertrag unter §106 (der letzte Halbsatz ist fürs Internet wohl der entscheidende):
„§ 106 Zuständige Landesmedienanstalt
(1) Soweit nachfolgend nichts anderes bestimmt ist, ist für bundesweit ausgerichtete Angebote die Landesmedienanstalt des Landes zuständig, in dem der betroffene Veranstalter, Anbieter,
Bevollmächtigte nach § 79 Abs. 1 Satz 2 oder Verantwortliche nach § 18 Abs. 2 seinen Sitz, Wohnsitz oder in Ermangelung dessen seinen ständigen Aufenthalt hat.
Sind nach Satz 1 mehrere Landesmedienanstalten zuständig oder hat der Veranstalter oder Anbieter seinen Sitz im Ausland, entscheidet die Landesmedienanstalt, die zuerst mit der Sache befasst worden ist.“
Das heißt also in der Tat: Dr. Schmid kann sich in NRW praktisch jedes Internet-Thema schnappen wie er gerade lustig ist, solange er dabei der erste ist. Siehe auch „Porno-Filter“.
Viel Wind um eigentlich nichts, denn Zuständig ist man nur für Inhalte die unter Medien fallen. Sie müssen Öffentlich und eine Gewisse Reichweite Aufweisen das man hierfür überhaupt zuständig ist. Das wirkliche Gesellschaftliche Problem findet aber nicht öffentlich statt, bzw. in Kanälen die zuerst der Aufsicht nicht bekannt sind. Somit auch nicht durchsucht werden. Würde man pauschal alles durchsuchen wäre die Flut an Daten kaum beherrschbar. Der KI fehlt eben das Menschliche den Kontext der Äußerung zu verstehen. Von Interesse wäre wie viel hat man für die Software bezahlt? Welche Kriterien gibt es um den Erfolg dieser Lösung nachzuweisen? Werden diese Öffentlich Kontrolliert? Die Fragen werden dann auch die Gerichte stellen und dann ist das Thema vermutlich auch wieder vom Tisch.
Noch ein Nachtrag:
Betreiber könnten auch die IP des Dienstes blockieren und auch solch ein durchsuchen nach Inhalten erkennen. Man hat das Internet bis heute nicht verstanden…
> die IP des Dienstes blockieren
Natürlich könnten alle Dienste die NRW-Kivi blocken. So wie NRW auch gern gewisse Dienste blocken möchte.
Das führt regelmäßig zu Überblockierungen und kann mit einem VPN und Exit Node im Passsenden IP-Bereich auch umgangen werden. Und auch bei IP-Sperren kann man nicht sicher sein das man wirklich nur die richtigen unerwünschten Blockiert und die richtigen Nutzer nicht.
Hätte das z.B. verhindert das aus deutschen Behördennetzen in der Wikipedia Wild herum-editiert würde?
Die Filter-Algorhythmen eines KI-Überwachungstools müssen genauso offen einsehbar sein wie unsere Gesetze. Ist das nicht der Fall, wird das Tool bereits mißbraucht und muß abgeschaltet werden.
> Die Filter-Algorhythmen eines KI-Überwachungstools
,,, müssen sie vermutlich nicht offen legen. Es sei denn die Sache wird weiter automatisiert/skaliert so das die KI selbst schon sperrverfügungen veranlaßt.
Bis dahin ist das nur ein Abgehobenes Suchwerkzeug das durch Filter einseitig blind, rassistisch oder anders nicht mehr objektiv ist. Und so lange wird man menschliche Begutachter brauchen die auch nie ganz objektiv sein können und die Sache mit der Skalierung bleibt ein Problem. Aber ein Netter Weg sich nicht in die Karten/Filter schauen zu lassen ist das dann so oder? :-(
Nächster Schritt: Offenlegung von Geschäftsgeheimnissen (Ersteller der KI) geht nicht also abgelehnt!
Mögest du in interessanten Zeiten leben!?
Die Empfehlungs- und Sortieralgorithmen sind für sich schon mal völlig unklar.
Kann gut sein, dass bestzahlende Kunden und Geostrategie (also indirekte Zahlung von Behörden und sonstwem) da auch mit reinspielen.
Stabile Ergebnisse liefern diese modernistischen Suchen i.A. nicht, d.h. die versuchen wohl auch mit Statistik Ergebnisse im Rang zu randomisieren bzw. zu berücksichtigen. Muss nichts Böses sein, würde z.B. eine Unsicherheit durch Randomisierung des Ranges ausgedrückt. Es liegt lediglich nahe, dass verschiedene zahlende Kunden da mit Wahrscheinlichkeiten (x, y, …) mit berücksichtigt werden, auf welche konkrete oder indirekte Weise auch immer.
Letztlich kann man nur empfehlen, NGO- bzw. Forschungsgetriebene und geförderte Alternativen zu bieten, bei denen der gesamte Quellcode, mindestens die Auswahlalgorithmen mit Forschungsergebnissen und Erklärungen der Parameter, offenliegen. Entsprechend sind die privaten Anbieter zu meiden.