KI-gestützte VideoüberwachungCCC warnt Berlin vor automatischer Verhaltenserkennung

Laut Chaos Computer Club sind Verhaltensscanner, die Berlin bald aufbauen will, „gefährlicher Mumpitz“. Er warnt das Bundesland – und auch alle anderen Städte und Länder, die die neue Technologie einsetzen oder einsetzen wollen – davor, autoritäre Staaten als Blaupause zu nutzen.

Eine pinke Kamera mit Auge statt Linse.
Auch wenn kein Mensch den Bildschirm beobachtet: Der Verhaltensscanner prüft, ob du artig bist. – Alle Rechte vorbehalten Imago / Westend61

Berlin will bald erstmals Straßen und Plätze mit Videokameras überwachen. Hinter diesen Kameras soll ein System laufen, das automatisch analysiert, was die abgebildeten Menschen gerade tun. Es soll Alarm geben, sobald es eine Tätigkeit erkennt, die für die Polizei von Interesse ist.

Der Chaos Computer Club (CCC) warnt vor einem derartigen Ausbau der Verhaltensüberwachung im öffentlichen Raum. „Er bedeutet einen großen Schritt in Richtung automatisierter Dauerbeobachtung“, schreibt er in einer Pressemitteilung. Dabei sei die Technik vor allem eines: „teurer, aber gefährlicher Mumpitz“.

„Automatisierte Verhaltensüberwachung ist Sicherheitstheater“, sagt Matthias Marx, CCC-Sprecher, „denn es gewöhnt uns an ständige Überwachung und Analyse unseres Alltags. Wir dürfen autoritäre Staaten und ihren Technologieeinsatz nicht als Blaupause nutzen.“

Testfeld für Technologien

Laut CCC wird damit der öffentliche Raum zum Testfeld für Technologien, die alle vorbeikommenden Menschen unter Verdacht stellen. An vielen Orten wird bereits mit Verhaltensüberwachung experimentiert. „Da will das notorisch klamme Berlin nicht nachstehen und plant nun ein Millionenprojekt zur Verhaltensüberwachung durch intransparente Software. Dabei war schon der letzte ‚KI‘-Versuch am Berliner Bahnhof Südkreuz peinlich gescheitert“, schreibt der CCC.

In Mannheim wird seit 2018 Verhaltensscanner-Software trainiert, 2023 zog Hamburg nach, seit vergangenem Jahr gibt es die Technologie auch in Bremens Tram-Bahnen. Zahlen zum Nutzen der Technologie hat noch keines der Länder vorgelegt. In Mannheim, dem dienstältesten Verhaltensscanner-Freiluftlabor, kann man keinen einzigen Fall nennen, in dem die Technologie eine Ermittlung unterstützt hat.

Wir sind communityfinanziert

Unterstütze auch Du unsere Arbeit mit einer Spende.

Dennoch will Berlin nun ebenfalls Verhaltensscanner einführen. Das Bundesland ist damit nicht allein. Hessen, Baden-Württemberg und Sachsen-Anhalt haben das Tool ebenfalls bereits erlaubt, Niedersachsen, Schleswig-Holstein und Thüringen arbeiten an einer entsprechenden Änderung ihrer Polizeigesetze.

Die Gefahr des Andersseins

Der CCC schreibt: „Dabei ist völlig unklar, wie Polizei, Hersteller und schließlich auch die ‚KI‘ überhaupt unerwünschtes Verhalten definieren. Es bleibt intransparent, ob längeres Verweilen an einem Ort, Menschenansammlungen, zwischenmenschliche Berührungen oder hektische, ruckartige oder auch nur unregelmäßige Bewegungen als verdächtig eingestuft werden. Es besteht die Gefahr, dass jede Form des Andersseins dazu führt, häufiger als ‚auffällig‘ markiert zu werden.“

Man sollte erwarten, schreibt der CCC, dass sich die Polizei beim Erproben dieser Technologien strikt an Recht und Gesetz halte, schließlich dürfe der öffentliche Raum kein rechtsfreier Raum sein. „Aber vergangene Testprojekte zeigten wiederholt, beispielsweise am Hamburger Hansaplatz: Die Polizei setzt sich locker über Vorgaben hinweg, evaluiert ihre Experimente einfach selbst, schönt die Ergebnisse und zieht eine nachvollziehbare wissenschaftliche Begleitung nicht mal mehr in Betracht. Zuweilen erfahren die zuständigen Datenschutzbehörden erst aus der Presse von diesen digitalen Menschenversuchen.“

In Mannheim und Hamburg werden die Systeme mit den Daten von Menschen trainiert, die sich in den überwachten Arealen aufhalten. Teils wissen die nicht einmal davon, dass sie gerade gefilmt werden. „Das ist eine Zweckentfremdung sensibler Daten und ein schwerer Eingriff in das Grundrecht auf informationelle Selbstbestimmung“, schreibt der CCC. Er fordert, alle Projekte zur automatisierten Verhaltensüberwachung zu beenden, und eine generelle Abkehr von Überwachungsinfrastruktur, die auch von autoritären Staaten genutzt wird.

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

4 Ergänzungen

  1. Unsere Freiheit ist nicht durch die AfD gefährdet sondern durch die aktuellen Landesregierungen und die Bundesregierung. Ganz besonders tun sich dabei die sog. Sicherheitsbhörden, wie Polizei und Geheimdienst hervor, die für Unsicherheit sorgen. Deutschland unterscheidet sich nur geringfügig in dieser Hinsicht von so. Schurkenstatten, denn auch hierzuland gelten Grund- und Menschenrechte bei der Polizei wenig. Wen wundert es, daß die Institution keinerlei Respekt mehr in der Bevölkerung genießt.

    1. Also hier im Block geniessen Polizei und andere staatliche Stellen keinen Respekt, weil sie sich in den Augen der anders sozialisierten Bewohner keinen Respekt verschaffen. Denen fehlt Autorität und deren harte Durchsetzung, und daher hat man kein Vertrauen, selber bei Bedarf geschützt zu werden. Die Leute kommen aus Systemen, in denen Regelbefolgung ohne Zwang idR kontraproduktiv ist, einfach mal mit denen unterhalten, um das eigene Bild von Deutschland zu erweitern…

      1. Darf ich sagen, dass ich deine Sicht nicht bestätigen kann und sie absurd und kontraproduktiv finde?

        Ich hatte aus verschiedenen Gründen öfter mal Kontakt mir der Polizei. Die kann sich durchaus Respekt verschaffen, schneller als du bis drei zählen kannst. Ich hoffe mal, du zwingt sie niemals dazu. Aber wenn du das brauchst… tja.

        Die Polizisten, die hier (ohne meine Einladung) ab und an vor der Tür standen, sind durchaus kompetent und trotz eines strengen Blicks und anderer Meinung vernünftige Leute und Profis.

        Eine gute Gelegenheit ihnen mal zu danken. Ich weiß, es ist nicht immer einfach, teils echt absurd. Ihr versucht das Beste in manchmal sehr schwierigen und schon mal sehr belastenden Situationen.

        Also: trotz einiger Fehler (nicht oder nur minimal mir gegenüber!) und Meinungsdifferenzen (auch mir mir) meinen ehrlichen Respekt. Habt ihr wirklich verdient.

        Sorry, mehr aus dem Nähkästchen will ich nicht sagen. Aber lasst mir die in Ruhe, die ihren Job tun!

  2. „Dabei ist völlig unklar, wie Polizei, Hersteller und schließlich auch die ‚KI‘ überhaupt unerwünschtes Verhalten definieren“

    Das ist korrekt. Und nicht nur das. Denn eine KI bewertet ganz anders, als ein Mensch. Sie entdeckt ganz andere Kriterien in den Lerndaten, ohne die Hintergründe „reflektieren“ zu können. Da kann die Art deiner Kleidung, das Wetter, deine Augenfarbe, Größe, Geschlecht, sogar die Farbe deiner Haut eine Rolle bei der Bewertung, was aggressives Verhalten sein soll, spielen.

    Wie eine komplexe KI zu Entscheidungen kommt, lässt sich praktisch nicht feststellen. Das ist aktueller Forschungsgegenstand und es ist kein Ende abzusehen.

    KI kann schlecht auf Veränderungen reagieren, etwa wenn Mode sich ändert. Genauer gesagt, kann man nicht vorhersehen, wie „sie“ reagiert. Man kann das nicht später „reparieren“. Sie wird immer wieder zu Fehlschlüssen kommen (Halluzinieren), die für Betroffene wenigstens unangenehm werden und sehr hohe Kosten für den Betreiber verursachen können. Kosten, die locker Jahresgehälter von Polizisten um ein großes Vielfaches überschreiten. Wer meint, hier mit „KI-Kameras“ sparen zu können, der handelt unverantwortlich oder massiv unwissend. Dabei rede ich noch nicht einmal von sozialen Effekten, die Kameras provozieren.

    Schlimmer noch ist, dass die Regeln der KI unsichtbar in der Maschine stecken. Niemand kann nachlesen, wie er sich aus der Sicht der Maschine „richtig“ verhalten soll. Früher hatte man Gesetze aufgeschrieben. Heute sind sie geheim, verpackt in den Gewichten der „Neuronen“ eines Automaten.

    In der Folge kommt es zu Fehlurteilen und Rechtfertigungszwang, denn: KI ist per Definition eine Vorurteilsmaschine. Selbst „Hardlinern“ dürfte klar werden können, dass sowas absolut no go ist.

    Die Welt ist kein Computerspiel und Menschen sind keine NPCs.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.