Die Hütte brennt!
Wir gehen rein.

Die Hütte brennt! Wir gehen rein.

Deine Spende rettet Grundrechte.

ProtestKünstler verwirrt KI-Überwachung mit Hypnose-Shirt

Ein Künstler zeigt mit einem besonderen Hemd, wie automatische Videoüberwachung ausgetrickst werden kann. Es geht ihm dabei weniger um den Trick an sich, als um grundsätzliche Kritik an der invasiven und intransparenten Technologie.

  • Markus Reuter
Mann mit kurzärmligem Hemd mit grün-rotem Muster und dunklen Shorts steht vor dem U-Bahnhof Kottbusser Tor in Berlin
Laut dem Künstler kann das T-Shirt Erkennungssoftware verwirren. – Alle Rechte vorbehalten: Simon Weckert

Der Künstler Simon Weckert hat nach eigener Aussage Kleidungsstücke entworfen, die zumindest beim Objekterkennungssystem YOLO dazu führten, dass die Träger:innen nicht automatisch als Personen erkannt werden.

Auf den ersten Blick wirke das „Digital Camouflage“ genannte Outfit wie „Kleidung mit einem abstrakten, fast hypnotischen Muster“, schreibt der Künstler auf seiner Webseite. Tatsächlich sei der Stoff jedoch so konzipiert, dass er die Objekterkennungsalgorithmen verwirre, die in Überwachungs‑, Sicherheits- und autonomen Systemen zum Einsatz kommen würden. Der Künstler verweist bei seinem Projekt auch auf die KI-Videoanalyse am Berliner Kottbusser Tor. Ob die Kleidung bei diesem spezifischen Erkennungssystem genauso funktioniert wie in seiner Testumgebung, ist allerdings nicht bekannt.

Techniken, die Gesichts- und Objekterkennung zumindest vorübergehend austricksten, wurden in den letzten Jahren immer wieder erfunden und präsentiert. So stellte beispielsweise Adam Harvey 2019 auf dem Chaos Communication Congress Schminkformen vor, die Gesichtserkennung in die Irre führten. Auch der Sicherheitsforscher Bill Swearingen hatte zuletzt sogenannte „Adverserial Pattern“ entwickelt, die Erkennungssysteme verwirren.

Überwachungssysteme lernen schnell

Kritiker:innen solcher Abwehr-Konzepte führen an, dass diese Techniken nur sehr kurz funktionierten und die Nutzer:innen in falscher Sicherheit wiegen würden. Denn die Unternehmen hinter Überwachungssystemen lernen ihre Software schnell auf die Ausweichmuster an und verbessern so die Technik. Das zeigte sich auch während der Corona-Pandemie, wo die Systeme erst Schwierigkeiten hatten, Maskenträger zu erkennen, dann aber immer besser darin wurden.

Letztlich handelt es sich um ein Katz- und Mausspiel – wirkliche Abwehr von invasiven Überwachungstechniken wie der Gesichts- und Verhaltenserkennung wird letztlich nur über den politischen Weg und Gesetze funktionieren, die diese Techniken verbieten oder drastisch einschränken.

Dass sein Kunstwerk keine Lösung für das Problem der Überwachung ist, ist dem Künstler selbst auch klar: „Das Werk ist kein Mittel, um sich der Polizei zu entziehen, und es ist kein Versprechen auf Anonymität“, schreibt er selbst. Es sei ein Testbild für uns alle. „Wenn ein Überwachungssystem durch ein Stück Stoff außer Kraft gesetzt werden kann, wie viel Vertrauen sollten wir dann in es setzen, bevor wir es auf den öffentlichen Raum loslassen?“

Weckert fällt schon seit Jahren mit Kunst auf, die das Digitale ins Zentrum stellt. Im Jahr 2020 lief er mit einem Handkarren und 99 Telefonen langsam eine Straße entlang und simulierte so auf Google Maps einen Stau, den es gar nicht gab.

Über die Autor:innen

  • Markus Reuter

    Markus Reuter recherchiert und schreibt zu Digitalpolitik, Desinformation, Zensur und Moderation sowie Überwachungstechnologien. Darüber hinaus beschäftigt er sich mit der Polizei, Grund- und Bürgerrechten sowie Protesten und sozialen Bewegungen. Für eine Recherchereihe zur Polizei auf Twitter erhielt er 2018 den Preis des Bayerischen Journalistenverbandes, für eine TikTok-Recherche 2020 den Journalismuspreis Informatik. Bei netzpolitik.org seit März 2016 als Redakteur dabei. Er ist erreichbar unter markus.reuter | ett | netzpolitik.org, sowie auf Mastodon und Bluesky.

    Kontakt: E-Mail (OpenPGP)


Veröffentlicht

Kategorie

Ergänzungen

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge. Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.

14 Kommentare zu „Künstler verwirrt KI-Überwachung mit Hypnose-Shirt“


  1. Anonym

    ,

    Könnte man nicht einen tragbaren Gesichtsscanner-scanner bauen, welcher diese Kameras erkennt und beim vorbeigehen gezielt mit Licht blendet?


    1. Anonym

      ,

      Könnte man sicherlich. Probleme: Zum blenden bei Tageslicht bräuchte man schon einen Laser. Früher oder später würde irgendwer eine Augenverletzung dadurch erleiden. Zum erkennen und automatischen ausrichten müsste man außerdem selber mit nach allen Richtungen schauenden Kameras mit Bilderkennung durch die Öffentlichkeit laufen. Man könnte sich selbst damit vielleicht „schützen“, würde dabei aber selber Teil dessen werden, was man bekämpfen möchte.


      1. Anonym

        ,

        Nebenbei muss das Gerät wissen, wo die Kamera ist, oder soll man auf dem Platz stehenbleiben, bis das Ding brennt? Da wären KI-Sprengdrohnen aber günstiger!

        Spass beiseite, also mit dem Laser wäre das so, man bräuchte Kameraerkennung und automatische Zielmitführung. Technlogisch anspruchsvoll, für den Hut oder den Rucksack, aber es könnte auch Probleme mit Kamerabrillen lösen, wenn man der KI freie Hand lässt. Einzig gut versichert muss man sein!


  2. Jens Schauble

    ,

    Sein Gesicht wird trotzdem erkannt. Da kann er tragen was er will.


    1. Anonym

      ,

      In dem Kontext durchaus fraglich. Die SW muss „Gesicht einer realen Person“ von „irgendein Bild“ unterscheiden, und ersteres scheitert an der Erkennung als Person.

      Der Kontext ist natürlich sehr speziell, sagt er ja selber.


  3. Anonym

    ,

    „Endlich wieder eine Kleiderverordnung!“


  4. Ron Vollandt

    ,

    Liebe Redaktion,

    eine Ergänzung zur Einordnung des Projekts: Der Ansatz hat eine gut dokumentierte Forschungsgeschichte. Bereits 2019 zeigten Simen Thys, Wiebe Van Ranst und Toon Goedemé von der KU Leuven mit »Fooling automated surveillance cameras«, dass sich ein aufgedrucktes Muster so optimieren lässt, dass eine Person vom Detektor nicht mehr als Person erkannt wird. Auch diese Arbeit zielte auf YOLO, konkret auf die damalige Version YOLOv2.

    Daraus ergibt sich der Punkt, der die im Artikel genannte Unsicherheit erklärt, ob das Hemd am Kottbusser Tor ebenso wirkt: Solche Muster werden gegen ein bestimmtes Modell in einer bestimmten Version optimiert. Ihre Übertragbarkeit auf andere Detektoren ist begrenzt und wird in der Fachliteratur eigens als Transferability gemessen, meist mit deutlich schlechteren Werten als gegen das Zielmodell. Wer das eingesetzte System nicht kennt, kann die Wirkung folglich nicht vorhersagen.

    Das stützt die Einschätzung des Künstlers: Der Wert der Arbeit liegt in der Frage nach der Verlässlichkeit solcher Systeme, nicht im praktischen Schutz.

    Beste Grüße
    Ron Vollandt
    http://www.ron-vollandt.de


    1. Anonym

      ,

      …und damit geht der praktische Wert gegen Null.

      Wer den Aufwand betreibt und ein solches Muster traegt, faellt damit dann uebrigens auf wie der sprichwoertliche bunte Hund.


      1. Freidenker

        ,

        „Wer den Aufwand betreibt und ein solches Muster traegt, faellt damit dann uebrigens auf wie der sprichwoertliche bunte Hund.“

        …vielleicht es deshalb andersherum machen bzw. was entwickeln, was die Leute ähnlicher macht? Also so gleich, dass die Software sie nicht unterscheiden kann. Eine Art Gesichtsschutzfolie oder Karnevalsmaske, die alle tragen und das war´s mit Erkennen.


      2. Notorisch Rhetorisch

        ,

        Mir scheint der „Proof of Concept“ ist hier auch eher der Fakt das eine „Natürliche Intelligenz“ kein Problem hätte den „Bunten Menschen“ aus einer Menge von Menschen heraus zu finden. Selbst wenn die alle „Bunte Menschen“ wären, würde ein Mensch sie immer noch sicher als Person identifizieren können. Die KI (=Künstlicher Idiot) kann das eben nicht erreichen. Zu welchem Zweck sollten diese „Scanner“ noch mal angeschafft werden? Doch um Personal ein zu sparen und dennoch (den Eindruck von) Sicherheit durch Überwachung zu erzeugen, meine ich. Hmm. Ziel verfehlt! ;-)


  5. Macht es doch so, wie GOTYA uin ihrem bekanntesten Song (Video). Aber wer will sich schon Muster ins Gesicht schminken?


  6. Anonym

    ,

    So eine Aktion ist genauso sinnlos, hirnlos und kontraproduktiv weil schädlich für alle wie die Morphing-Aktion des Peng-Kollektivs.

    https://netzpolitik.org/2020/biometrische-gesichtsbilder-forscher-zeigen-wie-sich-gesichtserkennung-austricksen-laesst


    1. Anonym

      ,

      Komma weil?


  7. Anonym

    ,

    Die Zahl der Trauerprozessionen könnte exponentiell mit der Zeit zunehmen…

Schreibe eine Ergänzung!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert