Mitte März verabschiedete das EU-Parlament den AI Act. Es ist das erste umfassende Gesetz weltweit, das den Einsatz sogenannter künstlicher Intelligenz (KI) reguliert. Laut EU-Kommission soll die Verordnung den Risiken vorbeugen, die bestimmte KI-Systeme mit sich bringen. So sei es beispielsweise „oft nicht möglich, herauszufinden, warum ein KI-System eine Entscheidung oder Vorhersage getroffen […] hat“ und damit „zu beurteilen, ob jemand ungerechtfertigt benachteiligt wurde“.
Tatsächlich sind Entscheidungsprozesse, die mit Hilfe von KI-Systemen durchgeführt werden, häufig intransparent – und zwar sowohl für die Betroffenen als auch für die Nutzer*innen. Das ist insbesondere dann der Fall, wenn die kommerziellen Anbieter solcher Systeme die technischen Details als Geschäftsgeheimnis klassifizieren. Oder wenn diese Details zwar bekannt sind, der Quellcode aber dennoch nicht erkennen lässt, wie das System ein bestimmtes Resultat generiert.
Das ist weit mehr als nur ein akademisches Problem. Denn eine mit Hilfe von KI-Systemen herbeigeführte Entscheidung kann auch bestimmte gesellschaftliche Gruppen diskriminieren.
Predictive Policing auf Grundlage verzerrter Daten
Deutlich wird dies etwa bei dem Einsatz des COMPAS-Systems in den Vereinigten Staaten. Die Abkürzung steht für „Correctional Offender Management Profile for Alternative Sanctions“, zu Deutsch etwa: Straffälligen-Managementprofil für alternative Sanktionen. Das System soll Richter*innen in den USA dabei helfen, die Rückfälligkeit von bereits verurteilten Straftäter*innen einzuschätzen. Die Auswertung der bisherigen Ergebnisse von COMPAS weist jedoch darauf hin, dass das System systematisch dunkelhäutige Menschen diskriminiert – auch wenn die weitere wissenschaftliche Begutachtung des Falls zeigt, dass die Lage nicht so klar ist, wie die Auswertung suggeriert. COMPAS bleibt aber ein Verdachtsfall unter vielen.
Auch das Predictive Policing steht im Verdacht, politische Minderheiten zu diskriminieren. Dabei werden – im Gegensatz zu anderen vorbeugenden Verfahren wie erkennungsdienstlichen Maßnahmen oder dem klassischen Streifefahren – große Datenmengen zu vergangenen Straftaten ausgewertet. Auf diese Weise wird eine Wahrscheinlichkeit – der sogenannte Risikoscore – für künftige Straftaten errechnet. Auf dieser Grundlage können dann Polizeieinsätze geplant werden.
So setzt etwa die Polizei in Chicago die Software „Strategic Subject List“ ein, um nach eigenen Angaben der Bandenkriminalität zu begegnen. Das System errechnet unter anderem einen Risikoscore für potenziell gefährliche Personen. Diese Kennzahl basiert auf Daten, die bei einer früheren Verhaftung der jeweiligen Personen erhoben wurden. Solche Daten sagen aber nicht notwendigerweise etwas über das tatsächliche kriminelle Potenzial der ins Visier genommenen Verdächtigen aus.
Vielmehr zeigt sich oftmals, wie ungerecht und diskriminierend US-Polizist:innen gegen dunkelhäutige Menschen vorgehen – erinnert sei hier nur an die Tötung von George Floyd vor ziemlich genau vier Jahren. Schon aus diesem Grund sind die Daten über frühere Verhaftungen, die in Vorhersagesysteme eingespeist werden, verzerrt und lassen auch keine sicheren Rückschlüsse auf das kriminelle Potenzial einzelner Personen zu. Oder wie die Datenwissenschaftlerin Alice Xiang es ausdrückt: „Wir versuchen zu messen, wie viele Menschen Straftaten begehen. Aber alles, was wir haben, sind Daten über Verhaftungen.”
Was kann die KI-Verordnung gegen Predictive Policing ausrichten?
Die KI-Verordnung in Europa kann als Versuch gesehen werden, solchen intransparenten und womöglich ungerechten Strukturen entgegenzuwirken.
Das Gesetz basiert auf einer einfachen Idee: Je größer das Risiko ist, das mit der Nutzung eines KI-Systems für Mensch, Natur und Grundrechte einhergeht, desto stärker soll diese Nutzung reguliert werden. Hierfür hat die EU vier Risikogruppen definiert, denen Typen von KI-Systemen zugeordnet werden. Systeme, die das größte Gefahrenpotenzial bergen, sollen komplett verboten werden.
Nachdem das EU-Parlament die Verordnung verabschiedet hatte, meldeten verschiedene Medien, dass „das Gesetz auch die Nutzung einer KI zwecks Predictive Policing verbietet“.
Tatsächlich aber findet sich der Ausdruck „Predictive Policing“ kein einziges Mal im Gesetzestext. Allerdings zählt Artikel 5 der Verordnung all jene Praktiken im KI-Bereich auf, die das Gesetz verbietet. Darunter fällt auch „die Verwendung eines KI-Systems zur Durchführung von Risikobewertungen in Bezug auf natürliche Personen, um die Wahrscheinlichkeit, dass eine natürliche Person eine Straftat begeht, ausschließlich auf der Grundlage des Profiling einer natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften zu bewerten oder vorherzusagen“.
Sowohl das COMPAS-System als auch die Strategic Subject List scheinen diese Definition auf zu erfüllen. Sie wären demnach in Europa verboten. Alles gut also?
Zwei Formen des Predictive Policing
Eine Lücke zeigt sich bei einer näheren Betrachtung des Predictive Policing. Eine solche hat etwa die Rechtswissenschaftlerin Lucia Sommerer in ihrer Dissertation „Personenbezogenes Predictive Policing“ dargelegt. Sommerer zufolge werden im Falle des Predictive Policing „mit algorithmengestützten Verfahren Daten zu in der Vergangenheit straffällig gewordenen Personen analysiert und Merkmale und Verhaltensweisen, die von einer großen Anzahl bekanntermaßen straffälliger Personen vor einer Strafbegehung geteilt wurden, herausgearbeitet. Weist eine mit Blick auf ihr zukünftiges Straftatverhalten neu zu bewertende Person in ihren Merkmalen und Verhaltensweisen eine große Ähnlichkeit zu den herausgearbeiteten Mustern auf, so führt dies zur Zuschreibung einer erhöhten Kriminalitätswahrscheinlichkeit.“
Diese Charakterisierung entspricht ziemlich genau der Definition des Artikel 5 der KI-Verordnung. Sie erfasst allerdings nur das personenbezogene Predictive Policing – und damit nur eine von zwei Formen dieser Technologie.
Wie Sommerer auch darstellt, gibt es daneben noch das ortsbezogene Predictive Policing. Es identifiziert jene Orte, „die sich durch eine besonders hohe Wahrscheinlichkeit auszeichnen, Ort einer Straftat zu werden. Die Identifizierung erfolgt u.a. durch eine Analyse vergangener Kriminalitätsstatistiken und das Heranziehen kriminologischer Theorien wie der Near-Repeat-Theorie.“ Diese Theorie besagt, dass professionelle Täter*innen etwa mehrere Einbrüche am gleichen Ort begehen, etwa weil sie die lokalen Gegebenheiten kennen.
Wie verlässlich solche Theorien sind, soll hier keine Rolle spielen. Entscheidend ist, dass weder Artikel 5 noch andere Artikel der KI-Verordnung ortsbezogenes Predictive Policing verbieten. Das aber deutet darauf hin, dass diese Form in der EU nicht reguliert werden soll.
Mit Blick auf das erklärte Ziel des Gesetzes, vertrauenswürdige KI zu fördern, wäre dies aber wünschenswert, wie auch die Situation in Deutschland zeigt. Hierzulande ist die polizeiliche Verwendung nicht einheitlich geregelt. Einige Bundesländer setzen das Verfahren bereits im Regelbetrieb ein, andere Systeme befinden sich in der Testphase. Einige Länder haben entsprechende Software bei Privatunternehmen erworben, andere entwickelten die Systeme selbst. Einige Länder gehen von der Near-Repeat-Theorie aus, andere nicht.
Das Lüchow-Dannenberg-Syndrom
Zudem warnen Expert*innen davor, dass ortsbezogenes Predictive Policing ein ähnlich hohes Diskriminierungspotenzial birgt wie personenbezogene Vorhersagen.
Dies hängt unter anderem mit dem Lüchow-Dannenberg-Syndrom zusammen. Nach einem beschaulichen Landkreis in Niedersachsen benannt, besteht es darin, dass die Kriminalitätsrate scheinbar ansteigt, wenn in einem bestimmten Gebiet mehr Polizeikräfte eingesetzt werden. Dieser Anstieg erklärt sich aber vor allem daraus, dass die größere Zahl der Polizist*innen vor Ort mehr Kontrollen durchführt und damit auch mehr Straftaten registriert. In der jährlichen Kriminalitätsstatistik wirft das dann ein schlechtes Licht auf das Viertel und die dort lebenden Menschen. Es ist zu erwarten, dass diese Menschen stigmatisiert werden und die Grundstücke in dem betreffenden Gebiet einen Wertverlust erfahren.
Auch in Deutschland werden KI-Systeme mit großen Datensätzen trainiert. Und auch hier ist davon auszugehen, dass die erhobenen Daten verzerrt sind. Es ist daher zu befürchten, dass Predictive Policing in Deutschland vor allem solchen Gegenden einen hohen Risikoscore zuweist, die etwa einen hohen Anteil an Migrant*innen aufweisen. In solchen Vierteln würden dann auch die Polizeieinsätze zunehmen – zum Nachteil der dort lebenden Menschen.
Es ist unklar, warum die KI-Verordnung das ortsbezogene Predictive Policing ausklammert. Fest steht aber, dass dies eine gefährliche Lücke in der KI-Verordnung ist. Und dass sie der von der EU-Kommission proklamierten Absicht widerspricht, wonach KI-Systeme „die Grundrechte, die Sicherheit und die ethischen Grundsätze achten“ sollen.
Daniel Minkin arbeitet in der Abteilung Philosophy of Computational Sciences im Höchstleistungsrechenzentrum Stuttgart. Zu seinen Forschungs- und Kompetenzbereichen gehören Philosophie der Künstlichen Intelligenz, Erkenntnis- und Wissenschaftstheorie.
Zitat: „In der jährlichen Kriminalitätsstatistik wirft das dann ein schlechtes Licht auf das Viertel und die dort lebenden Menschen. Es ist zu erwarten, dass diese Menschen stigmatisiert werden und die Grundstücke in dem betreffenden Gebiet einen Wertverlust erfahren.“
Nichts für ungut. Das ist für mich Augenwischerei. Nur weil Straftaten vorher nicht öffentlich durch Statistiken bekannt waren, ändert es nichts an der Tatsache, dass sie existieren. Nehmen wir an, dass die Polizei plötzlich im gediegenen Ort Entenhausen 500 Diebstähle registriert, die vorher wegen des Leumunds dieses Ortes unter der Decke gehalten wurden. Was ändert das? Vorher wurden die Tatbestände verschwiegen, obwohl sie die Gemeinschaft belasteten und jetzt jammert man um den Rufverlust? Au weia, wir können nicht mehr auf das böse Neukölln oder Kreuzberg zeigen. Die klassische heile Welt und Vogel-Strauß-Politik. Mit Verschweigen ändert man nichts. So wie bei Pipi, die sich ihre Welt nach ihrem Gefallen bastelt. Für mich einfach nur Heuchelei.
Es geht aber auch anders rum: Es gibt Straftatbestände in diesem Land , die betreffen nur Nichtdeutsche. Das sind aber z.B, Straftaten, die die Residenzpflicht betreffen. Ein Mensch wagt es, seinen ihn zwangsweise zugewiesenen Landkreis zu verlassen. Was für ein Vergehen. Da geht doch gleich die Welt unter. Hat dieser Mensch jemanden geschädigt? Nein! Aber seine „Straftat“ findet Aufnahme in die PKS, die dann von äußerst menschenfreundlichen politischen Spektren ausgeschlachtet wird. An der Weisheit „es gibt drei Arten von Lügen: Lügen, verdammte Lügen und Statistiken“ ist irgendwie was dran.
Wann können Bürger die Polizeibeamten tracken? Es wäre schön zu wissen, wo sich die Schußwaffen- und Schlagstockherumhantierer immer genau befinden.
Sicherheit hat man nur, wenn man den mutmaßlichen Gewalttätern aus dem Weg gehen kann.
Eigentlich will man den Gottstatus.
AI oder KI ist eigentlich sehr vielversprechend und Interessant
Aber das fängt schon damit an dass man heute nicht mehr das Umfangreiche WorldWideWeb hat wie es mal gewesen ist .
Mit der klaren biographischen Linie wäre auch eine vielversprechende KI möglich.
KI ist eigentlich ein programmierter statistischer Datenbausatz um so mehr Daten um so besser die KI.
Künstliche Intelligentz wird immer betont aber schon ein umfangreich innovatives liberales Internet ist ein Dorn im Auge.
Um sich zu bereichern sind die Ressourcen zu genügend da wenn es um Überwachung und Zensur geht.
Aber das Internet wie es eigentlich sein sollte wird dem Normalsterblichen vor enthalten obwohl es eigentlich gar nichts kostet.
Das ist sehr verbohrtes Revierverhalten
Das Bild zeigt auch ein zu den Fehlgewichtungen eines K.I.-Modells typischen mangelhaften Verhaltens der Polizei: Bedrohung. Mit den länderweiten Änderungen der Polizeigesetze ist das Gefährdungspotential der Polizei stark angestiegen. Bewaffnung, Berechtigungen, Suppressionsmittel, Enthemmung tödliche Gewalt anzuwenden und auch so auf den ersten Blick banale Sachen wie die Kleidung und das Verhalten. Gruppenbildungen von Polizisten wie auf dem Bild sind mehr die Regel geworden als früher. Dabei verhalten sich solche Gruppen manchmal wie Fremdkörper in der Gesellschaft, wie auf dem Bild deutlich zu erkennen.
K. I.-Modelle gewichten nach Maßgabe ihrer unabhängigen Variablen (Inputs) aber auch nicht immer gleich. K. I. wird ja trainiert, also wiederholend die Gewichtungen der einzelnen Knoten neu austariert, bis eben die abhängigen Variablen einen gewünschte Ausgabe generieren. Das heißt, die K. I. ist eigentlich nicht intelligent sondern nur geprägt, von den jeweiligen Erwartungen. Es gibt den Begriff „übertrainiert“, wenn K. I.-Modelle durch Prägung so sich gewichten, dass selbst bei völlig unterschiedlichen Daten die logisch/menschlich ganz andere Ausgaben ergeben MÜSSEN, dreht das K. I.-Modell das um.
Darin liegt die erste große Schwäche heutige „K. I.“-Modelle. Die Zweite ist die Datenlage. Das ist eine misere, wie bei menschlichen Vorhersagen auch. Wenn die Datenkomplexität so groß wird um der Zuverlässigkeit näher zu kommen, dann bekommen kleine Wertänderungen auf einmal große Bedeutung, wie beim Butterfly-Effekt in Wettermodellen. Das gleiche Prinzip gilt besonders auch für K. I.-Modelle. Man will ja nicht vorhersagen, wann der Apfel vom Baum fällt. Sondern wie sich komplexe soziale Systeme Verhalten mit mehr Einflussfaktoren als es Menschen gibt.
Gerade weil man diese Komplexität nicht gut darstellen kann, will man ja K. I. nutzen. Art Henne/Hühnerei-Problem. Man bürdet der K. I. derzeit einfach zu viel auf.
Zitat: „Das Bild zeigt auch ein zu den Fehlgewichtungen eines K.I.-Modells typischen mangelhaften Verhaltens der Polizei: Bedrohung.“ Was hat die abgebildete Fußstreife mit KI zu tun? Und zur Bildunterschrift: „Ruft auch diese Polizeistreife das Lüchow-Dannenberg-Syndrom hervor?“: Ja, nach herrschender wissenschaftlicher Meinung nutzen Opfer und Geschädigte Polizeistreifen und -wachen vermehrt zur Anzeige gegen sie begangener Delikte, wenn sie leichten Zugang zur Polizei haben.
Tip: „minority report“ anschauen.
Das vor Jahrzehnten von der Polizei registrierte „Lüchow-Dannenberg-Syndrom“ ist in der empirischen Forschung sehr gut aufgearbeitet und von auch von kritischen Soziologen mit zahlreichen Veröffentlichungen „Rucksackwissen“ von Kriminologen und Polizei für Auswertung und Analyse der Polizeilichen Kriminalstatistik. Entgegen der Warnungen (Zitat!) von „…Expert*innen, dass ortsbezogenes Predictive Policing ein ähnlich hohes Diskriminierungspotenzial birgt wie personenbezogene Vorhersagen.“ gab es damals ein erhöhtes Anzeigenaufkommen für Delikte der Kleinkriminalität im ländlichen Bereich, weil in diesem Gebiet eine neue Polzeistion eingerichtet worden war, nachdem zahlreiche Anschläge gegen Baustellen und -unternehmen im Zusammenhang mit der Anti-Atom-Kraft-Bewegung begangen worden waren. Die BürgerInnen in diesem Bereich wurden nicht etwa von der Polizei vermehrt diskriminiert, sondern die BürgerInnen zeigten aufgrund des leichteren Behördenzugangs gegen sie begangene Bagatelldelikte (Sachbeschädigung, Diebstahl, einfache Körperverletzung etc.) vermehrt bei der Polizei an. Das versaute nur die Polizeiliche Statistik für Lüchow-Dannenberg und hatte mit Predictive Policing, zu Deutsch: „Präventive Polizeiarbeit“ überhaupt nichts gemein!
„Dieser Anstieg erklärt sich aber vor allem daraus, dass die größere Zahl der Polizist*innen vor Ort mehr Kontrollen durchführt und damit auch mehr Straftaten registriert.“ – Jede „registrierte“ Straftat (= somit auch aufgeklärte) ist doch positiv zu werten. Je mehr Straftaten aufgeklärt werden, umso besser. Oder befürwortet jemand, dass Straftaten unentdeckt und nicht aufgeklärt werden sollen?? In unserer Gesellschaft, in der immer öfter „kleine“ Straftaten (Ladendiebstähle, Einschleichdiebstähle etc.) als „Bagatellen“ verharmlost werden, und man dafür Entschuldigungen an den Haaren herbeizieht (schlimme Kindheit, oder dort wo er herkommt ist das halt normal, etc.) ist diese Entwicklung bedenklich. Dass man als Frau nicht mehr ohne Angst angepöbelt zu werden, in den Ausgang gehen kann, wird auch einfach hingenommen. Also, so traurig es ist, braucht es solche Mittel und Werkzeuge. Wir leben in einem Rechtsstaat, und wenn jemand zu unrecht angeklagt wird kann er sich dann auch dagegen wehren.
Die „registrierte“ Straftat laut PKS ist laut Definition nur ein bei der Polizei angezeigter Verdacht und keineswegs gleich zu setzen mit der Zahl „aufgeklärter“ Straftaten. Die PKS weist eine Aufklärungsquote von ca. 50% aller angezeigten Verdachtsfälle auf! Natürlich wäre eine höhere Aufklätungsquote grundsätzlich wünschenswert. Andererseits haben wir das Dunkelfeld in meiner Jugendzeit bei Bagatelldelikten, beispielsweise ausgehebelten Gartentörchen, Fahren ohne Führerschein (insbesondere mit Mopeds und Traktoren), Kaugummi-, Zigaretten- oder Pariserklau im Dorfladen, nicht als nationales Sicherheitsproblem und Bedrohung empfunden. Das haben wir früher einfach untereinander geklärt. Für die meisten Kinder und Jugendlichen war das ganz sicher besser als eine staatliche Sanktion! Die Polizeipräsenz in Lüchow-Dannenberg führte nur zu mehr Anzeigen dieser Jugenddelinquenz, aufgeklärt wurden sie aber nicht, im Gegenteil, die AQ sank! Völlig unabhängig davon sind die registrierten Gewalt- und Sexualdelikte gegen Frauen damals nicht gestiegen. Ist ja auch logisch: Diese Delikte sind Beziehungsdelikte, die Gott sei Dank seit Jahrzehnten abgenommen haben!