Radiofeature: Algorithmen als Schicksalsmaschinen

Der Einsatz von Prognose-Software zur Beurteilung von Angeklagten scheint rassistische Ungleichheit im US-Justizsystem zu verschärfen. Zweifel bestehen sowohl an der Datenbasis und Methodik des Verfahrens als auch den Ergebnissen. Deutschlandfunk hat in einem hörenswerten Radiofeature zentrale Aspekte des Themas aufgearbeitet.

Rassistische Verurteilungen geschehen auch durch Algorithmen. CC-BY-NC 2.0 Derek Goulet

Der US-Justizapparat setzt algorithmische Systeme ein, um die Gefahr der wiederholten Straffälligkeit von Kriminellen einzuschätzen. Die Prognosen einer Analysesoftware fließen unter anderem in die Entscheidungen von Gerichten über die Verhängung von Bewährungsstrafen, vorzeitige Haftentlassungen oder die Höhe von Kautionszahlungen ein und haben somit weitreichenden Einfluss auf das Schicksal von Menschen. Seit dem vergangenen Jahr berichten Medien jedoch vermehrt über den rassistischen Bias der Algorithmen, der von offizieller Seite in den USA bisher unberücksichtigt bleibt. Das Thema wurde jüngst auch vom Deutschlandfunk in einem hörenswerten Radiofeature aufgegriffen.

Was ist „kriminell“?

Die weit verbreitete Software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) analysiert die Betroffenen vermittels einer Liste von Fragen, mit denen die Entwickler*innen die Gesamtheit der kriminellen Energien und Risikopotentiale der Befragten vorhersagen möchten. Dabei finden eigene Angaben über Substanzmissbrauch, Ausbildung, familiären Hintergrund, kriminelle Handlungen und soziale Stellung Eingang in die Auswertung, wie sich dem Radiofeature entnehmen lässt. Um an die Informationen zu gelangen, werden die Betroffenen mit über 130 Fragen traktiert.

Die Software, die sich auf vorherige Kriminalitätsstatistiken bezieht, geht davon aus, dass eine Kombination aus sieben kriminogenen Faktoren die Wahrscheinlichkeit von „männlicher“ Kriminalität bestimmen lässt. Weibliche Personen werden durch eine unterschiedliche Faktorenkombination gemessen. Die Bedingungen „männlicher“ Kriminalität umfassen: Probleme in Ausbildung, Arbeit und Finanziellem; Anti-soziale Glaubens- und Verhaltensweisen; Anti-soziales und prokriminelles Umfeld sowie Isolation; Temperament und Selbstkontrollschwäche; Vernachlässigung familiärer Beziehungen; Alkohol- und anderer Drogenmissbrauch; Von der Norm abweichende Sexualität und Erregung.

Am Ende werden die Betroffenen auf einer Skala zu ihrer Gefährlichkeit mit Werten von 1 bis 10 einkategorisiert. Wie genau diese Werte generiert werden, bleibt bei den Entwickler*innen und ist damit hochgradig intransparent.

Zweifelhafte Methoden

Trotz dieser sowohl grundlegenden als auch methodischen Zweifel wird in den USA auf diese Art und Weise über Menschenleben entschieden. Vorgebliches Ziel der Entwickler*innen ist laut Werbematerial der COMPAS-Herstellerfirma Northpointe, Betroffene „in die richtigen Resozialisierungsprogramme zu bringen und vor allem mögliche Rückfälligkeiten zu reduzieren“.

Vor dem Hintergrund der völlig überfüllten US-Gefängnisse erscheint dieses Ansinnen zunächst als gar keine schlechte Idee, denn die Auslastung der Gefängnisse könnte so reduziert werden. Das Deutschlandfunk-Feature verweist jedoch auf erhebliche Zweifel an der tatsächlichen Effizienz des Einsatzes algorithmischer Prognosen: Grundsätzlich lässt sich in Frage stellen, ob die hohen Inhaftierungszahlen tatsächlich durch den nachträglichen Einsatz von Software nach unten korrigiert werden können oder ob das wirkliche Problem nicht viel mehr im US-amerikanischen Polizei- und Justizsystem liegt. „Es kommt der Verdacht auf, dass die primäre Interventionsstrategie der USA gegen Probleme wie Armut, Rassismus und Ungleichheit das Wegsperren ist“, so der Radiobeitrag.

Desweiteren ist die Aussagekraft der Analysen wie oben beschrieben höchst fragwürdig. In Wisconsin hat bereits ein auf der Grundlage von Vorhersage-Software verurteilter US-Bürger Klage eingereicht, wie Deutschlandfunk berichtet. Die mangelnde Objektivität des Verfahrens entlarvte 2016 eine umfassende Studie des Rechercheportals ProPublica, die in Florida zwischen 2013 und 2014 mehr als 7.000 Fälle untersuchten, in denen eine Risikobewertung durch die Software COMPAS vorgenommen wurde.

Die Studie kommt zu dem Schluss, dass der in den USA ohnehin herrschende Rassismus durch den Einsatz der Prognose-Software im Justizsystem reproduziert wird. Hier ein Beispiel:

Borden und Prater wurden beide inhaftiert, doch etwas seltsames geschah: Ein Computerprogramm spuckte eine Vorhersage über ihre zukünftigen Neigungen, Verbrechen zu begehen aus. Borden – der schwarz ist – bekam eine höhere Risikobewertung. Prater – der weiß ist – wurde niedrig eingestuft. Zwei Jahre später zeigte sich, dass der Algorithmus komplett verkehrt lag. Borden wurde wegen keiner neuen Verbrechen verurteilt. Prater dagegen büßt jetzt eine achtjährige Gefängnisstrafe ab, wegen Kaufhaus-Einbruch und Diebstahl von Elektronik im Wert tausender Dollar.

Willkür in statistisch objektivem Gewand

Die Software COMPAS findet laut ProPublica in Arizona, Colorado, Delaware, Kentucky, Oklahoma, Virginia, Washington und Wisconsin Anwendung. ProPublica kam letztlich zu dem Ergebnis, dass sie wenig zur Vorhersage von Gewalt und Verbrechen nutzt. Nur 20 Prozent der als gefährlich eingestuften Menschen waren dann auch im Nachhinein kriminell. Insbesondere lag die Software bei der Vorhersage der zukünftigen Kriminalität von schwarzen Menschen falsch. Ihr Rückfallrisiko wurde durchschnittlich zweimal so hoch eingeschätzt wie das von Menschen mit weißer Hautfarbe.

Die COMPAS-Entwicklerfirma Northpointe kam 2012 in einer selbst angestellten Evaluierung zu dem Ergebnis, das eigene System arbeite wunderbar. Auf diese behauptete Treffsicherheit verließen und verlassen sich die US-Gerichte seither ohne weitere Überprüfung durch unabhängige Dritte.

Hier ist die MP3.


Im Rahmen des Features hat der Deutschlandfunk außerdem Interviews zum Thema auf Vimeo veröffentlicht. Das folgende bezieht sich insbesondere auf den Rassismus, der durch Algorithmen reproduziert wird:

In diesem Fenster soll der Inhalt eines Drittanbieters wiedergegeben werden. Hierbei fließen personenbezogene Daten von Dir an diesen Anbieter. Aus technischen Gründen muss zum Beispiel Deine IP-Adresse übermittelt werden. Viele Unternehmen nutzen die Möglichkeit jedoch auch, um Dein Nutzungsverhalten mithilfe von Cookies oder anderen Tracking-Technologien zu Marktforschungs- und Marketingzwecken zu analysieren.

Wir verhindern mit dem WordPress-Plugin „Embed Privacy“ einen Abfluss deiner Daten an den Drittanbieter so lange, bis Du aktiv auf diesen Hinweis klickst. Technisch gesehen wird der Inhalt erst nach dem Klick eingebunden. Der Drittanbieter betrachtet Deinen Klick möglicherweise als Einwilligung die Nutzung deiner Daten. Weitere Informationen stellt der Drittanbieter hoffentlich in der Datenschutzerklärung bereit.

Zur Datenschutzerklärung von Vimeo

Zur Datenschutzerklärung von netzpolitik.org

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

3 Ergänzungen

  1. Auch eine absolut korrekte Statistik wuerde dem Einzelfall nicht gerecht werden koennen und muss letztlich diskriminieren. Das gilt genauso fuer Krankenversicherung, Unfallversicherung, etc, pp…und wird in USA idR alles gemacht.

    Uebrigens ist der privatisierte Strafvollzug ein Riesengeschaeft in den USA, da hat niemand ein Interesse an einer geringeren Auslastung der Gefaengnisse.

    1. Vielleicht noch ergaenzend: das derzeitige Justiz- und Strafvollzugssystem der USA ist zum einen ein grosses Geschaeft und zum anderen ein Hierachie- und Machterhaltungsapparat.

      Die davon profitierenden Gesellschaftsteile haben kein Interesse an Aenderungen, sie haben ein grosses Interesse an der Verteidigung dieser diskriminierenden Strukturen. Und von daher ein grosses Interesse an vermeintlich objektiven Prozessen und Grundlagen dafuer.

      „Der Computer hat festgestellt“ ist eine tolle Ausrede fuer vieles, fast so gut wie „ein Anwalt hat gesagt, wir duerfen waterborden“.

Dieser Artikel ist älter als ein Jahr, daher sind die Ergänzungen geschlossen.