Digitalisierung und Automatisierung machen auch vor Polizei und Justiz nicht Halt. In den USA spielt Software bereits heute eine große Rolle bei Ermittlungen, der Sicherung von Beweisen und Verurteilungen. Bei der New York Times erklärt Rebecca Wexler, wie unter Verschluss bleibende Computerprogramme das Justizsystem ungerechter machen (Artikel auf Englisch).
Wexler fordert die Öffnung der aufgrund von geistigen Eigentumsrechten geheimen Algorithmen und Technologien:
Das Grundproblem ist, dass automatisierte Technologien im Bereich der Strafjustiz zum großen Teil in privater Hand sind und gewinnbringend verkauft werden. Die Entwickler sehen ihre Technologien als Geschäftsgeheimnis. Folglich verweigern sie sich, Details über die Funktionsweise ihrer Werkzeuge zu veröffentlichen, selbst gegenüber Angeklagten und ihren Anwälten, unter vorläufigem Rechtsschutz oder im kontrollierten Rahmen eines Strafverfahrens oder einer Bewährungsanhörung.
Letztes Jahr hatte eine ausführliche Recherche von ProPublica gezeigt, wie in einigen US-Bundesstaaten genutzte Software zur Vorhersage von zukünftigen Kriminellen Schwarze diskriminiert.
Ich fände es spannend, wenn man die Algorithmen-Ergebnisse auch immer mit den Denkergebnissen von Menschen vergliche, hier also mit Richtern und Polizisten. Bisher ist mir überhaupt nichts bekannt, wie Richter und Polizisten denken. Aber wie Computer diskriminieren auch sie schwarze Mitbürger.
http://www.migazin.de/2016/07/11/rassismus-usa-warum-us-polizisten/
https://www.tagesschau.de/ausland/realitaetscheck-schwarze-101.html
Lernen die AI-System direkt von uns? Wie bekommen wir die Gedanken von Menschen transparent und gerecht? Zum Glück sind Richter und Polizisten nicht in privater Hand und dürften nicht die Gedanken als geheim und Geschäftsgeheimnisse deklarieren.
Leider geht der Kommentar am Problem vorbei. Wer über maschinelles Lernen schreibt, sollte sich erst einmal damit befassen, wie das den funktioniert:
Verwendet werden allgemeine Algorithmen des maschinellen Lernens. Diese können offen gelegt werden, sagen aber nichts über die Entscheidungen des Systems aus. Daher ist die inzwischen populär gewordene Forderung nach „Offenlegung der Algorithmen“ einfach nur Unsinn. Es ist so, als ob man fordern würde, die Telefonkabel der Mobilfunktelefonie offen zu legen.
Die Problematik ist natürlich echt. Aber man sollte sich ein wenig inhaltlich damit befassen, bevor man populistische aber unsinnige Forderungen verlautbart. Bei Frau Merkel – die diese unsinnige Forderung auch schon geäussert hat – wissen wir, dass das für sie alles „Neuland“ ist und kein Fachwissen zu erwarten ist. Bei Netzpolitik.org sollte ein wenig Kompetenz schon für das Schreiben von Artikeln vorausgesetzt werden. Dies gilt umso mehr als das Thema auch nicht mehr ganz neu ist.
Der Kern der Problematik ist, dass man den Systemen statt konkreter Regeln nur Beispiele zum selbständigen Lernen präsentiert. Ausgehend von einem rein zufälligen Verhalten wird das System dann durch die Lernalgorithmen so angepasst, dass die Beispielsfälle möglich gut erreicht werden und in weiteren Testfälle ebenfalls annährend das richtige Ergebnis herauskommt. Wie das System in anderen Fällen reagiert, weiß niemand. Es wird einfach gehofft, dass die Interpolation des Systems ganz gut ist.
Wir haben also ein System, welches niemand richtig kennt und welches nie Regeln, sondern nur Beispielsfälle gesehen hat. Als Ergebnis werden statisch passende Zusammenhänge verallgemeinert. Wenn ein System mit Krimis trainiert würde und in Krimis die Täter meistens schwarz angezogen sind, wird das System vorhersagen, dass die schwarz angezogenen Personen die Täter sind. Woher sollte es wissen, dass dieser Zusammenhang nur statistisch existiert aber nicht als Regel verwendet werden darf?
Die Forderung muss daher lauten, maschinelles Lernen dort nicht einzusetzen, wo wir die Kontrolle über die Auswahl der angewendeten Regeln haben wollen.
PS: Ich finde Netzpolitik.org gut – richtig gut. Daher ärgern mich dumme Artikel von Euch um so mehr. Wenn Ihr wollt, kann ich Euch bei der nächsten Gelegenheit gerne einen Artikel zu diesem Themenbereich schreiben.