Wie der Mensch die Kontrolle über den Algorithmus behalten kann

Seitdem Justizminister Heiko Maas (SPD) die Regulierung von Algorithmen auf die politische Agenda gesetzt hat, ist das Thema fast so prominent wie das Netzwerkdurchsetzungsgesetz (NetzDG). „Der Angriff der Algorithmen“, so lautet die irreführende Übersetzung eines Buches von Cathy O‘Neil (im Original Weapons of Math Destruction, 2015), das die Entwicklung und Anwendung so genannter algorithmischer Entscheidungssysteme in den Vereinigten Staaten von Amerika thematisiert. Es stellt oft die Basis der hiesigen Debatte dar und leitet sie dennoch in die falsche Richtung.

Das Buch illustriert, wie es dazu kam, dass Maschinen – aka Algorithmen, aka Software – darüber entscheiden, welcher Mensch etwa zum Bewerbungsgespräch eingeladen wird, welcher Mensch welche Bildungsangebote zur Auswahl bekommt oder auch wie hoch das Strafmaß von Straftätern ausfallen soll. Diese Entscheidungen sind abhängig von individuellen Bewertungen. Die Berechnung dieser Bewertungen basiert auf Scoring, bekannt aus dem Bereich der Kreditvergabe, und soll auf Basis von gesammelten Erfahrungen aus der Vergangenheit möglichst zuverlässige Prognosen für die Zukunft geben. Die Frage ist natürlich, welche Daten der Ermittlung eines individuellen Wahrscheinlichkeitswertes zugrunde gelegt werden, in welche Beziehung diese Daten zueinander gesetzt werden und zu welchem Zweck die Bewertung gebildet wird.

Das Buch kritisiert, dass die algorithmischen Entscheidungssysteme undurchsichtig sind: Die Anwendung und Funktionsweise ist Betroffenen in den meisten Fällen nicht bekannt. Oft unterliegen die Algorithmen der Geheimhaltung – ihre Schöpfer begründen das mit Geschäftsgeheimnissen und potentieller Manipulation. Viele Möglichkeiten der Kontrolle und Beeinflussung maschineller Entscheidungen entfallen dadurch. Die Entscheidungssysteme werden überdies gern zweckentfremdet: Die Kredit-Scoring stellt dann etwa nicht nur Grundlage der Kredit-Vergabe, sondern auch der Berechnung von Prämien bei Autoversicherungen dar – unabhängig vom individuellen Fahrverhalten. (Hier dazu eine Analyse der Bertelsmann-Stifung).

Das ist sehr praktisch für reiche Erben: Sie können theoretisch auch besoffen Auto fahren, ohne Rückwirkung auf die Prämie. Wer dagegen aus ärmeren Verhältnissen kommt, sollte nicht zerknirscht sein, wenn ihm trotz exzellenter Fahrweise höhere Raten aufgebrummt werden – so funktioniert das System. Fast täglich häufen sich nun die Berichte über gravierendere Fälle fehlerhafter oder diskriminierender maschineller Entscheidungen. Diese sollen hier nicht wiederholt werden. Statt dessen widmet sich der Beitrag der Situation in Deutschland und der Frage von nahe liegenden rechtlichen Lösungsansätzen, die nach einer kurzen Einführung erörtert werden.

Anachronistische Debatten

Das Buch von Cathy O‘Neil ist lesenwert – führt es doch in die Debatte ein. Und gleichzeitig führt es an den aktuellen politischen Herausforderungen vorbei: Es wäre wohl besser mit dem Titel „statistische Massenvernichtungswaffen“ zu übersetzen gewesen. Denn es zeigt einerseits auf, welche Schäden durch maschinelle Entscheidungen entstehen können. Andererseits nimmt es vor allem solche Systeme ins Visier, die auf verhältnismäßig einfachen Algorithmen basieren und eher statisch-geschlossen sind. Die Datenbasis ist vergleichsweise überschaubar: Bei der Ermittlung individueller Risiko-Prognosen von Straftätern kommt etwa ein Fragebogen zur Anwendung mit Fragen zu Vergangenheit, Umfeld und psychischer Konstitution. Wären die Algorithmen transparent, könnte man sie untersuchen und prüfen.

Anders sieht es bei solchen algorithmischen Entscheidungssystemen aus, die eine Vielzahl an personenbezogenen, kommunikations- und bewegungsbezogenen Daten über uns mit neuen Analysemethoden und maschinellem Lernen verbinden: Bekannt sind sie vor allem im Kontext der Beeinflussung unserer Wahrnehmung: Googles Services, Facebooks Newsfeed, Amazons Kaufempfehlungen. Die großen Plattformanbieter sammeln, kaufen, analysieren eine Unzahl an persönlichen Daten. Unsere Klicks und Likes ermöglichen eine spezifische Analyse unseres psychischen, physischen und sozialen Zustands. Die Verwendungsmöglichkeiten dieser Informationen sind schier unendlich. Sie können zu Werbezwecken und politischer Manipulation eingesetzt werden. Oder auch als Grundlage für Versicherungen oder vorhersagebasierte Polizeiarbeit. Einer Transparenz über ihre Funktionsweise stehen Geschäftsgeheimnisse entgegen und die private Verfügungsgewalt über zugrunde liegende Daten. Aber auch die Gesamtkomplexität des Systems stellt Kontrolle vor Herausforderungen – dazu braucht man sich nur kurz an den Suchalgorithmus von Google erinnern, der tausende Zeilen Code von unterschiedlichsten Programmierern enthält, die hunderte Male pro Jahr geändert werden.

Bisher kommen komplexe algorithmischen Systeme vor allem bei Plattformen wie Facebook zum Einsatz, wo sie zur Steuerung unserer Wahrnehmung verwendet werden. Doch die Einführung maschineller Entscheidungen in vielen anderen Bereichen wird mit Big Data und selbst-lernenden Algorithmen erst richtig interessant. Die Wissenschaftlichen Dienste des Bundestages gehen davon aus, dass komplexe Algorithmen zukünftig nicht nur im Bereich Wirtschaft und Finanzen Anwendung finden, sondern etwa auch im Bereich des Rechts (Legal Tech), Gesundheit (Robotik im Operationssaal, in der Altenpflege und Diagnostik), Sicherheit (Predictive Policing, Grenzkontrolle, Sicherheit) oder der öffentlichen Verwaltung.

Wissenschaftler sagen, dass dies auf eine algorithmische Regulierung hinaus läuft: Die Gesellschaft würde nicht mehr durch Zwang und Anreize gesteuert, sondern über die Gestaltung von Kontext – von Umgebungen, in denen sich Menschen zurecht finden müssen. Dabei wirken perspektivisch die Personalisierung von informationellen Umgebungen von Menschen und Organisationen, die Profilbildung als automatisierte Zuweisung von Positionen und Lebenschancen und die Entwicklung von technischen Infrastrukturen zur Verhaltensbeeinflussung (Nudging) zusammen.

Wie kann man dabei gewährleisten, dass diese der Gesellschaft zu Gute kommt?

Herausforderungen der Kontrolle von Algorithmen

Führende Experten fordern Kontrolle: Mittels Algorithmen-Analyse (Auditing) und Überprüfung soll Transparenz hergestellt werden. Denn es gilt, die Zweckmäßigkeit und Angemessenheit algorithmischer Entscheidungssysteme abzusichern. Auch ist zu gewährleisten, dass gesellschaftliche Werte wie Teilhabegerechtigkeit und Diversität erhalten bleiben und gestärkt werden. Letztlich gilt es auch, Fehler zu verhindern oder korrigieren zu können. Denn Bugs und Manipulation von Systemen sind ebenso denkbar wie unvorhersehbare Ergebnisse, insbesondere im Kontext von maschinellem Lernen. Ist das möglich?

Als klassische Teildisziplin der Informatik konzentrierte sich die Prüfung algorithmischer Entscheidungssystemen traditionell auf die Überprüfung der System-Design: In Abhängigkeit einer konkreten Fragestellung wird beispielsweise die Datenbasis des Systems, die Modellierung von zugrundeliegenden Variablen und die Entscheidungslogik überprüft. Auch die Implementierung und ihr Kontext sind Teil von Prüfverfahren.

Aktuelle Datenerhebungs- und Datenanalyseverfahren ergeben wie oben geschildert dynamische und komplexe algorithmische Entscheidungssysteme. Diese können logisch kaum noch geprüft werden. Damit verlagert sich der Fokus auf so genannte Input-Output-Analysen: Daten, die in das System einfließen, werden systematisch mit den Resultaten verglichen. Ziel ist die Kenntnis der algorithmischen Entscheidungsstrukturen. Eine Spielart ist die Entwicklung von Algorithmen, die erklärbare Modelle und Variablen generieren.

Das Problem ist: Der Fokus verschiebt sich hier von der Analyse des Algorithmus auf die Analyse relevanter Daten. Der Zugriff auf Daten generiert im Regelfall allerdings ähnliche Probleme wie der proprietäre Algorithmus. Selbst wenn die ganze Welt darüber streitet, ob Facebook eine Mitschuld an der Verbreitung von Fake News oder der Generierung von Echokammern trägt – Facebook gibt die Daten nicht raus.

Gesetzgebung, die Algorithmen-Kontrolle behindert

Forscher haben Möglichkeiten entwickelt, auf Umwegen relevantes Datenmaterial zu erheben – etwa durch die automatisierte Sammlung von öffentlich verfügbaren Informationen (Scrapen) oder den Einsatz von Fake Accounts oder Bots zum Zwecke der Erhebung von Nutzerdaten. Doch diese Methoden, automatisierte Verfahren der Datenerhebung, verletzen im Regelfall die Allgemeinen Geschäftsbedingen der jeweiligen Webseitenbetreiber. Aber nicht nur das: Bis zur vergangenen Woche waren sie auch Gegenstand von IT-Sicherheitsgesetzen wie dem Computer Fraud and Abuse Act (1986) in den USA. Sie stellten ein nicht-autorisiertes Eindringen in vernetzte Systeme dar und waren damit Gegenstand des Strafrechts. Die US-amerikanische Rechtsprechung hat sich nun dankenswerterweise gerade geändert. Die Wirkung bleibt abzuwarten.

Der Kontrolle von Algorithmen steht in manchen Fällen auch das Urheberrecht im Weg: Etwa wenn Bots eingesetzt werden, um festzustellen, ob Gesichtserkennungssoftware auf diskriminierende Art Menschen afrikanischer Abstammung als Gorillas klassifiziert. Das erforderte beispielsweise Technologien der Identitätsprüfung. Diese zu umgehen verletzt unter Umständen die so genannte Anti-Circumvention-Provision des Digital Millennium Copyright Act. Sie kriminalisiert die Produktion und Verbreitung von Technologien, die Zugriffsbeschränkungen (DRM) auf kopiergeschützte Werke umgehen, selbst wenn dabei kein Urheberrecht verletzt wird.

Das heißt: Bei der Kontrolle algorithmischer Entscheidungssysteme geht es längst nicht nur um Algorithmen. Sie verlagert sich bei komplexeren Systemen auf den Datenzugriff. Wenn dieser von den Systembetreibern nicht zur Verfügung gestellt wird, gibt es Möglichkeiten, die Daten auf Umwegen zu erheben. Sollten die Methoden automatisiert sein, stehen dem im Regelfall die Allgemeinen Geschäftsbedingungen entgegen, mitunter auch IT-Sicherheitsgesetze und das Urheberrecht. Verbesserungen in der Rechtslage würden nicht nur Transparenzgebote umfassen. Sie beginnen bereits bei der Abschaffen entsprechender Restriktionen.

Gesetzgebung, die Algorithmen-Kontrolle befördert

Die Kontrolle von algorithmischen Systemen in der Anwendung ist die eine Sache, die Kontrolle ihrer Entwicklung eine andere. Hier kommt der im Mai zur Anwendung kommende EU-Datenschutzgrundverordnung (DSGVO) und der E-Privacy-Verordnung eine entscheidende Bedeutung zu: Wer darf welche Daten zu welchem Zweck erheben und auswerten?

Die Frage ist nicht neu. Aber sie gewinnt im Kontext algorithmischer Entscheidungssysteme eine neue Relevanz. Denn sie bestimmt einerseits darüber, welche spezifischen Daten maschinellen Entscheidungen zugrunde liegen, die einen Menschen betreffen. Andererseits bestimmen die Daten in ihrer Gesamtheit auch darüber, wie und was Algorithmen lernen. Sie sollten – in Abhängigkeit vom Zweck eines algorithmischen Entscheidungssystems – mindestens aktuell, vollständig und repräsentativ sein. Theoretisch müssten sie dann auch noch adäquat klassifiziert sein und in einen sinnvollen Zusammenhang gebracht werden, der kontrolliert werden kann, so die Experten. Doch am Anfang bleibt die Frage: Wer darf welche Daten zu welchem Zweck erheben und auswerten? Wer gewährleistet die Integrität?

Um den Algorithmen Herr zu werden, fordern amerikanische Wissenschaftler das Recht auf Information zu erhobenen und verarbeiteten Daten und das Recht auf Korrektur erhobener Daten – sowohl für das Individuum wie auch für die Allgemeinheit. Denn solche Rechte stellten den direktesten Weg dar, die Basis maschineller Entscheidungen zu sichern. Nun, beide Rechte sind Gegenstand der Datenschutz-Grundverordnung, Art. 13-16. Zumindest in Bezug auf personenbezogene Daten, mit allerlei Ausnahmen. Neuere Formen des Profiling basieren mehr und mehr auf Kommunikations-, Meta- und Bewegungsdaten wie sie etwa Messenger erheben. Diese würden theoretisch von der E-Privacy-Richtlinie erfasst, welche die Datenschutz-Grundverordnung ergänzen soll und gegen welche die Wirtschaft gerade Sturm läuft. Sie sieht beispielsweise das Einverständnis von Nutzern voraus, wenn Daten von WhatsApp, Facebook-Messenger oder Facetime verarbeitet werden. Sie muss dringend verabschiedet werden, es gibt sonst kaum Möglichkeiten der Kontrolle. Auch müssen Regelungen für die Ausnahmebereiche der Datenschutz-Grundverordnung gefunden werden.

Aber die Datenschutz-Grundverordnung bietet noch mehr: Sie gibt den so genannten Datensubjekten im Falle einer automatisierten Entscheidungsfindung, inklusive dem Profiling, ein Recht auf Information bezüglich der involvierten Logik eines Entscheidungssystemen, seiner Tragweite und angestrebter Auswirkungen. Außerdem sieht sie das Recht vor, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Betroffene haben das Recht auf Erwirkung des Eingreifens einer Person seitens des Verantwortlichen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung (Art. 22).

Die Datenschutz-Grundverordnung thematisiert damit wesentliche Herausforderungen maschineller Entscheidungen und fordert – zu Recht – Transparenz, Kontrolle und die Möglichkeiten menschlicher Intervention und Korrektur. Das klingt alles erst einmal sehr gut, hat jedoch so einige Tücken im Detail und im Kontext seiner Implementierung.

Welche Neuerungen die Datenschutz-Grundverordnung bringt und welche Herausforderungen sich bei ihrer Umsetzung stellen

Zunächst einmal regelt der Gesetzestext nur automatisierte Entscheidungen. In vielen Fällen algorithmischer Entscheidungen generiert die Software allerdings Empfehlungen – Empfehlungen für Nachrichten oder Einkäufe. Oder auch für Serviceleistungen, die einem Arbeitslosen angeboten werden. Oder für Strafmaße, die einem Richter für die Verurteilung eines Straftäter ans Herz gelegt werden.

Wie haben es mit maschinellen Entscheidungssystemen zu tun, die einen unterschiedlichen Grad an Autonomie aufweisen können. Doch die meisten Systeme sehen zumindest theoretisch Möglichkeiten menschlicher Intervention vor. Doch wie hoch ist die Chance, dass ein Mitarbeiter von Behörden von maschinellen Entscheidungen abweicht? Diese kosten ihn Zeit, die muss er erklären und außerdem sind die Systeme auf interventionsfreie Abläufe optimiert. Daher gilt es, auch Regelungen für Empfehlungssysteme zu schaffen, welche gravierende und/ oder rechtliche Wirkung entfalten.

Noch schwieriger allerdings ist die Umsetzung der Informationen über die maschinellen Entscheidungen zugrunde liegende Logik. Gemeint ist so etwas wie eine Erklärung, wie Algorithmen funktionieren. Wie oben erörtert, kann das unter Umständen sehr schwierig sein: Einer Transparenz von Algorithmen können unterschiedliche Dinge im Weg stehen, dazu zählt auch technische Komplexität. Ein Lösungsansatz kommt nun vom Oxford Internet Instituts – unter dem Schlagwort Counterfactual Explanations – eine Art Anwendungserläuterung: Sollte es nicht möglich ist, die Black Box algorithmischer Entscheidungssysteme zu öffnen und eine Transparenz herzustellen über die Logik eines maschinellen Entscheidungssystems, sollen Algorithmen den Betroffenen zumindest eine Erklärung geben können, wie eine konkrete Entscheidung verändert werden könnte. Einfaches Beispiel: Bei einem abgelehnten Kreditantrag sollte ein solcher Algorithmus Aussage dazu geben können, wie hoch das Jahreseinkommen sein müsste, damit die Entscheidung anders ausfällt. Aber das Ganze wird erst im Falle vieler Variablen interessant. Aus einer Matrix von Möglichkeiten wählt der Algorithmus dann diejenige Möglichkeit als Erklärung aus, die am leichtesten zu ändern wäre.

Das Spannende ist: Die Idee transformiert quasi Recht in Code. Doch bieten diese Erläuterungen wirklich die Übersicht und Kontrolle, die wir brauchen? Die Idee ist interessant: Sie gibt Betroffenen ein Stück Übersicht über algorithmische Entscheidungsprozesse zurück und bietet Handlungsoptionen, diese zu beeinflussen. Allerdings stellt sich die Frage: Wodurch ist gewährleistet, dass eine auf komplexen Berechnungen basierende Erläuterung eines komplexen, intransparenten Gesamtsystems korrekt ist? Wenn zugrunde liegende Daten und Algorithmen generell geheim sind, stellen sich dann nicht die gleichen Probleme wie beim Ursprungsproblem: Sind diese Anwendungserläuterungen transparent oder proprietär? Funktionieren sie fehlerfrei und angemessen? Kann eine Zuverlässigkeit gewährleistet werden, wenn selbst-lernende Algorithmen zum Einsatz kommen? Wie reagieren die Erklärungen auf unvollständige, fehlerhafte oder diskriminierende Daten? Könnte es sein, dass die Idee ganz wunderbar ist für bestimmte Fälle, aber bei gravierenden Entscheidungssystemen einfach nicht ausreicht und durch Informationsmöglichkeiten für die Allgemeinheit (Algorithmen-Folgenabschätzungen) und externe Tests ergänzt werden muss?

Es ist ein weites Feld …

Die Überantwortung menschlicher Entscheidungen an Maschinen steigert die gesellschaftliche Komplexität. Sie birgt ganz neue Herausforderungen gesellschaftlicher Herrschaftskontrolle. Darin nehmen nicht nur Algorithmen, sondern auch Daten eine zentrale Stellung ein. Maschinelles Lernen und andere Formen künstlicher Intelligenz stellen ein ungeheuer spannendes und risikoreiches Experiment mit der Gesellschaft dar. Es sollte nicht der kurzfristigen Innovationseuphorie zum Opfer fallen. Es gilt genau jetzt, die Weichen zu stellen, wozu die Maschinen dem Menschen dienen sollen. Naheliegende Regulierungsoptionen liegen in der Ermöglichung von Prüfung und Kontrolle. Hier nehmen die ordentliche Implementierung der Datenschutz-Grundverordnung, die Verabschiedung der E-Privacy-Verordnung und die Prüfung und Reform von IT-Sicherheitsgesetzen und Urheberrecht eine essentielle Stellung ein.