Sachverständigenrat fordert mehr Transparenz für Verbraucher-Scores

Wer einen schlechten SCHUFA-Score hat, bekommt keinen Kredit. Wer raucht, bekommt von der Krankenkasse keinen Bonus. Wer nachts Auto fährt, muss mehr für seine Kfz-Versicherung zahlen. Für die Ermittlung von Verbraucher-Scores werden viele personenbezogene Daten ausgewertet. Die Berechnung ist für die Betroffenen nicht vollständig nachvollziehbar, aber das Ergebnis dient als Grundlage für diverse wichtige Entscheidungsprozesse. Weil diese Scores einen so gravierenden Einfluss auf unseren Alltag haben und vor allem, weil bei vielen VerbraucherInnen ein hoher Aufklärungsbedarf besteht, hat der Sachverständigenrat für Verbraucherfragen (SVRV) des Bundesministeriums für Justiz und Verbraucherschutz in den vergangenen Monaten ein umfassendes Gutachten zur aktuellen Lage erstellt.

Die acht großen Handlungsempfehlungen des SVRV richten sich an Scoring-Unternehmen und Politik und fordern vor allem mehr Transparenz, Kompetenzstärkung der VerbraucherInnen sowie eine Stärkung der Aufsichtsbehörden. Dieses Gutachten wurde am vergangenen Mittwoch der Bundesministerin der Justiz und für Verbraucherschutz, Dr. Katarina Barley (SPD), übergeben.

Beitrag zu faktenbasierter Politik

In ihrem Begrüßungswort bei der offiziellen Übergabe des Gutachtens zeigte sich Barley erstaunt über die Vielzahl der anwesenden Personen. Das könne man als Zeichen für das große Interesse an dem Thema sehen. Das ihr übergebene Gutachten leiste einen Beitrag zu einer „faktenbasierten Politik“. In ihrer Rede betonte Barley unter anderem:

Die Kehrseite […] ist natürlich auch, dass viele Menschen gar nicht wissen, wo sie überall ihre Datenspuren hinterlassen. Wir dürfen nicht müde werden, da auch Aufklärungsarbeit zu betreiben. Ich sehe es auch so, dass die Datenschutzgrundverordnung da schon ein großer Schritt ist. Bei der e-Privacy Verordnung […] wäre ich über ein bisschen Druck aus der Zivilgesellschaft gar nicht undankbar, wenn wir da auch noch weiter vorwärts kommen könnten.

Die Ministerin bedankte sich bei dem Sachverständigenrat für dessen Arbeit. Der Rat wurde 2014 unter Justizminister Heiko Maas eingesetzt und soll das Bundesministerium in verbraucherpolitischen Fragen beraten. Das Gremium ist interdisziplinär besetzt. Die neun Mitglieder kommen aus Wissenschaft und Wirtschaft. Seit 2015 legen sie jährliche Gutachten vor. „Als Rat sind wir dem Wohle der Verbraucher auf der Spur“, so Vorsitzende Prof. Dr. Lucia Reisch während der Pressekonferenz zum neuen Gutachten.

Gemäß seines Auftrags liefert der Sachverständigenrat in seinem Gutachten neue Fakten zum Thema Scoring. Über das letzte Jahr wurde eine Marktstudie durchgeführt, für die 75 Unternehmen befragt wurden. Darüber hinaus hat der Rat eine repräsentative Bevölkerungsumfrage durchgeführt, an der 2.215 Personen teilgenommen haben. Ergänzt wurden die Erkenntnisse durch zahlreiche Gespräche mit ExpertInnen und NGOs.

Die Kernthemen des diesjährigen Gutachtens wurden vor einem Jahr bereits zum wiederholten Male angeschnitten: Das Gremium forderte erneut mehr Verlässlichkeit und Transparenz für algorithmische Entscheidungssysteme. Geschäftsgeheimnisse sollten zwar berücksichtigt werden, doch für VerbraucherInnen müsste nachvollziehbar gemacht werden, nach welchen Parametern sie kategorisiert und bewertet werden. Der SVRV schlug zudem die Entwicklung eines Audit-Verfahrens vor, bei dem ein Expertengremium „Inputs“ und „Outputs“ der algorithmischen Systeme auf Fairness prüfen könne.

Transparenz soll Vertrauen schaffen

In dem Gutachten definiert der Rat Scoring als die Zuordnung eines Zahlenwertes zu einer Person, in der Regel über die Auswertung großer Datenmengen mit Hilfe algorithmischer Verfahren. Zweck dieser Zuordnung ist die Verhaltensprognose oder -steuerung der bewerteten Personen. Bei der Vorstellung des Gutachtens betont Lucia Reisch:

Wir sind nicht gegen Scoring an sich […]. Wir als Ökonomen wissen, das ist durchaus eine sinnvolle Sache. Beim Bonitätsscoring wird grundsätzlich Vertrauen hergestellt. Da werden die guten, zahlungswilligen Schuldner geschützt vor den Betrügern. Das sind Dinge, die kennen wir auch schon lange. Das ist nicht grundsätzlich neu, das Scoring. Neu ist die Dimension und was mit dieser Technologie gemacht werden kann.

Man müsse sich in diesem Zusammenhang der Frage stellen, welche Innovation wir als Gesellschaft wollen und wie man den Einsatz von Scores verbraucherfreundlich gestalten kann. Beim sogenannten „Geo-Scoring“ beispielsweise werden Personen anhand ihres Wohnorts bewertet. Auf diese sogenannte Proxy-Variable haben die meisten Menschen allerdings kurzfristig keinen Einfluss, und es sagt im Grunde auch nichts über die Kreditwürdigkeit einer Person aus. „Die Verwendung von Proxy-Variablen sollte besonders begründet und minimiert werden“, sagt Prof. Dr. Gerd Gigerenzer, Mitglied des Sachverständigenrats. Umfassende Transparenzberichte für Scoring-Unternehmen könnten hier einen Lösungsansatz liefern.

Die Transparenzforderung verfolgt neben einer verbesserten Nachvollziehbarkeit das Ziel, eine Akzeptanz der Gesellschaft für neue Anwendungsbereiche mit Scoring zu erreichen. Derzeit stehen laut einer repräsentativen Studie der Deutschen Akademie der Technikwissenschaften (acatech) die Mehrheit der VerbraucherInnen neuen Technologien eher skeptisch gegenüber. Viele Scoring-Verfahren seien allerdings weniger komplex, als man denkt. „Auch dem neuronalen Netz kommt man auf die Schliche, wenn man ihm auf die Schliche kommen will“, meint Prof. Dr. Dr. h.c. Gert Wagner vom Sachverständigenrat. Das Argument der Blackbox oder des „Versteht ihr nicht“ sei eher ein Werbeargument für Künstliche Intelligenz. Darüber, wie weit Transparenz hinsichtlich der Scoring-Technologien gehen soll, sind sich die Mitglieder des Sachverständigenrats uneinig: Eine große Mehrheit befürwortet die Offenlegung „wesentlicher Merkmale“. Zwei Mitglieder sprechen sich für vollständige Transparenz aus.

Super-Scores beobachten und vermeiden

Ein Super-Score ist beispielsweise das geplante „Social Credit System“, das bis 2020 jede juristische und natürliche Person in China überwachen soll. Justizministerin Barley betonte, dass Social Scoring auf unserer Wertebasis gar nicht vorstellbar sei, aber trotzdem Unsicherheit in der Bevölkerung bestehe. Der Sachverständigenrat fürchtet allerdings, dass sich in unserer Gesellschaft auf kommerzieller Seite eine ähnliche Entwicklung vollzieht. Bei einigen Unternehmen bestehe bereits jetzt der Wunsch, einen übergeordneten Gesamtscore zu errechnen. Die Entwicklungen auf staatlicher und auf kommerzieller Seite müssten beobachtet werden.

Eine weitere große Handlungsempfehlung des Rats ist die Stärkung von Aufsichtsbehörden. Der Sachverständigenrat empfiehlt abermals die Einrichtung einer Digitalagentur, zum Beispiel ein Bundesinstitut für Algorithmen. Zentrale Herausforderung dabei ist, dass in einem solchen Forschungs- und Kompetenzzentrum interdisziplinäre Teams gebildet werden müssten, die sich mit dem Anwendungsfall auskennen und vor allem auch Informatik- und Statistik-Kompetenzen mitbringen. Rein juristische Instanzen reichten da nicht aus. Als Beispiel nennt Gert Wagner die fehlerhafte Einschätzung Horst Seehofers zu den Gesichtserkennungstests am Bahnhof Südkreuz in Berlin. Wer sich etwas mit Statistik auskenne, hätte gewusst, dass eine Erfolgsquote von achtzig Prozent nicht ausreichend ist.

Gleichbehandlung als Qualitätsmerkmal

Für das eigene Gutachten hat der Sachverständigenrat die Gesellschaft für Informatik (GI) beauftragt, eine umfassende wissenschaftliche Studie zu technischen und rechtlichen Aspekten automatisierter Entscheidungsverfahren zu entwickeln. Stellvertretend für eine Fachgruppe der GI waren Prof. Dr. Georg Borges und Dr. Matthias Grabmair bei der Übergabe des Gutachtens anwesend und kommentierten die Studie:

Das technische Fazit, das wir ziehen […]: Ungleichbehandlung durch Algorithmen entsteht durch eine ungleiche Verteilung in den Trainingsdaten. Das rührt daher, dass Machine Learning sehr große Überschneidungen mit angewandter Statistik hat und eine Optimierung, die allein auf Gesamtgenauigkeit ausgelegt ist und ein klares Gleichbehandlungskriterium verschiedener Gruppen außer Acht lässt, eben nur diese Genauigkeit optimiert und zu Lasten der Gleichbehandlung geht.

Machine Learning ist noch eine relativ junge Disziplin. Für Grabmair der Grund, dass es noch keine ausreichenden Best Practices und Test-Standards gibt. Dr. Borges fügte hinzu, dass es derzeit auch keinen ausdrücklichen Rechtsrahmen für Entscheidungsunterstützungssysteme gibt. Die zentrale Handlungsempfehlung der GI daher: weiter in die Forschung investieren und aus den Ergebnissen Standards und Qualitätskriterien ableiten, die auch für Privatunternehmen anwendbar sind, ohne dass die Gefahr eines unkontrollierten Wissensabflusses entsteht. Ungleichbehandlungen können statistisch erfasst werden. Scoring-Systeme sollten beim Testen bereits daraufhin untersucht werden. Die Gleichbehandlung von Gruppen sollte anwendungsbezogen neben der statistischen Genauigkeit zu einem Qualitätsmerkmal werden.

Die Politik wacht auf

Die Themen Künstliche Intelligenz, Scoring und automatisierte Entscheidungsprozesse sind hochaktuell und die Entwicklung in diesen Bereichen schreitet rasant voran. Seitens der Politik werden immer mehr konkrete Vorschläge für Regulierungsmaßnahmen veröffentlicht. Kürzlich berichteten wir über die Forderungen des UN-Sonderberichterstatters für Meinungsfreiheit David Kaye, der ein Gutachten zum Thema vorlegte. Auch die deutschen Bundes- und Landesbeauftragten für Informationsfreiheit berieten über die Themen und formulierten ein Positionspapier. Außerdem hat die Enquête-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“ ihre Arbeit aufgenommen.