Automating Society Report 2020: Automatisierung schreitet auch in Deutschland voran

Die Nichtregierungsorganisation AlgorithWatch und die Bertelsmann Stiftung haben gestern die 2020er Ausgabe des Berichts „Automating Society“ veröffentlicht, in dem sie eine starke Zunahme von automatisierten Entscheidungssystemen in Europa feststellen.

In 16 Ländern recherchierten die Autor:innen über 100 Fälle, in denen Algorithmen mit Methoden wie Machine Learning und sonstigen statistischen Modellen automatische Entscheidungen oder Prognosen zu gesellschaftlich relevanten Fragen herbeiführen.

Die überwiegende Mehrheit solcher automatischen Entscheidungssysteme wirke sich eher zum Nachteil von Individuen und Allgemeinheit aus. Sie seien im Stillen eingeführt worden, ohne die Öffentlichkeit ausreichend darüber zu informieren und breite gesellschaftliche Unterstützung für die Ziele der Programme herbeizuführen. Positive Beispiele finde man hingegen äußerst selten, konstatieren die Autor:innen, obwohl es durchaus vielfältige Anwendungsmöglichkeiten gebe, die der Allgemeinheit und den Bürger:innen nützen könnten.

Keine breite gesellschaftliche Unterstützung abgewartet

Deutschland habe im Vergleich mit anderen europäischen Ländern eine lebhaftere Debatte, obwohl es das Thema auch hier selten in die Schlagzeilen schafft. Eine Ausnahme sei die Debatte um den Test einer Videoüberwachung mit Gesichtserkennung am Bahnhof Südkreuz in Berlin. Durch den öffentlichen Druck sei der breitflächige Einsatz von Gesichtserkennung im öffentlichen Raum zunächst verhindert worden.

Dennoch stellt der Report in Deutschland eine Unschärfe bei den Begrifflichkeiten fest, die gleichzeitig Symptom und Ursache der ausbleibenden gesellschaftlichen Debatte sei. Die Vermischung von Begriffen wie Digitalisierung, Künstliche Intelligenz, Machine Learning und Automatisierung verwässere die Auseinandersetzung mit den konkreten Anwendungsfällen.

Generell erkennen die Autor:innen eine Technologiegläubigkeit, die Risiken von automatisierten Entscheidungssystemen als auszuräumende Bugs darstellt. Die Frage, ob ein gesellschaftliches Problem überhaupt einer technischen Lösung bedarf, werde unreflektiert übergangen.

Gefährder-Vorhersage und Analyse von Asylsuchenden

Automatisierte Entscheidungssysteme sind laut dem Bericht auch in Deutschland immer häufiger an kritischen Stellen im Einsatz. Ein Trend, der alle gesellschaftlichen und staatlichen Bereiche betrifft und in den nächsten Jahren noch deutlicher zu beobachten, so die Prognose.

Schon heute geben Algorithmen etwa bei Sicherheitsbehörden teilweise die Richtung vor. Wie hoch das individuelle Gewaltrisiko einer Person im militant-salafistischen Spektrum ist, soll für das BKA beispielsweise Tool RADAR-iTE errechnen. Die Entscheidung, ob weitere Schritte gegen die analysierte Person eingeleitet werden, bleibt aber den Mitarbeiter:innen überlassen.

Auch Schulen, Arbeitgeber und Frauenhäuser können sich von Software Prognosen zum Gewaltpotenzial über Menschen geben lassen, die im Verdacht stehen, zu einem Amoklauf oder häuslicher Gewalt zu neigen.

Um die Angaben von Geflüchteten über ihr Herkunftsland im Asylverfahren zu überprüfen, setzt das Bundesamt für Migration und Flüchtlinge umfangreiche Analysetools ein. Die Inhalte der Handys werden automatisiert aufbereitet und eine Sprachsoftware soll Auskunft darüber geben, ob der Dialekt in der Muttersprache zu den Aussagen passt.

Im Ausland verschafft sich das Auswärtige Amt einen Überblick mit einem Programm, das öffentliche Daten darauf hin auswertet, wo internationale Krisen aufkommen könnten.

Mehr Mensch oder Maschine?

Der Report nennt darüber hinaus ein Beispiel, in dem ein Überwachungssystem menschliche Interaktion sogar ersetzen könnte – mit möglicherweise dramatischen Folgen. Es handelt sich um ein Gefängnis-Experiment in Nordrhein-Westfalen. Dort soll eine intelligente Videoüberwachung Suizide verhindern, indem gefährliche Situationen automatisiert erfasst werden. Funktioniere das System zuverlässig, könne auf die heute üblichen menschlichen Überprüfungen alle 15 Minuten verzichten. Sie belasten einige Häftlinge wegen des Schlafentzugs. Allerdings könnten das Wegbleiben von menschlichem Kontakt und die panoptische Überwachung die Suizidgefahr auch verschlimmern, warnen die Autor:innen.

Ein Programm zur Analyse von Darstellungen des sexuellen Missbrauchs von Kindern hat die Zentral- und Ansprechstelle Cybercrime in Nordrhein-Westfalen mit Microsoft entwickelt. Das Programm analysiert die Bilder, damit Menschen die belastende Tätigkeit seltener ausführen müssen. Der Algorithmus in der Cloud soll pornografische Inhalte erkennen und Gesichter aus Polizeidatenbanken abgleichen, erst im Anschluss übernimmt die manuelle Polizeiarbeit wieder.

Die Polizeien in Bayern, Baden-Württemberg, Hessen, NRW und Niedersachsen haben zudem bereits mit datengetriebenen Vorhersagen über Einbrüche experimentiert. Die Technik ist allgemein unter Schlagwort Predictive Policing bekannt.

Dem Report zufolge hat Bayern eine Software im Betrieb, die Baden-Württemberg schon wieder eingestellt hat, nämlich das Einbruchs-Vorhersagetool PRECOBS. Das Problem in Stuttgart: zu wenig Einbrüche und damit zu wenige Daten. Daher soll nun in Baden-Württemberg ein neues datengetriebenes System auf weitere Kriminalitätsformen ausgedehnt werden, um die Vorhersagen zu verbessern.

Transparenz und Aufsicht

In der Verwaltung sei der Einsatz von automatisierten Entscheidungssystemen in Deutschland noch seltener. Es gibt einzelne Projekte, wie etwa in der Bundesagentur für Arbeit, wo die relevanten Daten automatisch ausgewertet werden, um die Ansprüche an Sozialhilfe zu errechnen oder in Hamburg, für die Koordination und Abrechnung von Sozialdiensten.

Das ist noch weit entfernt von praktischen Anwendungen wie zum Beispiel in Estland. Dort gibt es schon lange umfangreiche eGovernment-Dienste, etwa ein automatisches Kindergeld, ohne nur ein Formular auszufüllen, oder eine softwaregesteuerte Zuteilung von Kita-Plätzen.

Das Gesamtbild über den Einsatz von algorithmischen Entscheidungssystemen in Europa, das sich den Verfasser:innen des Berichts bietet, bring sie zu konkreten Forderungen. Damit negative Folgen durch automatisierte Entscheidungssysteme abgewendet werden können, brauche es mehr Transparenz über den Einsatz – gerade im öffentlichen Sektor. Das ginge mit einem öffentlichen Register, das die Systeme auflistet und bindenden Regeln für den Zugang zu den Daten.

Außerdem fehle es an verbindlichen Regeln, die die Verantwortlichkeiten klären. Algorithmen werden schließlich von Menschen erschaffen und sind „weder neutral noch objektiv“, so die Autor:innen. Die eingebauten Annahmen und Überzeugungen würden die Erschaffer:innen verantwortlich machen für die Entscheidungen der „gruseligen“ aber „immer menschlichen“ Algorithmen.

Es braucht eine gesellschaftliche Debatte

Für eine Zukunft, in der immer mehr weitreichende Entscheidungen mit weniger direktem menschlichen Einfluss automatisiert werden, müsse gesichert werden, dass der Zivilgesellschaft die Möglichkeit für Kritik eingeräumt wird. Der Staat dürfe nicht einseitig über den Einsatz solcher Systeme entscheiden, wenn sie so weitreichende Folgen für Grundrechte haben können, wie etwa bei der Videoüberwachung mit Gesichtserkennung. Diese sollte dem Bericht nach am besten verboten werden, da die Gefahr der Massenüberwachung zu groß sei.

Nicht nur Expert:innen sollen sich mit den Systemen auseinander setzen können. An den Stellen, wo Automatisierung eingesetzt werden soll, müsse erst einmal die nötige Kompetenz geschaffen werden, damit die Qualität der Entscheidungen eingeschätzt werden kann und die versprochene menschliche Kontrolle auch stattfindet.

Und schließlich solle die öffentliche Debatte nicht mit dem Framing der Technikfeindlichkeit vom Tisch gewischt werden. Die politische Förderung für Forschung und Wirtschaftsförderung im Bereich der Automatisierung dürfe nur eine Seit der Medaille sein. Die Politik sollte zudem auch eine breite öffentliche Debatte fördern, wenn die digitale Autonomie der Bevölkerung betroffen ist, damit diese an diesem Wandel teilhaben kann.