Algorithmen

UN-Bericht kritisiert Einsatz neuer Technologien in Sozialsystemen

Es gibt ein hohes Risiko, dass die Digitalisierung des Wohlfahrtstaates die Ärmsten noch stärker benachteiligt als bisher. Davor warnt ein neuer UN-Bericht über den Einsatz digitaler Technologien in den Sozialsystemen. Der Bericht mahnt fundamentales Umdenken an.

Philip Alston
Der UN-Sonderberichterstatter zu extremer Armut und Menschenrechte: Philip Alston CC-BY-NC-ND 2.0 UN Photo / Jean-Marc Ferré

„The era of digital governance is upon us“. Mit diesen Worten beginnt ein neuer Bericht des UN-Sonderberichterstatters für extreme Armut und Menschenrechte, dem australischen Juristen Philip Alston. Am morgigen Freitag soll er der UN-Generalversammlung vorgestellt werden.

Beim Wohlfahrtsstaat sei der Aufbau digitaler Regierungsführung besonders gut zu beobachten. In den Sozialsystemen würden digitale Daten und Technologien für immer mehr Aufgaben genutzt, schreibt Alston. Sein Bericht nimmt die Probleme in den Blick, die mit dem Einzug der Digitalisierung in den Wohlfahrtsstaat einhergehen. Cheerleader für digitale Technologien gebe es genug, schreibt er.

Einsatzbereiche digitaler Technologien

Digitale Technologien werden laut dem Bericht im sozialen Bereich für viele Aufgaben genutzt: Sie automatisieren, identifizieren, überwachen, erkennen und bestrafen. Die Einführung solcher Technologien würde als vorteilhaft für die Bürger:innen verkauft, gehe allerdings oft mit neoliberalen Wirtschaftsvorstellungen einher: So würden Sozialstaat-Etats gekürzt, die Gruppe der Leistungsberechtigten verkleinert und strengere Sanktionen eingeführt. Es sei gar zu einer „Umkehrung der klassischen Idee gekommen, dass der Staat seinen Bürger:innen rechenschaftspflichtig ist“.

Alston malt eine düstere Zukunft, in der Leistungsempfänger:innen bei kleinsten Unregelmäßigkeiten bestraft werden, lückenlosen Überwachungsmaßnahmen ausgesetzt sind, harsche Sanktionen auferlegt bekommen und ihre Autonomie in Bezug auf Ernährung und Sexualleben eingeschränkt werden. „Die Menschheit bewegt sich, vielleicht unaufhaltsam, in Richtung des digitalen Wohlfahrtsstaates. Sie muss ihren Kurs signifikant anpassen“ um eine dystopische Zukunft zu vermeiden, schreibt der UN-Experte.

Sein Bericht ist in zwei Teile aufgeteilt. Zuerst befasst sich Alston darin mit unterschiedlichen sozialstaatlichen Aufgaben, für die digitale Technologien genutzt werden. Im zweiten Teil führt er dann Maßnahmen auf, mit denen digitale Technologien zu wirklicher sozialer Sicherung beitragen können.

Als spezifischen Einsatzbereich digitaler Technologien führt Alston die Identitätsprüfung an. Beispielsweise gebe es das indische System Aadhaar, die wohl größte biometrische Datenbank der Welt, auf die mittlerweile auch Unternehmen Zugriff haben und den neuen Pass in Kenia, auf dem große Mengen biometrischer Daten gespeichert werden. Andere Einsatzbereiche seien die gänzlich automatisierte oder computergestützte Bedürftigkeitsprüfung und die algorithmische Kategorisierung von Leistungsempfänger:innen wie beispielsweise durch das Arbeitsmarktservice in Österreich.

Zudem würden die Technologien eingesetzt, um Unregelmäßigkeiten zu erkennen und Betrugsversuche zu verhindern. Auch die physische Interaktion mit Sachbearbeiter:innen werde vermehrt durch reine Online-Kommunikation ersetzt.

Empfehlungen gegen die Dystopie

Um die damit verbundene düsteren Aussichten zu verhindern, sind laut Alston vor allem die Regierungen in der Pflicht. Diese sollten angemessene Maßnahmen auf den Weg bringen und sich dazu bekennen, „ihre digitalen Wohlfahrtsstaaten nicht als trojanisches Pferd für neoliberale Wohlfahrtsstaats-Feindlichkeit und Regulierung, sondern als einen Weg um einen angemessenen Lebensstandard für jedes Gesellschaftsmitglied“ einzusetzen. Der Bericht empfiehlt dazu insgesamt acht Maßnahmen.

Die großen Technologieunternehmen müssten Menschenrechte ernst nehmen und nach ihnen handeln. Bisher sei deren Lobbyarbeit jedoch darauf ausgelegt, Regulierungen zu verhindern, den freien Markt zu befürworten und so etwas wie universell gültige Werte abzustreiten. Damit seien die Unternehmen sehr erfolgreich.

Unterstützer:innen der Menschenrechte sollten deutlich machen, dass die technologische Zukunft in einem Desaster ende, wenn Menschenrechte nicht beachtet werden, fordert der UN-Sonderberichterstatter.

Auf die Einführung digitaler Technologien im Wohlfahrtsstaat folge allzu oft bald eine digital-only-Praxis. Dies sei problematisch, da nicht jede:r über die gleichen Zugangsmöglichkeiten zu diesen Technologien verfüge, schreibt Alston. Daher solle der Wohlfahrtsstaat immer eine nicht-digitale Option bereitstellen und die Digitalisierungsprozesse immer mit der Förderung von digitalen Fähigkeiten und Zugängen einhergehen.

Algorithmen sind fehleranfällig und diskriminieren

Da die Programme mehrheitlich von weißen, gut situierten Männern aus dem globalen Norden programmiert würden, seien sie extrem anfällig dafür, dass Vorurteile in die Progammierung mit einfließen und durch die Programme verstärkt werden. Deshalb empfiehlt der Sonderberichterstatter, dass potentielle Nutzer:innen am Designprozess teilhaben sollen. Damit könnten die Programme stärker auf die tatsächlichen Bedürfnisse abgestimmt werden.

Diskriminierung durch Algorithmen ist ein erhebliches Problem. Außerdem wiesen algorithmische Systeme hohe Fehlerraten auf und würden, wie bei einem umstrittenen System in den Niederlanden ohne explizite Rechtsgrundlage eingesetzt. Deshalb fordert Alston einen Fokus auf Transparenz. Intransparenz und mangelnde Legalität erschwere die parlamentarische und öffentliche Teilhabe an der Digitalisierung. Mitbestimmung durch die Bürger:innen kann so kaum stattfinden.

Private Unternehmen und das Accountability-Problem

Der Bericht problematisiert auch die Rolle des privaten Sektors. Dieser spiele, zum Beispiel in Deutschland, eine immer größere Rolle in sozialen Fragen. Gepaart mit fehlenden Regulierungsbestrebungen der Regierungen und dem Widerstand der Unternehmen gegen die Rücksichtnahme auf Menschenrechte sei dies ein erhebliches Problem. Des Weiteren führe die umfangreiche Beteiligung oder gar das Outsourcing sozialstaatlicher Maßnahmen an private Unternehmen zu mangelhaften Information über die eingesetzten Technologien. Der Grund dafür seien unter anderem schlechte Informationsfreiheitsgesetze, Vertraulichkeitsvereinbarungen und Regelungen bezüglich geistigem Eigentum. Dies behindere die Möglichkeiten, Regierungen und private Akteure zur Verantwortung zu ziehen.

Eine Rechenschaftspflicht von Regierungen und Firmen in Sachen digitalem Sozialstaat sei aber extrem wichtig. „Es ist deshalb offensichtlich, dass der Ausgangspunkt für menschenrechtskompatible digitale Wohlfahrtsstaaten in einer gesetzlichen Regelung liegen sollte, die sicherstellt, dass Technologiekonzerne rechtlich verpflichtet sind, gültige Menschenrechtsstandards zu akzeptieren“, schreibt Alston.

Ihm zufolge ist also ein sehr fundamentales Umdenken erforderlich. Es gebe „verblüffend wenig Aufmerksamkeit“ für die Möglichkeiten, die neue Technologien für tatsächliche Verbesserungen des Wohlfahrtsstaat liefern könnten. Die „echte digitale Revolution des Wohlfahrtsstaates“ wäre aber genau dies: der Einsatz dieser Technologien, um neue Wege der Fürsorge für die Armen und Zurückgelassenen zu entwickeln.

Eine Ergänzung
  1. ‚Es gebe „verblüffend wenig Aufmerksamkeit“ für die Möglichkeiten, die neue Technologien für tatsächliche Verbesserungen des Wohlfahrtsstaat liefern könnten.‘

    In der Tat scheint der Blick auf die Ausbeutung der Daten zweitwichtigst, gleich nach (lästigen) Digitalisierung der lästigen Verwaltung.

    Also unbedingt Microsoft, und Zugriff auf Meldedaten. Ich hoffe, es bildet sich mal die Erkenntnis, das Wahlen zu langsam sind. Jeder Monat, den diese Leute vergeuden, wird mit fortschreitender Zeit noch teurer.

    Die Bergründung ist ja auch nicht „die Schweden brauchen durchschnittlich 2 Minuten für den Kontakt zu den Behörden, wir werden Abgehängt!!1!“, sondern „wir werden wirtschaftlich abgehängt, wegen digital“. Was getan wird ist also, die zuvor unter Verschluss gehaltenen Meldedaten zu verklappen, und äh, die eigene Bevölkerung zugunsten von Konzernen abzuhängen, z.B. indem man abstruse Regulierungen im Netz+Urheberrecht+Terror+… einführt.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.