In Frankreich beziehen Millionen Menschen Sozialhilfe aus der Caisses d’Allocations Familiales (CAF). Die „Familienausgleichskasse“ zahlt etwa Zulagen oder Wohngeld an einkommensschwache Familien. Mit solchen Zahlungen einher geht allerdings auch eine (teil-) automatische Risikobewertung von Empfänger-Familien. Ein Algorithmus entscheidet anhand von personenbezogenen Daten regelmäßig, ob ein vermeintliches Risiko einer Überzahlung vorliegen könnte.
Eine Koalition aus 15 Nichtregierungsorganisationen geht nun vor Gericht gegen dieses System vor. Angeführt von der französischen NGO La Quadrature du Net (LQDN) haben sie Klage beim obersten Verwaltungsgericht in Frankreich, dem Conseil d’État, eingereicht. Unter den Unterstützenden ist auch Amnesty International France.
Verstoß gegen Anti-Diskriminierungsgesetz
In der Klage kritisieren die Organisationen die rücksichtslose Nutzung von personenbezogenen Daten und werfen der französischen Behörde einen Verstoß gegen das Anti-Diskriminierungsgesetz vor. „Dieses System steht in direktem Widerspruch zu Menschenrechtsstandards und verletzt das Recht auf Gleichheit und Nichtdiskriminierung sowie das Recht auf Privatsphäre“, sagt Agnès Callamard, Generalsekretärin von Amnesty International.
2023 hatte La Quadrature du Net über Informationsfreiheitsanfragen Zugang zu dem Quellcode der Software erhalten. In ihrer Analyse zeigte die NGO, welche Faktoren zu einem vermeintlich erhöhten Risiko für unberechtigte Zahlungen führen und wie dadurch bestimmte Gruppen diskriminiert werden.
Doppelte Bestrafung
Faktoren, die das vermeintliche Risiko steigen lassen, sind demnach etwa ein geringes Einkommen, Arbeitslosigkeit oder instabile Beschäftigungsverhältnisse. Auch wer in einer „benachteiligten“ Nachbarschaft lebt oder einen großen Teil des Einkommens für Miete ausgibt, muss mit einem höheren Wert rechnen. Diese Faktoren prüft das System monatlich bei allen Empfänger:innen und vergibt einen „Verdächtigkeitswert“. Je höher der Wert einer Person, desto öfter wird sie von Behörden kontrolliert.
Menschen, die in armen und prekären Verhältnissen leben, geraten somit vermehrt ins Visier von behördlichen Kontrollen. „Das ist eine doppelte Bestrafung“, kritisiert Bastien Le Querrec, Rechtsberater bei La Quadrature du Net. Der Algorithmus sei Ausdruck einer Politik der Verfolgung der Ärmsten.
Algorithmische Diskriminierung hatte in Europa schon mehrfach für Skandale gesorgt. In den Niederlanden hatte etwa die sogenannte „Kindergeldaffäre“ zu ungerechtfertigten Rückzahlungen von Kindergeld geführt. In einem anderem Fall hatte ein automatisiertes Tool vermeintlichen Betrug beim Bezug von Sozialleistungen aufgespürt. In Österreich sollte der sogenannte AMS-Algorithmus Arbeitssuchende nach ihrer Vermittelbarkeit einstufen, ist jedoch schon seit Jahren in einen langwierigen Rechtsstreit verstrickt.
Die im August dieses Jahres in Kraft getretene KI-Verordnung der EU soll den Einsatz solcher (teil-) automatischen Entscheidungssysteme im sozialen Bereich stark reglementieren. Social-Scoring-Systeme sind in der EU eigentlich ganz verboten. Doch da die Definition solcher Systeme in der Verordnung vage gehalten ist, bleiben den Mitgliedsstaaten Schlupflöcher offen. Bei den Verhandlungen um die KI-Verordnung hatte Frankreich, aber auch Deutschland, mehrmals blockiert, um die Regulierung von KI-Systemen einzuschränken.
Social-Scoring, Banken-Scoring, Cashback-Scoring, Payback-Scoring, SCHUFA-Scoring, und viele andere Punktesammelsysteme… alles Sporen und Wurzelwerke wie Palantir.
Keiner kennt den Code, die Vernetzungen und die Methoden dorthinter.
Vieles sind wir Verbraucher auch selber verschuldet, man renne jedem Hype hinterher und widersprechen selten den Takticken von Datenheler… man hat ja nichts zu verbergen!
Ist man mal selber betroffen, verliert man wohl aus Schock erstmals den Verstand.
Ihr könntet auch den Robodebt-Skandal in Australien zitieren. Dort sitzen jetzt PolitikerInnen wegen Mordes im Knast, weil sie der Firma die Zusage gaben, die versprach, Arme in den Hungertod zu treiben.
Danke für den Hinweis auf den Robodebt-Skandal, der hervorragend die Implikationen automatisierter Entscheidungen aufzeigt. Das würde ich gerne die Köpfe unserer Politikerinnen trichtern, die, von Fakten und Wissen weitgehend befreit, von K“I“ und ihren tollen Einsatzpotentialen in Exekutive und Judikative faseln. In der Legislative wird sie anscheinend bereits flächendeckend genutzt.
Einen Beleg dafür, das Politikerinnen deshalb verurteilt wurden (gar wegen Mordes), konnte ich nicht auffinden. Das hätte mich auch sehr verwundert.
Im Gefängnis landeten wegen Robodebt erwartungkonform nur unrechtmäßig beschuldigte Sozialhilfeempfängerinnen.
Der Große Bruder ist unfehlbar.