In Frankreich beziehen Millionen Menschen Sozialhilfe aus der Caisses d’Allocations Familiales (CAF). Die „Familienausgleichskasse“ zahlt etwa Zulagen oder Wohngeld an einkommensschwache Familien. Mit solchen Zahlungen einher geht allerdings auch eine (teil-) automatische Risikobewertung von Empfänger-Familien. Ein Algorithmus entscheidet anhand von personenbezogenen Daten regelmäßig, ob ein vermeintliches Risiko einer Überzahlung vorliegen könnte.
Eine Koalition aus 15 Nichtregierungsorganisationen geht nun vor Gericht gegen dieses System vor. Angeführt von der französischen NGO La Quadrature du Net (LQDN) haben sie Klage beim obersten Verwaltungsgericht in Frankreich, dem Conseil d’État, eingereicht. Unter den Unterstützenden ist auch Amnesty International France.
Verstoß gegen Anti-Diskriminierungsgesetz
In der Klage kritisieren die Organisationen die rücksichtslose Nutzung von personenbezogenen Daten und werfen der französischen Behörde einen Verstoß gegen das Anti-Diskriminierungsgesetz vor. „Dieses System steht in direktem Widerspruch zu Menschenrechtsstandards und verletzt das Recht auf Gleichheit und Nichtdiskriminierung sowie das Recht auf Privatsphäre“, sagt Agnès Callamard, Generalsekretärin von Amnesty International.
2023 hatte La Quadrature du Net über Informationsfreiheitsanfragen Zugang zu dem Quellcode der Software erhalten. In ihrer Analyse zeigte die NGO, welche Faktoren zu einem vermeintlich erhöhten Risiko für unberechtigte Zahlungen führen und wie dadurch bestimmte Gruppen diskriminiert werden.
Doppelte Bestrafung
Faktoren, die das vermeintliche Risiko steigen lassen, sind demnach etwa ein geringes Einkommen, Arbeitslosigkeit oder instabile Beschäftigungsverhältnisse. Auch wer in einer „benachteiligten“ Nachbarschaft lebt oder einen großen Teil des Einkommens für Miete ausgibt, muss mit einem höheren Wert rechnen. Diese Faktoren prüft das System monatlich bei allen Empfänger:innen und vergibt einen „Verdächtigkeitswert“. Je höher der Wert einer Person, desto öfter wird sie von Behörden kontrolliert.
Menschen, die in armen und prekären Verhältnissen leben, geraten somit vermehrt ins Visier von behördlichen Kontrollen. „Das ist eine doppelte Bestrafung“, kritisiert Bastien Le Querrec, Rechtsberater bei La Quadrature du Net. Der Algorithmus sei Ausdruck einer Politik der Verfolgung der Ärmsten.
Algorithmische Diskriminierung hatte in Europa schon mehrfach für Skandale gesorgt. In den Niederlanden hatte etwa die sogenannte „Kindergeldaffäre“ zu ungerechtfertigten Rückzahlungen von Kindergeld geführt. In einem anderem Fall hatte ein automatisiertes Tool vermeintlichen Betrug beim Bezug von Sozialleistungen aufgespürt. In Österreich sollte der sogenannte AMS-Algorithmus Arbeitssuchende nach ihrer Vermittelbarkeit einstufen, ist jedoch schon seit Jahren in einen langwierigen Rechtsstreit verstrickt.
Die im August dieses Jahres in Kraft getretene KI-Verordnung der EU soll den Einsatz solcher (teil-) automatischen Entscheidungssysteme im sozialen Bereich stark reglementieren. Social-Scoring-Systeme sind in der EU eigentlich ganz verboten. Doch da die Definition solcher Systeme in der Verordnung vage gehalten ist, bleiben den Mitgliedsstaaten Schlupflöcher offen. Bei den Verhandlungen um die KI-Verordnung hatte Frankreich, aber auch Deutschland, mehrmals blockiert, um die Regulierung von KI-Systemen einzuschränken.
Social-Scoring, Banken-Scoring, Cashback-Scoring, Payback-Scoring, SCHUFA-Scoring, und viele andere Punktesammelsysteme… alles Sporen und Wurzelwerke wie Palantir.
Keiner kennt den Code, die Vernetzungen und die Methoden dorthinter.
Vieles sind wir Verbraucher auch selber verschuldet, man renne jedem Hype hinterher und widersprechen selten den Takticken von Datenheler… man hat ja nichts zu verbergen!
Ist man mal selber betroffen, verliert man wohl aus Schock erstmals den Verstand.
Ergänzung, auch wenn ich jemand anders bin: nach dem Schock macht man aber trotzdem weiter. Weil es „haben ja alle“ und „hat soviele Vorteile“.
> nach dem Schock macht man aber trotzdem weiter.
Nö. Dann würde ich meine Selbstachtung verlieren, denn nach dem Schock setzt das Denken für gewöhnlich wieder ein.
Gefühlt 90% der Menschen sehen das wohl anders.
Nach den Leaks von Snowden sollte beispielsweise der gewöhnliche Bürger empört sein.
Doch was ist geworden? Whatsapp wird weiter verwendet, sowie Instagram, Paypal, Google.
Also nein, wenn der Verstand in Sachen Digitalisierung eingesetzt hätte, wäre Boykott gegen Big Tech angebracht gewesen. Leute hätten sich massenweise Tails OS oder Arch Linux gedownloadet.
> Gefühlt 90% der Menschen sehen das wohl anders.
So,so. Gefühlt? Wie hast Du es geschafft, 100% der Menschen zu befragen?
Das was Du da von dir gibst, ist ganz und gar deine eigene Meinung, die du auf unlautere Weise 90% der Erdbevölkerung unterschiebst.
Gehörst Du zu der bedauerlichen Fraktion, die da sagt: „Was ich fühle ist real“?
Wie wäre es mit ein wenig mehr denken als fühlen? Zumindest aber das eigene „Bauchgefühl“ mal kritisch überprüfen, weil das kräftig daneben liegen kann.
Die Gefühlsfraktion ist auch ziemlich anfällig für Manipulation und Desinformation, deswegen bedauerlich.
Dieses Gefühl nehme ich mir einfach. Oder glaubst du, 90% der Weltbevölkerung nutzt FOSS?
Mein Argument steht somit: Edward Snowden enthüllt Dinge, die Menschen eigentlich schockieren sollte, die Menschen nutzen aber weiterhin Spionagesoftware. Effekt total verhallt. Meta, Apple, Micro$oft, Amazon, Google und andere machen Milliardenumsätze.
Wenn du mir belegen kannst, dass 90% der Menschen keine Spionagesoftware benutzt, also nur F-Droid nutzen statt den Google Playstore, und Graphene OS statt Samsung, kannst du gerne versuchen, mich zu überzeugen. Zeig mir mal deine Marktanteile.
Ihr könntet auch den Robodebt-Skandal in Australien zitieren. Dort sitzen jetzt PolitikerInnen wegen Mordes im Knast, weil sie der Firma die Zusage gaben, die versprach, Arme in den Hungertod zu treiben.
Danke für den Hinweis auf den Robodebt-Skandal, der hervorragend die Implikationen automatisierter Entscheidungen aufzeigt. Das würde ich gerne die Köpfe unserer Politikerinnen trichtern, die, von Fakten und Wissen weitgehend befreit, von K“I“ und ihren tollen Einsatzpotentialen in Exekutive und Judikative faseln. In der Legislative wird sie anscheinend bereits flächendeckend genutzt.
Einen Beleg dafür, das Politikerinnen deshalb verurteilt wurden (gar wegen Mordes), konnte ich nicht auffinden. Das hätte mich auch sehr verwundert.
Im Gefängnis landeten wegen Robodebt erwartungkonform nur unrechtmäßig beschuldigte Sozialhilfeempfängerinnen.
Der Große Bruder ist unfehlbar.