Hohes Diskriminierungspotential bei automatisierten Entscheidungen

Automatisierte Systeme sind längst nicht mehr Zukunftsmusik, unser Alltag ist bereits mit vielen von Maschinen getroffenen Entscheidungen durchsetzt. Da besonders bei maschinellen Entscheidungen ein Risiko zur Diskriminierung von Personen und Personengruppen besteht, kann eine faire Teilhabe an der Gesellschaft gefährdet sein. Um dem entgegenzuwirken und mehr Transparenz zu schaffen, hat AlgorithmWatch in Zusammenarbeit mit der Bertelsmann-Stiftung und Mozilla den ersten „Atlas der Automatisierung“ (pdf) für Deutschland erstellt.

Neues Kürzel: ADM statt KI

Statt von „Künstlicher Intelligenz“ (KI) zu sprechen, benutzt AlgorithmWatch den Begriff der automatisierten Entscheidungsfindung („automated decision making“, kurz: ADM). Den Intiator:innen des Berichts scheint der Begriff KI nicht nur überfrachtet, sondern auch nicht immer ganz zutreffend zu sein. Denn meist werden (noch) Software-Anwendungen verwendet, die Menschen programmiert und dabei Regeln erstellt haben, anhand derer die Daten miteinander verrechnet, gewichtet und sortiert werden.

Im Unterschied zur KI, die oft als selbstständig beschrieben wird, treffen also ADM-Systeme Entscheidungen, die auf menschliche Entscheidungen zurückzuführen sind. „Wir sprechen von Entscheidungssystemen, weil die jeweilige Software nur aus vorgegebenen Entscheidungsmöglichkeiten auswählt“, schreiben die Autor:innen. „Doch diese Möglichkeiten werden von Personen, die an der Konzeption und Programmierung sowie dem Einsatz der ADM-Software beteiligt sind, festgelegt“.

Hohes Diskriminierungspotential

Der 45 Seiten starke Atlas gibt einen umfangreichen Einblick in gesellschaftliche Bereiche, die aufgrund der Beteiligung von ADM-Systemen ein hohes Potential für Diskriminierung aufweisen. Daraus gehen mitunter negative Folgen für Menschen und ihre Rechte hervor. Im Fokus des Berichts stehen also jene Bereiche, in denen Menschen aufgrund ihres Alters, Geschlechts oder ihrer sozialen und geographischen Herkunft durch die Entscheidung von automatischen Systemen benachteiligt werden könnten. Dadurch besteht das Risiko, dass sie nicht im gleichen Umfang wie andere Menschen am gesellschaftlichen Leben teilhaben und individuelle (Grund-)Rechte beeinträchtigt werden können.

Doch in gleichem Maße besteht laut dem Atlas das Risiko, dass die „Wahrung von Meinungs- und Informationsfreiheit im Rahmen einer gemeinsamen Öffentlichkeit“ gefährdet oder der Zugang zu öffentlichen Gütern und Leistungen beschränkt ist, wenn ADM-Systeme an Entscheidungen beteiligt sind.

Vom Bewerbungsverfahren bis zur Online-Moderation

In der modernen Arbeitswelt etwa sieht AlgorithmWatch ein hohes Diskriminierungspotential, wenn ADM-Systeme Bewerbungen nach bestimmten Schlagworten vorsortieren oder im Personalmanagement und der Verwaltung von Arbeitslosigkeit eingesetzt werden. Dabei treffen sie oft Entscheidungen mit weitreichenden Folgen. Neben der „funktionalen Tauglichkeit“ bleiben in diesem Bereich viele Fragen offen, etwa in welchem Umfang Ermessensentscheidungen durch automatische Systeme vorbereitet werden oder, ob und in welchem Umfang die Software-Anwendungen auf „mögliche Diskriminierungseffekte“ untersucht werden.

Ein weiteres Kapitel beschäftigt sich mit dem Thema Gesundheit und der Anwendung von Diagnosesystemen und Gesundheits-Apps, die immer häufiger zum Einsatz kommen. So wird etwa verstärkt auf ADM-Systeme zurückgegriffen, um genetische Tests auszuwerten. Aber auch in der Roboter-Chirurgie oder bei der Suche und Auswertung von Forschungsliteratur-Datenbanken werde laut AlgorithmWatch verstärkt mit automatisierten Verfahren gearbeitet. Hier bestehe die Gefahr, dass Patient:innen „systematisch benachteiligt werden“ könnten, wenn sie aufgrund bestimmter biologischer Merkmale eine Minderheit darstellten.

Im Schwerpunkt „Internet“ hebt der Bericht die aktuelle Diskussion um die Upload-Filter durch die EU-Urheberrechtsreform hervor. Der Atlas sieht solche Filter-Systeme weit davon entfernt, den Kontext von Videos zu „verstehen“. Damit werden Filter immer wieder für Fehlentscheidungen sorgen, die Satire oder Hintergrundmusik nicht von tatsächlichen Urheberrechtsverletzungen unterscheiden könnten. Ebenso sei durch die zunehmend automatisierte Moderation bei Online-Plattformen die Gefahr des „overblockings“ kritisch zu sehen, weil so Meinungs-und Informationsfreiheit beschränkt werden könnten.

Überwachung als größtes Problem

Den Themenbereich „Sicherheit und Überwachung“ sieht der Co-Autor und Mitbegründer von AlgorithmWatch, Lorenz Matzat, bei der Vorstellung des Atlasses „als das drängendste Thema“. Der Atlas skizziert eine Vielzahl von Bereichen, in denen ADM-Systeme bereits im Einsatz sind: Sei es die Kamera- und Internetverkehrsüberwachung, automatische Grenzkontrollen und Waffensysteme oder die vorhersagende Polizeiarbeit.

Der Bericht kritisiert sowohl die zweifelhaften Testergebnisse der automatisierten Gesichtserkennung am Bahnhof Südkreuz in Berlin, aber genauso die EU-Grenzüberwachungssysteme, die nicht nur hohe Kosten verursachen, sondern auch hohe Fehlerquoten hätten. Ebenso wird Predictive Policing, die vorhersagende Polizeiarbeit, kritisch betrachtet.

Hierbei werden etwa anhand automatisierter, statistischer Auswertungen Gebiete identifiziert, in denen Einbrüche oder Diebstähle wahrscheinlicher sein könnten als an anderen Orten. Doch bisher sind die positiven Auswirkungen solcher Systeme fragwürdig, denn Studien sehen keine eindeutige Wirksamkeit der vorhersagenden Polizeiarbeit. Das kritisiert AlgorithmWatch.

Damit ist der Bereich zu Sicherheit und Überwachung besonders von ADM-Systemen durchdrungen. Das ist nicht nur aufgrund der Fehleranfälligkeit und dem Diskriminierungspotential problematisch, sondern auch weil hier automatisierte Entscheidungen mit Grundrechtseinschränkungen einher gehen. Laut dem Atlas kommt es somit bei der Gewährleistung öffentlicher Sicherheit schneller zu falschen Verdächtigungen, aber auch zu einer Einschränkung der Freizügigkeit und des Prinzips der Unschuldsvermutung, wenn Sicherheitsbehörden einen Teil ihrer Arbeit an Maschinen und Programme delegierten.

Kein Schaden am Menschen

Um eine solche Ausgrenzung und Diskriminierung von bestimmten Personengruppen zu begrenzen, die mit automatisierten Entscheidungssystemen einhergehen, gibt der Atlas von AlgorithmWatch zahlreiche Handlungsempfehlungen. Sie sollen „als Anstoß zur Diskussion und als Anregung für Politiker:innen und Entscheider:innen in Behörden und Firmen sowie in zivilgesellschaftlichen Organisationen dienen.“

Es geht um die Stärkung der Zivilgesellschaft, die Folgen und Potentiale algorithmischer Entscheidungsfindungen besser einschätzen sollten, aber auch um die Forderung an Politik, Wirtschaft und Regulierungbehörden, ihrer Verantwortung gegenüber der Gesellschaft bei der Steuerung und Regulierung automatisierter Systeme gerecht zu werden.

AlgorithmWatch sieht großen Handlungsbedarf, damit automatisierte Entscheidungen von Menschen nachvollziehbar bleiben. Für einen fairen und gerechten Einsatz von ADM-Systemen müssten Folgen abgeschätzt und Risiken bewertet werden, die mit dem Einsatz von ADM-Systemen einhergingen. Oberstes Prinzip müsse sein, dass vor allem kein Schaden angerichtet werden dürfe.