New York City plant Arbeitsgruppe zur Überprüfung von städtischen Algorithmen

Auf welche Schule geht mein Kind? Sind die am Tatort gefundenen DNA-Spuren tatsächlich von der verdächtigten Person? Oft sind Entscheidungen, die unsere nächsten Lebensjahre beeinflussen, abhängig von verschiedenen Behörden. Lokale Gerichte und Verwaltungen treffen Woche für Woche tausende solcher Entscheidungen. Sie beeinflussen damit unsere Ausgangssituationen, Lebenschancen und mögliche Unterstützungsangebote.

Mithilfe von Algorithmen wollten einige Städte in den vergangenen Jahren die behördlichen Entscheidungen effizienter, fairer und besser machen. In New York City bringt beispielsweise bereits seit 14 Jahren ein Algorithmus Schüler und Schulen zusammen. Der soll benachteiligten Schülerinnen und Schülern seitdem jedoch nicht substantiell geholfen haben, auch weil Schulen fehlen. Doch es geht nicht nur um Schulen: Für Furore hatte auch ein Algorithmus gesorgt, der laut ProPublica-Recherchen in Tausenden von Gerichtsurteilen eine umstrittene Methode zur Analyse von DNA-Spuren im Pikogramm-Bereich zugrunde legte.

Um sich eine Übersicht über die Wirkung so genannter algorithmischer Entscheidungssysteme zu verschaffen, hat der New Yorker Stadtrat am Ende des letzten Jahres ein lokales Gesetz verabschiedet, das Transparenz in die eingesetzten Systeme bringen soll. Das ist nun in Kraft getreten. Dabei geht es um eine Vielzahl von verschiedenen Algorithmen. Die Systeme sind unterschiedlich aufgebaut. Gemeinsam haben sie jedoch, dass sie im Namen von Verwaltung und mitunter Gerichten Entscheidungen treffen oder dabei assistieren.

Neuartiges Gesetz in den USA

Als nächsten Schritt muss Bürgermeister Bill de Blasio laut Gesetz innerhalb von vier Monaten eine „Arbeitsgruppe für automatisierte Entscheidungssysteme“ zusammenstellen. Er soll unter anderem Experten, die zu maschinellen Entscheidungssystemen forschen, sowie Mitglieder von Wohltätigkeitsorganisationen berufen. Damit sollen auch Menschen in der Gruppe mitarbeiten, die Kontakt zu unmittelbar Betroffenen haben und problematische Fälle kennen. Bis Mitte 2019 soll die Gruppe Empfehlungen in einem Bericht festhalten. Das Gesetz sieht die Erstellung von Empfehlungen vor, mithilfe derer…

• von algorithmischen Entscheidungen betroffene Individuen eine Möglichkeit auf die Erklärung einer konkreten Entscheidung und ihrer Grundlage erhalten,
• die Stadt feststellen kann, ob ein System Menschen aufgrund von Alter, Ethnie, Glaube und anderen persönlichen Merkmalen übermäßig benachteiligt und wie solchen Fällen von Diskriminierung begegnet werden kann,
• die Stadt Informationen veröffentlichen kann, die der Öffentlichkeit eine Bewertung der eingesetzten Systeme ermöglicht – bezogen auf die allgemeine Funktionsweise und den konkreten Einsatz.

Das Gesetz ist umfangreich: Es sieht auch eine Prüfung vor, wie algorithmische Entscheidungssysteme archiviert werden können. Das betrifft auch Daten, die bei der Entwicklung und Anwendung, beispielsweise die Inputs der Verwaltung, zum Einsatz kamen. Am dringlichsten scheint jedoch eine andere Aufgabe. So soll die Arbeitsgruppe Kriterien für die Auswahl der Systeme entwickeln, die für die möglichen neuen Prozesse zur Anwendung kommen könnten. Das bedeutet, dass nicht alle städtischen Algorithmen auch notwendigerweise unter die Transparenz- und Minderheitenschutz-Maßnahmen fallen werden.

Hintergrund: 2013 hatte der Bürgermeister Bill de Blasio ein Office of Data Analytics gegründet. Es sollte mit „städtischen Behörden zusammenarbeiten, um festzustellen, wie Daten dieser Behörden analysiert und mit denen anderer Behörden kombiniert werden können, um ihre jeweiligen Ziele optimal zu erfüllen.“ Das sollte dazu verhelfen, „Kriminalität, öffentliche Sicherheit und Fragen von Lebensqualität durch die Einschätzung von Risiko und eine effizientere Ausführung von Diensten effektiv zu adressieren sowie Gesetze effektiver durchzusetzen“ (pdf). Das Office wurde also gegründet, um den Einsatz von automatischen Entscheidungssystemen voranzutreiben. Bald fünf Jahre später gibt es nun ein Gesetz, dass dabei auftauchende Probleme adressieren soll.

Hierzulande stellt sich wohl die Frage: Wieso erst jetzt? Auf der anderen Seite des Atlantiks lautet die Devise offenbar: Besser spät als nie. Denn das Gesetz bewertet Noel Hidalgo von BetaNYC, einer den New Yorker Stadtrat beratende NGO, als wichtigen Schritt hin zu Gerechtigkeit im 21. Jahrhundert. Gleichzeitig sei es eine Weiterentwicklung der Open-Data-Strategie der Stadt, nach der auch Daten über das alltägliche Handeln der Verwaltung veröffentlicht werden sollen.

Stadtrat entschärfte Transparenzforderungen an Unternehmen

Der Stadtabgeordnete, der das Gesetz auf den Weg brachte, James Vacca, hatte auch gefordert, den Source Code von entscheidenden Algorithmen zu veröffentlichen. Diese Forderung wurde allerdings im Laufe der Verhandlungen im Stadtrat aus dem Entwurf gestrichen. Das ergibt eine schwierige Situation: Die Arbeitsgruppe hat zwar das Mandat zur Klassifizierung und Überprüfung der verwendeten Algorithmen. Doch sie hat keinen rechtlichen Anspruch auf die Offenlegung von Algorithmen, die die Stadt von privaten Anbietern eingekauft hat und im Alltag nutzt. Eine Prüfung wird dadurch erschwert.

Als Reaktion gibt BetaNYC zu bedenken, dass Geschäftsgeheimnisse einem „gerechten und verantwortungsvollen städtischen Regieren und Verwalten“ nicht im Weg stehen sollten. Die Forscherin Julia Powles begleitete die Verhandlungen. Sie zeigte sich im Nachgang im New Yorker ebenfalls skeptisch, inwiefern die Arbeitsgruppe unter der Einschränkung sinnvolle Empfehlungen abgeben kann: „Jetzt wird die Arbeitsgruppe in ihrer Untersuchung darüber, wie automatische Systeme entwickelt, beschafft und geprüft werden, auf freiwillige Offenlegungen angewiesen sein. Für eine Regierungsbehörde ohne echte rechtliche Befugnis wird das ein Herkules-, oder vielleicht Sisyphos-Vorhaben“.

Daher fordert Powles für die Zukunft, dass Politik und Verwaltung ihre eigene Stärke in Verhandlungen erkennen und wahrnehmen. In zukünftigen Verträgen sollten sie vorab eine Offenheit von Unternehmen für die Funktionsweise der verkauften Systeme einfordern. Das gelte besonders für New York. Denn dessen „Größe, Reichtum und detaillierte demographische Daten“ machen die Stadt für Unternehmen attraktiver, als viele andere Städte.

Die amerikanische Bürgerrechtsorganisation ACLU spricht sich für das Gesetz aus und hält fest, dass sie den Bürgermeister dabei beobachten wird, aus wem genau er die Arbeitsgruppe zusammenstellt, welche Empfehlungen diese macht und ob der Bürgermeister sie zum Anlass nimmt, ab 2019 weitere Schritte zu unternehmen.