Maximilian Heimstädt ist Betriebswirt und arbeitet als Postdoktorand am Reinhard-Mohn-Institut für Unternehmensführung der Universität Witten/Herdecke. Er forscht zu Offenheit als Organisationsprinzip, unter anderem im Kontext von Open Government, Open Science und Open Strategy. Er twittert als @heimstaedt.

Immer mehr Behörden in New York City nutzen automatisierte Entscheidungssysteme, auch bekannt als Algorithmen. Um potenziell diskriminierende Konsequenzen dieser Systeme besser zu verstehen und einzugrenzen, hat der New Yorker Bürgermeister Bill de Blasio vor kurzem die Rolle eines stadtweiten Algorithmen-Beauftragten geschaffen.

Der oder die neue Algorithmen-Beauftragte wird im Office of Operations direkt unterhalb des Bürgermeisters und quer zu den übrigen Behörden angesiedelt sein. Die Aufgaben werden in einer Pressemeldung wie folgt beschrieben:

Der Algorithmen-Beauftragte wird eine zentrale Anlaufstelle für Algorithmenfragen sein und Richtlinien sowie Best Practices entwickeln, um anderen Behörden dabei zu helfen Algorithmen in Entscheidungsprozessen einzusetzen. Der neue Beauftragte wird sicherstellen, dass die relevanten von der Stadt zur Erbringung von Dienstleistungen verwendeten Algorithmen Werte wie Gerechtigkeit, Fairness und Rechenschaftspflicht fördern.

Dass die Rolle eines Algorithmen-Beauftragten geschaffen wird, ist das Ergebnis eines mehr als zwei Jahre andauernden Steuerungsprozesses, in dessen Kern seit Frühjahr 2018 die „Automated Decision Systems Task Force“ stand.

An anderer Stelle haben wir die Hintergründe der Arbeitsgruppe bereits ausführlich beschrieben. Behörden in New York nutzen etwa Algorithmen, um Schülerinnen und Schüler an Schulen zuzuweisen oder – kontroverser – um DNA-Proben in Strafverfahren abzugleichen.

Mit der Einrichtung des Algorithmen-Beauftragten folgt Bürgermeister de Blasio den Empfehlungen des nach 18-monatiger Arbeit veröffentlichen, aber mit 33 Seiten durchaus knappen Abschlussberichts der Arbeitsgruppe.

Was steht im Abschlussbericht?

Die Arbeitsgruppe spricht darin Empfehlungen an den Bürgermeister und den Stadtrat aus. Diese gliedern sich in drei miteinander verschränkte Themen:

Aufbau einer Organisationsstruktur: Der Aufbau einer Organisationseinheit zur Förderung eines gerechten, effektiven und verantwortungsvollen Umgangs mit Algorithmen wurde von de Blasio unmittelbar in die Rolle des Algorithmen-Beauftragten übersetzt. Interessant ist in diesem Abschnitt auch die Empfehlung, dass die neue Organisationseinheit andere Behörden dabei unterstützen soll, Algorithmen nicht nur zu nutzen, sondern auch selbst zu entwickeln. Dies kann als ein Schritt in Richtung einer „Public Money, Public Code“-Strategie gelesen werden. Bisher werden Algorithmen in der Stadt New York vor allem von Drittanbietern eingekauft.

Intensivierung des Dialogs mit Bürger:innen: Zum einen soll schlicht (mehr) Informationsmaterial zu Algorithmen bereitgestellt werden. Zum anderen soll es die Verwaltung Bürgerinnen leichter machen, Informationen über Algorithmen anzufragen. Ein Informationsfreiheitsgesetz gibt es in New York bereits seit den 1970er Jahren. Unklar bleibt jedoch, wie relevante Informationen über extern eingekaufte Algorithmen abgefragt werden sollen. Bereits im Vorlauf der Arbeitsgruppe haben Softwareanbieter darauf hingewiesen, dass ihre Produkte als Geschäftsgeheimnisse nicht unter die Gesetzgebung fallen.

Formalisierung des Managements von Algorithmen: Die Arbeitsgruppe empfiehlt neue Formen der behördlichen Berichterstattung zum Einsatz von Algorithmen zu entwickeln. Hierunter fallen zum Beispiel neue Formate für die Risikobewertung von Algorithmen. Diese „Algorithm Impact Assessments“ sollen nicht erst nach, sondern vor allem vor der Implementierung eines neuen Algorithmus zum Einsatz kommen.

Ex-Teilnehmer kritisieren Ergebnisse

Seit der Verabschiedung des „weltweit ersten Algorithmen-Gesetzes“ im Sommer 2017 steht der Regulierungsprozess in New York unter internationaler Beobachtung. Die Hoffnungen auf möglichst konkrete Lösungen, die auch als Blaupausen für andere Städte dienen könnten waren hoch. Zu hoch?

In De Blasios Pressemeldung lassen sich Teilnehmer:innen der Task Force verhalten zuversichtlich zitieren. Julia Stoyanovich, Juniorprofessorin für Data Science an der New York University, hebt besonders die Empfehlungen zur breiteren öffentlichen Aufklärung rund um Algorithmen hervor. Laut Stoyanovich ist solch eine Aufklärung nötig, um die öffentliche Debatte vom „schädlichen Gegensatz aus Technikutopismus und Maschinenstürmerei hin zu einem abwägenden und konstruktiven Gespräch zur Rolle von Technologie in der Gesellschaft“ zu verändern.

Anders sieht es Meredith Whittaker, Gründerin des AI Now Institutes an der New York University, und ebenfalls ehemaliges Mitglied der Arbeitsgruppe: „Es war Zeitverschwendung. [Der Abschlussbericht] spiegelt die Sichtweise der Stadt wider und lässt enttäuschend viele der abweichenden Sichtweisen von Mitgliedern der Task Force außen vor.“

Albert Fox Cahn, der noch im laufenden Prozess aus der Arbeitsgruppe ausgestiegen ist, beschrieb in einem Gastbeitrag seine Eindrücke. Die Verwaltung habe den Prozess absichtlich behindert, um konkrete Ergebnisse zu verhindern:

Es wird ziemlich schwer, Empfehlungen für eine Sache entwickeln, wenn man sich nicht darauf einigen kann, was die Sache ist. Wir konnten uns nicht einigen. Verwaltungsmitarbeiterinnen beschworen das Schreckgespenst einer Überregulierung, die jeden Taschenrechner und jedes Excel-Sheet betrifft. Ein kafkaesker Alptraum, in dem jede Tabellenberechnung einer überbehördlichen Genehmigung bedarf. Als Alternative zu diesem Strohmann bot die Verwaltung dann eine ganz konträre Variante an, in der Regulierung nur auf solche Systeme zutrifft, die auf fortgeschrittenem Machine Learning beruhen.

Wenige Tage nach Erscheinen des Abschlussberichtes publizierte das AI Now Institute zudem einen „Shadow Report“. In dem Dokument üben Vertreterinnen aus Wissenschaft und Zivilgesellschaft weitere Kritik am Prozess und den Ergebnissen der ADS Task Force. Auch Whittaker und Cahn wirkten an dem Shadow Report mit.

Fazit: Neue Stelle als Brückentechnologie

Die Einrichtung eines Algorithmen-Beauftragten recht nah unterhalb des Bürgermeisters scheint grundsätzlich sinnvoll, sollte aber nur eine Vorstufe von Algorithmen-Beauftragten in den einzelnen Fachbehörden sein. Hier böte sich eine Bündelung mit den bisherigen Rollen von Informationsfreiheits- und Open-Data-Beauftragten an.

Ebenfalls vielversprechend ist die Bemühung, die Entwicklung algorithmischer Systeme von Drittanbietern in die Verwaltung hineinzuziehen. Das Interesse am öffentlichem Zugang zu diesen Systemen wiegt deutlich schwerer als die vage Vermutung, dass algorithmische Dienste von Privatanbietern bessere Leistungen für Verwaltung und Bürger:innen bringen als solche die innerhalb der Verwaltung entwickelt werden.

Für zivilgesellschaftliche Organisationen in New York und andernorts bleibt jedoch die Herausforderung, dafür zu sorgen, dass hinter der öffentlichkeitswirksamen Fassade eines neuen Algorithmen-Büros nicht unbemerkt heikle algorithmische Entscheidungssysteme kategorisch von den neuen Rechenschaftsmechanismen entkoppelt werden – etwa im Polizeieinsatz.

Aus dem Prozess in New York lässt sich lernen, dass der Begriff des Algorithmus zwar dabei hilft, diskriminierende Verwaltungspraktiken auf die politische Agenda zu setzen, jedoch zu breit ist, um wirklich brauchbare Handlungsempfehlungen zu produzieren. Andere Städte und Kommunen sollten das Momentum aus New York nutzen und direkt spezialisierte Arbeitsgruppen einsetzen, etwa zum Einsatz von Risikoscores im Strafverfolgungssystem oder Technologien zur vorhersagenden Polizeiarbeit.

Update 16.12.19: Der Verweis auf den Shadow Report wurde nachträglich hinzugefügt. HT Lorenz Matzat.