KI in der Verwaltung: Bundesregierung folgt dem Hype

Auch die Bundesregierung interessiert sich für moderne Chatbots wie ChatGPT. Bei der Kabinettsklausur Ende August ging es unter anderem um KI in der öffentlichen Verwaltung. Das geht aus dem Papier zur neuen Datenstrategie hervor. Die Bundesregierung will den Bedarf an KI-Sprachmodellen (Large Language Models, LLMs) in der Verwaltung prüfen. Das ist die Technologie, die etwa ChatGPT zugrunde liegt. Dazu will sie das Beratungszentrum für Künstliche Intelligenz in der öffentlichen Verwaltung (BeKI) aufbauen und einen Katalog an Anforderungskriterien entwickeln.

Markus Richter ist der Beauftragte der Bundesregierung für Informationstechnik, kurz: Bundes-CIO. Er hatte im Juli erklärt, die Bundesverwaltung solle ein „Motor der KI-Entwicklung“ werden und Deutschland ein starker Wirtschaftsstandort für deutsche KI-Startups. Dabei dürfte er unter anderem das Heidelberger KI-Startup Aleph Alpha im Blick gehabt haben. Dessen Gründer und Geschäftsführer Jonas Andrulis war einer der Gäste auf Schloss Meseberg, die die Regierung darin berieten, wie sie KI für die öffentliche Verwaltung nutzbar machen kann.

Erst kürzlich hat das Unternehmen seine Partnerschaft mit dem IT-Dienstleister Materna bekannt gegeben. Das Unternehmen hat mehr als 1.000 Projekte für die öffentliche Verwaltung entwickelt. Seit Ende August ist Aleph Alpha zudem eine Kooperation mit dem gerade entstehenden KI-Innovationspark in Heilbronn eingegangen. Dort sollen Vertreter:innen aus Wirtschaft, Wissenschaft und Verwaltung an KI-Systemen arbeiten; unter anderem gefördert durch das Land Baden-Würtemberg.

Die Bundesregierung hatte auch weitere KI-Expert:innen eingeladen: Katharina Zweig, Professorin an der TU Kaiserslautern und Mitgründerin des Unternehmens Trusted AI, sowie der Gründer und Geschäftsführer des KI-Startups Lengoo, Christopher Kränzler.

KI schürt Erwartungen

Das Thema KI in der öffentlichen Verwaltung ist nicht neu. Mehrere Ämter haben bereits Chatbots entwickelt mit dem Ziel, die Kommunikation mit Bürger:innen zu vereinfachen. Eines der bekannteren Beispiele ist der KI-Assistent F13 des Landes Baden-Würtemberg; er wurde für den internen Gebrauch von Verwaltungsangestellten entwickelt. Der Chatbot basiert auf dem KI-System Luminous von Aleph Alpha.

F13 soll den Verwaltungsmitarbeiter:innen keine Entscheidungen abnehmen, sondern helfen „Mailflut, Fachkräftemangel und Mitarbeiterfluktuation zu kompensieren, durch die stets auch das Wissen um interne Abläufe verloren gehe“, sagte Florian Stegmann, Chef der Staatskanzlei Baden-Württembergs.

Ähnliche Hoffnungen formulierte auch der Ausschuss für Bildung, Forschung und Technikfolgenabschätzung vor einem Jahr in seinem Bericht über Künstliche Intelligenz in der öffentlichen Verwaltung. Die Verwaltung soll demnach mit KI-Systemen Zeit und Kosten einsparen, „neue Arten der Interaktion und Kommunikation mit Bürger:innen und Unternehmen etablieren“ und mithilfe „prognostischer Abschätzungen“ Verwaltungsprozesse besser planen können.

„Hunderttausende Euro verbrannt“

Diese Erwartungen hält Markus Drenger, OpenData-Aktivist und IT-Sicherheitsexperte, für überzogen. „Wir befinden uns hier ja immer noch in der Hype-Phase mit etwas überzogenen Erwartungen an eine Technologie.“ So habe man bereits jetzt für das BeKI hunderttausende Euro für externe Beratung verbrannt, ohne den internen Aufbau von Wissen im Fokus zu haben.

Dass KI-Systeme eine bessere Prognose in Verwaltungsprozessen erbringen können, bezweifelt Drenger. Für jede zu digitalisierende Leistung hätte die Verwaltung Zahlen erfassen müssen, um Qualität und Geschwindigkeit von Verwaltungsprozessen messbar zu machen. Aber die Datengrundlage fehle, kritisiert Drenger im Gespräch mit netzpolitik.org.

Der Bundesrechnungshof liefert weitere Hinweise zur Frage, inwiefern KI-Systeme in der Verwaltung Geld sparen können. Der Rechnungshof hat im Oktober 2021 insgesamt 269 behördliche Projekte mit KI-Bezug erfasst, die Prozesse effizienter machen sollen. „Mit sinkenden Kosten rechneten dabei nur wenige Behörden“, heißt es im Bericht vom März. Zu den Gründen gehörten etwa fehlende Daten oder zu wenig Fachpersonal.

Außerdem hält der Bundesrechnungshof in seinem Bericht fest, dass kaum eine Behörde „eigene Strategien, Pläne oder Konzepte“ für den Einsatz von KI habe, abgesehen von einigen „Leuchtturmbehörden“. Er sieht die Gefahr „unwirtschaftlicher Parallelentwicklungen“.

Algorithm Watch bemängelt fehlende Transparenz

Bei den jüngsten KI-Gesprächen der Bundesregierung blieb unerwähnt, dass es „bisher keine einheitlichen Anforderungen und Transparenzvorgaben“ gebe, erklärt Pia Sombetzki. Sie arbeitet für die gemeinnützige Organisation AlgorithmWatch unter anderem zu Systemen, die automatisierte Entscheidungen treffen. Der Begriff mit der Abkürzung ADM („automated decision making“) ist eine Alternative zum teils schwammigen Begriff KI.

Anfang des Jahres forderte AlgorithmWatch ein Transparenzregister für die öffentliche Verwaltung. Dort eintragen sollten Behörden alle ADM- und auch KI-Systeme, denen sie automatisiertes Entscheiden anvertrauen. Außerdem sollten sie unter anderem Informationen darüber liefern, wie zuverlässig und wirksam die Anwendungen sind.

Bundes-CIO Markus Richter hatte die Idee eines Transparenzregisters unterstützt. Ein solches Register könne dabei helfen, Vertrauen in der Bevölkerung zu schaffen. „Von solch einem Register war in Meseberg nun allerings nicht mehr die Rede“, kritisiert Sombetzki. Die Forderung nach umfassender Transparenz bleibe somit auch weiterhin ohne Wirkung.

„Um außerdem Risiken angemessen bewerten zu können, sollte es für Behörden verpflichtend sein, vor und während des Einsatzes von ADM-Systemen eine Folgenabschätzung durchzuführen“, forderte AlgorithmWatch im März. Dass manches beim Thema Risikoabschätzung noch unklar ist, zeigt auch die Antwort der Bundesregierung auf eine Kleine Anfrage der Abgeordneten Anke Domscheit-Berg (Die Linke) aus dem Mai diesen Jahres.

Regierungs-Motto: „Wir jetzt auch“

„Risiken ergeben sich vor allem dann, wenn KI Menschen in Gruppen einteilt und es anhand dieser Gruppenzuordnung zu unterschiedlicher Behandlung kommt“, kommentiert Domscheit-Berg die Antwort der Bundesregierung. Das sei weniger problematisch bei einer KI, die E-Mails sortiert, jedoch folgenschwer, wenn es um Leib und Leben geht oder Grundrechtsverletzungen drohen. „Eine solche Gruppeneinteilung muss nicht einmal Absicht sein, sondern ergibt sich häufig aus den Daten, die für das Training der Systeme eingesetzt wurden.“

Es gibt immer wieder Berichte über Grundrechtsverletzungen durch KI-Systeme, auch die Vereinten Nationen warnten jüngst vor beispielsweise rassistischer und sexistischer KI. Solche Fehler und Probleme seien bei LLMs üblich, erklärt Informatiker und Publizist Jürgen Geuter auf Anfrage von netzpolitik.org. Er ist auch bekannt unter dem Namen „tante“. Trainingsdaten hätten häufig nicht die angemessene Qualität; beim Einsatz könnten neue Formen von Diskriminierung entstehen. Geuter war unter anderem Sachverständiger in der öffentlichen Anhörung zum geplanten KI-Gesetz der EU.

Mit Blick auf die Vorhaben der Bundesregierung schreibt er: „Überblicken die Behörden die Daten gut genug, um seriös einschätzen zu können, wie gut die Qualität der ‚KI‘ ist? Haben sie überhaupt die Prozesse und das Knowhow, um die zu testen?“ Er bezeichnet den Beschluss der Bundesregierung als „Wir jetzt auch“-Beschluss. Als „Zukunftskoalition“ müsse die Regierung den Hype mitmachen. Vom Hype erfasst scheint derweil auch Digitalminister Volker Wissing (FDP). Im Mai zitierte ihn sein Ministerium mit den Worten: „Zu viel Regulierung bremst KI ein“ – und außerdem sei R2D2 aus Star Wars ein „KI-Superheld“.