Bürokratierückbau, Modernisierung des Staates und eine effizientere öffentliche Verwaltung – gebetsmühlenartig wiederholt die Bundesregierung die im Koalitionsvertrag festgeschriebenen Ziele. Digitalminister Karsten Wildberger (CDU) will die öffentliche Verwaltung vor allem mit Hilfe generativer KI modernisieren. Darüber hinaus sollen KI-Agenten Genehmigungsverfahren um bis zu 50 Prozent beschleunigen und so Mitarbeiter:innen entlasten. Zu Jahresanfang hatte Wildberger sogar noch von 80 Prozent Beschleunigung gesprochen.
Seine Hoffnungen setzt der Minister dabei vor allem auf Spark Workflow. Das sind KI-Agenten, die den Ablauf von Verwaltungsverfahren durchgängig abbilden sollen. Im Gespräch mit netzpolitik.org ordnet Stefan Kaufmann ein, was nach jetzigem Wissensstand von Spark Workflow zu erwarten ist. Kaufmann ist Experte für Open Data und Verwaltungsdigitalisierung und beschäftigt sich auch privat mit Spark Workflow und den offenen Fragen des Projekts.
netzpolitik.org: Das Bundesministerium für Digitales und Staatsmodernisierung (BMDS) will Spark Workflow in die öffentliche Verwaltung bringen. Was tut das Programm?
Stefan Kaufmann: Spark Workflow soll dabei helfen, Genehmigungsverfahren schneller zu bearbeiten. Nach allem, was wir zurzeit über das Programm wissen, arbeitet es in mehreren Schritten. Zunächst soll es Word-Dokumente, PDFs und PowerPoint-Dokumente in Markdown übersetzen, damit der Inhalt des Dokuments überhaupt analysierbar wird. Mit der Markdown-Syntax werden Struktur und Inhalte leichter maschinell auswertbar.
Anschließend wirft das Programm die aufbereiteten Inhalte nach und nach gegen Sprachmodelle und die wenden darauf festgelegte Prompts an, also Eingaben an das KI-System. Das Programm soll so einen Antrag auf Vollständigkeit und Plausibilität prüfen und eine rechtliche Einordnung vornehmen.
„Es braucht hundertprozentige Verlässlichkeit“
netzpolitik.org: Wie funktioniert das genau?
Stefan Kaufmann: Das ist nicht so leicht zu sagen. Zwar ist der Code auf openCode öffentlich einsehbar. Aber es fehlt eine Gesamtdokumentation. Die öffentlich zugänglichen Informationen zum Projekt lassen kaum Rückschlüsse darauf zu, wie die einzelnen Spark-Module im Detail funktionieren sollen und was die allgemeine Erwartungshaltung an das Programm ist.
So fehlt auch ein Gütetest: Tut das System, was es soll? Entsprechende Kriterien müsste man vorher definieren. Das wäre ein wissenschaftliches Vorgehen. Wenn ich ein Medikament teste, formuliere ich solche Kriterien auch, führe Doppel-Blindstudien durch und prüfe, ob meine Erwartung an die Wirkung des Medikaments erfüllt ist. Bei Spark Workflow ist so etwas bislang nicht erkennbar.
Außerdem müsste man zuvor definieren, was eine akzeptable Fehlerquote ist. Dass die generative KI unterschiedliche Ergebnisse auswerfen kann, auch wenn man dieselbe Abfrage macht, ließe sich systematisch testen. Man könnte einen Musterantrag mehrmals durch das System laufen lassen und die Ergebnisse speichern. Anschließend könnte man die Varianzen zwischen den Ergebnissen untersuchen. Wie man die dann bewertet, hängt davon ab, welche Abweichung als akzeptabel gilt.
Angenommen von 100 Anträgen wird einer falsch positiv oder einer falsch negativ bewilligt. Ist das dann ein akzeptables Ergebnis? Das müsste man diskutieren und definieren. Ich bin der Überzeugung, bei einer maschinellen Auswertung von Anträgen braucht es eine hundertprozentige Verlässlichkeit. Aber das ist eine politische Frage.
Mit Markdown zur „symbolischen KI“
netzpolitik.org: Gehen wir kurz noch einen Schritt zurück: Inhalte aus Dokumenten in Markdown zu übersetzen, das ist doch sinnvoll, oder?
Stefan Kaufmann: Ja, wenn man aber bei Spark Workflow schon diesen Schritt geht, könnte man noch einen Schritt weitergehen: nämlich die Anträge so gestalten, dass sie direkt in Markdown vorliegen. Damit könnte man auf Sprachmodelle verzichten und hätte einen Schritt hin zu einer verlässlichen und schnell verfügbaren Datenbasis zurückgelegt.
netzpolitik.org: Warum wäre das sinnvoll?
Gegen Ausweiskontrollen im Netz.
Wir kämpfen für ein offenes Internet. Mit deiner Unterstützung.
Stefan Kaufmann: Beispielsweise kann man mit Begriffen viel besser umgehen, die je nach Kontext eine andere Bedeutung haben, wie etwa der Begriff „Einkommen“. Durch eine passende Datenkodierung könnte man sicherstellen, dass das System jeweils den richtigen Einkommensbegriff erfasst. So etwa arbeitet die sogenannte symbolische KI, nach Regeln von Logik und Mathematik.
Die hat einen wesentlichen Vorteil: Auch wenn ich dieselbe Abfrage hundertmal vornehme, ich erhalte immer dasselbe Ergebnis. Bei diesem System bin ich lediglich darauf angewiesen, dass die zugrunde liegenden Sachverhaltsdarstellungen in einem maschinell auswertbaren Format vorliegen. Die Korrektheit des Ergebnisses hängt hier nicht davon ab, dass das System zufällig das richtige Ergebnis ausspuckt, sondern das folgt logisch aus den verarbeiteten Daten.
netzpolitik.org: Wie unterscheiden sich Sprachmodelle von der symbolischen KI?
Stefan Kaufmann: Sprachmodelle sind den sogenannten konnektionistischen KI-Modellen zuzuordnen. Das sind all die Modelle, die auf stochastischen Verfahren basieren, die nach dem Prinzip der Wahrscheinlichkeit funktionieren. Ein klassischer konnektionistischer KI-Ansatz ist maschinelles Lernen. Eine Untergruppe davon ist Deep Learning und daneben gibt es eben die großen Sprachmodelle. Gesichtserkennung ist beispielsweise ein klassischer konnektionistischer Ansatz. Da kann ich ein Gesicht mit einer gewissen Wahrscheinlichkeit erkennen, die liegt dann irgendwo zwischen 0 und 100 Prozent. Diese Konfidenz, eine Art Kennzahl über die Gewissheit, kann ich mir oft auch anzeigen lassen.
Bei symbolischer KI gibt es eigentlich nur die Ergebnisse 0 und 1. Entweder die Ausgabe ist richtig oder die Anfrage nicht beantwortbar, etwa wenn die Datenlage das nicht hergibt.
Mehr Effizienz mit maschinenlesbaren Daten
netzpolitik.org: Wie kommt es, dass die öffentliche Verwaltung mit Dokumenten in unterschiedlichen und nicht maschinenlesbaren Formaten arbeitet?
Stefan Kaufmann: Menschen lernen schon in der Schule, dass sie Texte mit Microsoft Word schreiben. Wir alle sind in gewisser Weise darauf „trainiert“ worden. Die meisten verfassen auch in ihrem Berufsleben Dokumente so, dass sie für Menschen lesbar sind.
Zum Beispiel ein PDF-Dokument, in dem Tabellen enthalten sind. Zwar ist die Darstellung digital. Aber eine automatische mathematische Auswertung der Inhalte ist sehr viel schwieriger, als wenn die ursprüngliche Tabelle im CSV-Format vorliegen würde – oder noch besser: als Linked Data. Wären die Inhalte maschinenlesbar aufbereitet, wäre das ein Riesenschritt in Richtung einer verlässlichen Auswertung.
netzpolitik.org: Wie bewertest du die Entscheidung, dass die öffentliche Verwaltung diesen Weg bislang nicht eingeschlagen hat und stattdessen zumindest auf Entscheider-Ebene auf generative KI setzt?
Stefan Kaufmann: Benjamin Degenhardt hat das neulich sehr schön eingeordnet: Der Weg hin zu semantischer Datenhaltung, also etwa besserer Maschinenlesbarkeit, sei strategisch der weitsichtige und auch der einzig sinnvolle. Ich stimme ihm da voll zu.
Degenhart ist Wissensingenieur und engagiert sich für Open Source, Linked Open Data, Graphen und Nachhaltigkeit.
Damit ließen sich alle Vorteile des automatisierten Rechnens nutzen, ohne irgendwelche Abstriche machen zu müssen. In strukturierte Daten zu investieren, wäre nachhaltig. Damit könnte man Mitarbeiter:innen in der Verwaltung nicht nur Arbeit abnehmen, man könnte gleichzeitig Kompetenz vorantreiben, besser mit Daten umzugehen, also mit Fokus auf Maschinenlesbarkeit. Da wäre deutlich mehr Effizienz zu gewinnen, während man die Grundsätze von Verwaltungshandeln wie Gleichheitsgrundsatz oder Verlässlichkeit nicht infrage stellen müsste.
Die Existenz generativer KI-Systeme verleitet dazu, Workarounds zu bauen, weil die momentan durch die Verfügbarkeit solcher Systeme günstig erscheinen. Ich kann damit kurzfristig einen Erfolg erzielen und komme meinem Ziel augenscheinlich näher. Bei genauer Betrachtung wird aber klar: Ich verbaue mir damit gleichzeitig, das gesamte System zu ertüchtigen.
netzpolitik.org: Wie kann man sich das vorstellen?
Stefan Kaufmann: Ich versuche, das an einem Bild zu erklären. Es gibt ein Ministerium, das eine desolate Wasser-Verrohrung hat. Eigentlich ist allen klar, wir sind hier auf dem Stand, der nicht mehr tragbar ist. Das sind technische Schulden. Wir müssten diese Infrastruktur von Grund auf neu festigen. Denn bislang haben Mitarbeitende das Wasser in Eimern von A nach B getragen. Statt die Infrastruktur zu erneuern, nimmt das Ministerium das Angebot einer Firma an. Sie sponsert billige Arbeiter:innen, die den Ministeriumsmitarbeiter:innen das Wassertragen abnehmen.
Diese Lösung reduziert vorerst das akute Defizit. Fraglich ist: Wollen wir, dass da Menschen das Wasser hin und her tragen? Ist das langfristig wirtschaftlich? Oder wollen wir nicht eher eine Situation, wo ich den Wasserhahn aufdrehe und das Wasser einfach läuft, Wasser as a service sozusagen?
„Ich halte es für eine Ausrede“
netzpolitik.org: Welche Gefahr siehst du bei Spark Workflow?
Stefan Kaufmann: Weniger eine Gefahr, mir fällt aber auf, dass vieles von dem, was gerade verhandelt wird, auf Kategorienfehlern basiert. Dass hier eine agentische KI am Werk sei, die 50 oder gar 80 Prozent der Arbeit abnehmen könne, sind zunächst Behauptungen. Das lässt sich nicht überprüfen. Ich habe die Befürchtung, dass die Verantwortlichen im BMDS Annahmen anhängen, wie solche Systeme arbeiten und welche Leistung sie erzielen können, die sich schwer belegen lassen.
Es ist durchaus möglich, dass Spark Workflow eingereichte Anträge prüft und darin tatsächlich Inkonsistenzen und Unvollständigkeiten anzeigt. Doch scheint das System einige technische Probleme mit sich zu bringen. Demnach kann es vorkommen, dass es zwei Dateien mit demselben Dateinamen ermittelt und dann eine davon verwirft. Dass die Dateinamen sich decken, bedeutet aber nicht automatisch, dass der Inhalt der Dubletten identisch ist.
Die Person, die das Programm bedient, sieht offenbar auch nicht, wenn im Hintergrund etwas passiert, was den Umfang des ursprünglichen Antrags verändert. Sie hat womöglich keine Information darüber, dass das System damit unter Umständen zu einem verfälschten Ergebnis kommt.
netzpolitik.org: Es fällt immer wieder das Argument vom „human in the loop“, am Ende entscheide immer ein Mensch. Ein Programm wie Spark Workflow solle lediglich unterstützen, menschliche Expertise sich dann auf das Ergebnis konzentrieren. Wie bewertest du das?
Stefan Kaufmann: Ich halte es für eine Ausrede. Im konkreten Fall ist nicht klar: Kann die Person, die das Programm bedient, einordnen, dass das Ergebnis der generativen KI zufallsbehaftet ist? Weiß sie, dass das System vielleicht unter der Haube Dinge anders agiert, als man es als Laie erwarten würde? Grundsätzlich ist die Frage offen: Wie kann der Mensch einen Antrag angesichts des Moments des Zufalls verlässlich bearbeiten? Oder werden solche Anträge in Zukunft quasi per Losverfahren beschieden?
„Nur auf einen spezifischen Anwendungsfall zugeschnitten“
netzpolitik.org: Laut den Aussagen etwa von BMDS-Staatssekretär Thomas Jarzombek soll Spark in mehreren Bereichen der öffentlichen Verwaltung eingesetzt werden können. Für wie realistisch hältst du das?
Stefan Kaufmann: Wenn man in den Code von Spark Workflow reinschaut, fällt auf: Dieses System ist gerade nur auf einen spezifischen Anwendungsfall zugeschnitten, nämlich auf die umweltrechtliche Genehmigung.
Würde man diesen Anwendungsfall auf einen anderen umbauen, muss man da händisch in viele Konfigurationsdateien eingreifen. Das wirkt auf mich nicht wie ein System, das flexibel auf verschiedene Szenarien in der Verwaltung angepasst werden kann. Zumindest nicht ohne erheblichen Aufwand.
Schreibe eine Ergänzung!