Technologie

Asylbehörde sucht mit Künstlicher Intelligenz nach auffälligen Geflüchteten

Das Bundesamt für Migration und Flüchtlinge setzt mehrere KI-Systeme ein. Eine Software soll interessante Stellen in Anhörungsprotokollen markieren. Das BAMF leitet immer mehr Daten von Geflüchteten an den Verfassungsschutz weiter.

Das BAMF schmückt sich in einem Imagevideo mit dem neuen IT-Labor – inklusive Matrix-Kicker. Alle Rechte vorbehalten Screenshot: BAMF

„KI ist bei uns keine Zukunft, sondern gelebte Praxis“, sagte Markus Richter im Dezember. Richter ist Vize-Chef des Bundesamtes für Migration und Flüchtlinge (BAMF), früher leitete er die IT-Abteilung des Amtes. Die Behörde, selbsternannter Digitalisierungsvorreiter, testet Künstliche Intelligenz in verschiedenen Bereichen: Algorithmen sollen den digitalisierten Posteingang sortieren, sogenannte Profilanalysen durchführen und Klageandrohungen auch in ironisch formulierten Anwaltsschreiben erkennen.

Die Enquete-Kommission des Bundestages zu Künstlicher Intelligenz ließ sich die KI-Vorhaben deutscher Behörden und Ministerien genauer erklären. Wir veröffentlichen die Antworten des Innenministeriums zu KI im Bundesamt für Migration und Flüchtlinge.

Datenweiterleitung an Sicherheitsbehörden

Das BAMF führt derzeit ein Pilotprojekt zur „Profilanalyse“ durch. Laut dem Gruppenleiter für Prozesse und IT wurde die Profilanalyse entwickelt, „um den gesetzlichen Meldeverpflichtungen des BAMF an Sicherheitsbehörden leichter und schneller nachkommen zu können“.

Die Migrationsbehörde meldet zum Beispiel Personen an den Verfassungsschutz, wenn Informationen aus Anhörungen nahelegen, dass Antragsteller für den Geheimdienst interessant sein könnten. Das ist etwa der Fall, wenn Verbindungen zu Terrorismus bestehen könnten – sei es als Opfer oder mutmaßlicher Täter. Immer häufiger leitet das BAMF Daten an den Verfassungsschutz weiter: Im Jahr 2015 waren es noch gut 500 Fälle, zwei Jahre später bekam der Verfassungsschutz vom BAMF über 10.000 Hinweise. Wie viele tatsächlich relevante Erkenntnisse das bringt, ist nicht öffentlich bekannt.

Das System wurde mit alten Protokollen trainiert

Mitarbeiter, die freiwillig an der Pilotphase für die Profilanalyse teilnehmen, bekommen von der Software „potentiell relevante Textstellen“ in Anhörungsprotokollen vorgeschlagen. Das System wurde mit „anonymisierte[n] Anhörungsprotokolle[n] aus Asylverfahren“ trainiert.

Wie diese Anonymisierung aussieht, sagt das Innenministerium nicht. Wohl aber, dass Datenschutz ein großes Problem beim Trainieren der Algorithmen ist. Das Training mit Echtdaten sei „nahezu unmöglich“. Sollten nur die Namen und Identifikatoren entfernt worden sein, dürften sich weiterhin Rückschlüsse auf Personen ziehen lassen – schon allein anhand ihrer Fluchtgeschichte.

Bei den historischen Daten sei bekannt, ob sie einem bestimmten Kriterium entsprechen würden. Übersetzt auf den Anwendungsfall: Könnte den Verfassungsschutz oder andere Behörden die Information interessieren?

Im Pilotbetrieb sollen BAMF-Mitarbeiter die von der KI markierten Textstellen bewerten: Ist der Software-Treffer tatsächlich relevant? Hat das System andere relevante Textstellen übersehen? Mit diesem Feedback soll das System weiter lernen und sich verbessern.

Derzeit mag die Software Ausländer nur nach „Sicherheitshinweisen“ rastern, der Einsatzzweck solcher Systeme lässt sich aber leicht erweitern. Technisch wäre es einfach, auch die „Bleibeperspektive“ der Antragsteller:innen von Computern vorsortieren zu lassen.

Das BAMF hat noch mehr KI-Systeme

Das Innenministerium listet nicht alle KI-Technologien auf, die das BAMF einsetzt: Das BAMF nutzt Software, um Dialekte zu erkennen und Anhaltspunkte dafür zu gewinnen, wo Geflüchtete herkommen. Auch wenn das wissenschaftlich umstritten ist und das BAMF selbst von einer 15-prozentigen Fehlerquote ausgeht. Ein weiteres KI-System analysiert Textnachrichten auf ausgelesenen Smartphones der Schutzsuchenden – auch da geht es um die Sprache, die der Antragsteller nutzt.

Es besteht die Gefahr, dass Entscheidungen über Menschen Maschinen überlassen werden. Das gibt das Innenministerium zu:

Die größten Risiken sieht BAMF in der alleinigen Entscheidungshoheit von Maschinen, so dass im BAMF ausschließlich Assistenzsysteme entwickelt werden, die Mitarbeitende unterstützen, aber niemals die abschließende Entscheidungshoheit besitzen werden.

Dem entgegen steht eine hohe Belastung der Entscheider und sonstiger Mitarbeiter, die dazu verleiten, den vermeintlich neutralen Ergebnissen der Algorithmen zu viel Glauben zu schenken. Das ist bereits vorgekommen. Asylsuchenden wurden falsche Angaben vorgeworfen, ihre Asylanträge zunächst abgelehnt. Außer der Computeranalyse sprach fast alles für ihre Aussagen.


Antworten des Bundesministeriums des Innern, für Bau und Heimat zu Fragen der Enquete-Kommission Künstliche Intelligenz (Teil „KI-Anwendungen im Bereich Migration und Flüchtlinge“)

Zu den Fragen 1 bis 7: Anschaffung

Im Bundesamt für Migration und Flüchtlinge werden Methoden der künstlichen Intelligenz in drei Vorhaben angewendet: Im Projekt ZPE (Zentraler Posteingang) sowie in den Projekten EGVP (Elektronisches Gerichts- und Verwaltungspostfach) und im Projekt „Profilanalyse“.

Die Entscheidung wird abhängig von den Einsatzmöglichkeiten und den Vorgaben zur IT-Architektur getroffen. Da es sich um neue Methoden handelt, ist externer Sachverstand sinnvoll. Er wird anlassbezogen eingebunden. Das Bundesamt für Migration und Flüchtlinge (BAMF) wendet Methoden der künstlichen Intelligenz an. Die größten Potenziale sieht BAMF in allen Prozessen, in denen große Datenmengen verarbeitet werden und Mitarbeitende immer nur einen kleinen Ausschnitt bearbeiten, so dass Zusammenhänge und Muster nur schwer zu erkennen sind, Darüber hinaus bietet der Einsatz von KI grundsätzlich Möglichkeiten zur Erhöhung der Verarbeitungsqualität.

Die größten Risiken sieht BAMF in der alleinigen Entscheidungshoheit von Maschinen, so dass im BAMF ausschließlich Assistenzsysteme entwickelt werden, die Mitarbeitende unterstützen, aber niemals die abschließende Entscheidungshoheit besitzen werden. Weiterhin ist für den Einsatz von KI Spezialwissen erforderlich. Im BAMF wurde das Kompetenzzentrum der Fachanalytik implementiert. Die Fachanalytik befasst sich mit der Vorbereitung, Verknüpfung und Analyse von strukturierten und unstrukturierten Daten (Big Data Analyse) zur Erkennung von Mustern, Auffälligkeiten und Zusammenhängen sowie der Prognose künftiger Entwicklungen und erprobt angewandte künstliche Intelligenz.

Innerhalb des Kompetenzzentrums befassen sich Daten-Analysten mit möglichen Anwendungsfällen sowie Projekten und bewerten diese hinsichtlich ihrer Eignung. Die Bewertung umfasst die Aspekte der inhaltlichen und technischen Machbarkeit, sowie die rechtlichen Rahmenbedingungen, die Belange der IT-Sicherheit und die der Personalvertretung. Der Einsatz von Methoden der KI unterscheidet sich nicht grundsätzlich vom Einsatz herkömmlicher IT-Systeme.

Die größten Herausforderungen sieht BAMF in der Einhaltung der datenschutzrechtlichen Rahmenbedingungen, die ein Training von Maschinen mit Echtdaten nahezu unmöglich bzw. extrem aufwendig und damit kosten- und zeitintensiv werden lassen. Dieses trifft auch dann zu, wenn die Datensätze zwar personenbezogene Daten enthalten, diese aber nicht relevant für das Training der Maschine sind.

Teilweise verfügen hervorragende Daten-Analysten über keinen Hochschulabschluss. Das Laufbahnrecht des Bundes bietet zwar flexible Instrumente, die eine Einstellung auch bei Fehlen eines erforderlichen Abschlusses ermöglichen. Aufgrund des strukturellen Mangels an IT-Spezialisten ist es derzeit jedoch für alle Arbeitgeber in Deutschland schwierig, Fachkräfte in ausreichender Anzahl auf dem Arbeitsmarkt zu rekrutieren.

Die gesetzlichen Grundlagen bestehen in den entsprechenden datenschutzrechtlichen Bestimmungen sowie in den der Datenverarbeitung und -analyse zugrundliegenden rechtlichen Bestimmungen der jeweiligen Datenbank, beispielsweise AsylG oder AZRG. In erster Linie besteht Bedarf nach internen Experten oder entsprechenden Budgets für externes Personal. Darüber hinaus ist es wichtig, Experten für den Bereich Datenschutz zu gewinnen.

Zu den Fragen 8 bis 11 Datengrundlage

Im Rahmen des Pilotprojekts „Profilanalyse“ werden anonymisierte Anhörungsprotokolle aus Asylverfahren verwendet. Für die Projekte ZPE und EGVP existieren entsprechende Fachkonzepte sowie Dienstvereinbarungen. In den drei Projekten wurden die Daten und Trainingsdaten sowohl von internem als auch externem Personal geprüft und annotiert, so dass die Qualität sichergestellt werden konnte. Im Pilotprojekt „Profilanalyse“ wurde die Datenmenge von internen Experten der Fachanalytik geprüft und inkrementell erhöht, da die Menge zu Beginn der Pilotierung nicht ausreichend war.

Im Pilotprojekt „Profilanalyse“ werden als Datenbasis für die Modellentwicklung vom Fachbereich Auszüge von historischen Daten aus mehreren Jahren zufällig ausgewählt und stichprobenartig qualitätsgesichert, Bei diesen Daten ist bekannt, ob sie einem Kriterium entsprechen oder nicht. Durch Vergleich mit Statistiken über die Datengesamtheit wird sichergestellt, dass die Datenauszüge repräsentativ sind. Durch Vergleich zwischen verschiedenen Zeitscheiben werden zeitliche Veränderungen berücksichtigt.

Bei der „Profilanalyse“ schlagen Modelle potentiell relevante Textstellen vor. Die Anwender evaluieren diese Vorschläge. Auf diese Weise entstehen laufend weitere Trainingsdaten, die nach einer Qualitätssicherung durch den Fachbereich ebenfalls für das Training und die Aktualisierung der Modelle herangezogen werden.

Im Pilotprojekt „Profilanalyse“ werden für die Modellentwicklung historische Daten mit Hilfe von statistischen Verfahren, wie z.B. Kreuzvalidierung, zufällig in Trainings- und Testdaten unterteilt. Dies erfolgt durch die Modellentwickler selbst. Die fertigen Modelle werden dann durch Experten des Fachbereichs, wo die Modelle im Rahmen des Pilotbetriebes zum Einsatz kommen, anhand gänzlich neuer, noch unbekannter Daten, evaluiert. Bei den Projekten ZPE und EGVP erfolgt die Unterteilung durch die Projektleitung in Zusammenarbeit mit den Testmanagern.

Zur Frage 12 Wahl der Methode

Im Pilotprojekt „Profilanalyse“ wurde dies mit Hilfe eines explorativen Ansatzes durch interne Experten der Fachanalytik, in Abstimmung mit externen Experten evaluiert. Dazu wurden zunächst potentiell relevante Datenquellen identifiziert und mit dem Datenschutz abgeklärt. Anhand von Datenauszügen wurde dann beispielhaft untersucht, ob die Fragestellung, hier Klassifikation von Textstellen, auf Basis der verfügbaren Daten möglich ist.

Dazu wurden verschiedene Arten von Informationen aus den Texten extrahiert und mit unterschiedlichen Verfahren des maschinellen Lernens zu Modellen verarbeitet und beurteilt. Die abschließende Entscheidung haben interne Experten der Fachanalytik, in Abstimmung mit externen Experten auf Basis der erreichten initialen Modellergebnisse vorgenommen.

Zu den Fragen 13 und 14 Evaluierung des trainierten Modells

Im Pilotprojekt „Profilanalyse“ werden Textstellen binär danach klassifiziert, ob sie einem Kriterium entsprechen oder nicht. Als Gütemaße werden Vollständigkeit und Präzision herangezogen. Vollständigkeit ist ein Maß dafür, wie viele der Textstellen, die tatsächlich relevant sind, durch das Modell gefunden werden. Präzision ist ein Maß dafür, ob Textstellen, die durch Modell als potentiell relevant eingestuft worden sind, auch tatsächlich relevant sind.

Der Fachbereich legt fest, welche Güte für die einzelnen Größen erreicht werden soll. Je nach Einsatzgebiet ist es wichtiger, möglichst keinen Treffer zu übersehen (Vollständigkeit) oder möglichst keine Fehlalarme auszulösen (Präzision). In den Projekten ZPE und EGVP erfolgt dies durch Feedback der Nutzer und Analyse der Ergebnisqualität.

Im Pilotprojekt „Profilanalyse“ wird durch die Anwendung verschiedener Methoden eventuellen Diskriminierungen entgegengewirkt. Wie zuvor dargestellt, wurde bereits bei der Auswahl der „Grundwahrheit“ auf einen repräsentativen Ausschnitt der Daten geachtet. Es findet eine stichprobenartige Qualitätssicherung der Trainingsdaten durch Fachbereich und externe Entwickler statt, um zu vermeiden, dass möglicherweise bereits in der Vergangenheit aufgetretene Diskriminierungseffekte durch die Anwendung von maschinellem Lernen unbewusst fortgeschrieben werden.

Bei der Modellerstellung diskutieren interne und externe Fachexperten die möglichen Datenattribute hinsichtlich Diskriminierungsrisiken und verzichten ggf. auf einzelne Attribute. Eine fortlaufende Überwachung mit Hilfe von Fairnessmaßen ist für den Wirkbetrieb der „Profilanalyse“ angedacht. Dazu wird der Fachbereich in Zusammenarbeit mit den internen Experten der Fachanalytik Vorschläge erarbeiten. In den Projekten ZPE und EGVP wird dies durch externe Experten sichergestellt.

Zu den Fragen 15 bis 22 Betrieb

Aktuell befindet sich das Projekt „Profilanalyse“ im Pilotbetrieb. In dieser Phase werden alle Ergebnisse der Anwendung manuell evaluiert und ggf. durch die beteiligten Mitarbeiter des internen Fachbereichs angepasst. Für den späteren Wirkbetrieb ist angedacht, dass Mitarbeiter des Fachbereichs mit Hilfe einfacher Berichte in der Oberfläche der Anwendung, Veränderungen in der Vorhersagegüte der Modelle erkennen können. Fällt die Güte über die Zeit hinweg unter einen definierten Wert, werden die Anwendungsverantwortlichen in Zusammenarbeit mit den internen Experten der Fachanalytik eine Überarbeitung der Modelle anstoßen.

In den Projekten ZPE und EGVP erfolgt dies durch Feedback der Nutzer und Analyse der Ergebnisqualität. Im Pilotprojekt „Profilanalyse“ haben die Anwender sowohl die Möglichkeit Treffervorschläge durch ein Modell abzulehnen (false positives), als auch neue Treffer anzulegen, wo das Modell relevante Stellen übersehen hat (false negatives). Die „Profilanalyse“ ist als unterstützendes System ausgelegt. Alle Daten werden auch durch einen menschlichen Bearbeiter gesichtet, eine Dunkelverarbeitung findet nicht statt.

Für die Projekte ZPE und EGVP ist ein entsprechendes Feedback sichergestellt. Das Fachanalytik-Kompetenzzentrum ist referatsübergreifend personalisiert und besteht aus der Leitung, einem Business-Translator, einem Daten-Analysten und einem Data-Engineer. Im Rahmen der Projekte ZPE und EGVP sind bis zu 4 Personen mit dem Einsatz von KI befasst, verantwortlich ist die Projektleitung.

Im Pilotprojekt „Profilanalyse“ wurden alle Teilnehmenden geschult. Die Schulungen beinhalteten neben Bedien- und Prozesshinweisen des Systems auch grundlegende Informationen zu maschinellem Lernen und künstlicher Intelligenz. Es sollen weiteren Daten-Analysten geschult werden. Bei den Projekten ZPE und EGVP erfolgt die Schulung durch externe Anbieter.

Zu Frage 19: Diese Kontrollfunktion übernimmt die jeweilige Fachseite. Im Pilotprojekt „Profilanalyse“ wurden die Mitarbeitenden gefragt, ob sie an dem Pilotprojekt teilnehmen möchten, das auf Methoden der künstlichen Intelligenz beruht. Nur wer sich bereiterklärt hat, ist auch Teil der Pilotierung. Für die Projekte ZPE und EGVP existiert ein Info-Brief, der im Bundesamt versendet wird. Das Pilotprojekt „Profilanalyse“ ist als unterstützendes System ausgelegt.

Alle Vorschläge des Systems werden durch den Anwender gesichtet und abschließend im Fachbereich beurteilt, übersehene Textstellen können manuell ergänzt werden. Auf diese Weise entstehen kontinuierlich neue Trainingsdaten, die in regelmäßigen Abständen oder ggf. auch ad hoc zu einer Aktualisierung der Modelle herangezogen werden können.

Es wird noch untersucht, in welchen regelmäßigen Abständen eine Modellaktualisierung sinnvoll ist, Für die Projekte ZPE und EGVP erfolgt dies durch die nutzenden Personen. Wie zuvor dargestellt, werden alle Widersprüche im Pilotprojekt „Profilanalyse“ durch Mitarbeiter des Fachbereichs gesichtet. Zeigen sich dabei systematische Fehlentscheidungen, bzw. fällt die Modellgüte insgesamt unter ein definiertes Maß, so wird durch die Anwendungsverantwortlichen des Fachbereichs in Zusammenarbeit mit den internen Experten der Fachanalytik eine Überarbeitung der Modelle angestoßen.

Die neuen Modelle werden darauf getestet, ob sie die zuvor erkannten Fehlentscheidungen mitigieren. Für die Projekte ZPE und EGVP ist dies zu bejahen.

0 Ergänzungen

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.