Interview über KI und das Lavender-System: Automatisierte Todeslisten

Die Software ist entscheidend bei Angriffsplanungen und identifiziert potenzielle Ziele für Bomben im Gazastreifen oder im Libanon: Das System „Lavender“ soll laut Medienrecherchen und einem aktuellen Dokumentarfilm mutmaßliche Mitglieder der Hamas und des Islamischen Dschihad Palästina ausfindig machen. Es soll Personen, Fahrzeuge und andere Objekte in Echtzeit erkennen. Für die israelische Armee habe die Software die Zielauswahl erheblich beschleunigt und automatisiert.

In dem aufwühlenden Gaza-Dokumentarfilm „Naza“ beschreiben beteiligte Soldaten die vormals geheimen Methoden, die von der israelischen Armee angewandt werden. Der Film von Juval Abraham und Rachel Szor, der beim internationalen Filmfestival von Venedig am Wochenende den Sonderpreis der Jury erhielt, arbeitet die israelischen Kriegshandlungen auf und beleuchtet mutmaßliche Kriegsverbrechen an der palästinensischen Zivilbevölkerung.

Software wie Lavender wird anhand von bekannten Datensätzen von Personen trainiert, um dadurch Verhaltensmuster zu erkennen. Wenn sie dann im Einsatz neue Personen entdeckt, die ähnliche Verhaltensmuster aufweisen, werden sie zu Zielpersonen. Auf diese Weise habe Lavender Zehntausende Personen markiert, die als militärische Gegner eingestuft wurden. Das Computersystem sei zusammen mit einem weiteren Software-basierten Entscheidungshilfesystem mit dem Namen „The Gospel“ verwendet worden, das Gebäude und Strukturen als Ziele vorschlug.

Durch die zivilen Schäden und das menschliche Leid, die ein solches System mitverursachen, stellen sich ethische und rechtliche Fragen, denen sich auch die Wissenschaft widmet. Wir sprechen mit Taylor Kate Woodcock und Rainer Rehak über ihre Lavender-Analyse „Automating civilian harm: On Israel’s use of the AI-enabled targeting system Lavender in Gaza and International Humanitarian Law“, die sie im Juni dieses Jahres veröffentlicht haben. Sie erläutern darin, warum der Softwareeinsatz systematisch gegen das Völkerrecht verstößt.

Taylor Kate Woodcock forscht im Bereich des Völkerrechts am Asser Institute der Universität Amsterdam. Rainer Rehak ist Informatiker und forscht am Weizenbaum-Institut in Berlin.

This interview is also available in English.

Lavender als Teil der „kill-chain“

netzpolitik.org: Ihr habt das Zielsystem Lavender und seine Folgen für das Völkerrecht analysiert. Bitte beschreibt kurz, was das Lavender-System ist und was es für das israelische Militär erreichen soll.

Taylor Kate Woodcock: Das israelische Militär bezeichnet Lavender als ein hochentwickeltes System zur Aufspürung und Zielerfassung von Kämpfern im Gazastreifen. Es handelt sich um ein von „Künstlicher Intelligenz“ unterstütztes Datenverarbeitungssystem, das zur Berechnung von Angriffszielen eingesetzt wird.

Es ist also kein Angriffssystem, sondern Teil einer frühen Phase dessen, was Experten als „kill-chain“ (etwa: Tötungskaskade) bezeichnen. Die Ergebnisse von Lavender fließen in Koordinations- und Zeitplanungssysteme ein und landen schließlich in den Angriffsplänen von Kampfflugzeugen, Bombern, Artillerie, Drohnen oder Bodentruppen, die dann die eigentlichen Angriffe durchführen.

Lavender erstellt für jeden Menschen in Gaza einen Risikowert zwischen 1 und 100, der die Wahrscheinlichkeit angeben soll, dass diese Person Mitglied einer militanten Gruppe ist oder mit einer solchen in Verbindung steht, etwa mit dem militärischen Arm der Hamas (Qassam-Brigaden) oder dem Islamischen Dschihad Palästina. Da jeder Mensch in Gaza einen solchen Wert erhält, kann im System eine Schwelle festgelegt werden. Alle Personen, die diesen Wert überschreiten, werden zu militärischen Angriffszielen.

netzpolitik.org: Wie genau funktioniert diese Bewertung von Lavender?

Rainer Rehak: Die Kontrolle durch die Besatzung von Gaza ermöglicht es Israel, riesige Datenmengen über praktisch alles innerhalb des Gazastreifens zu sammeln, von Satellitenbildern, Standortdaten von Mobiltelefonen, Videoüberwachungsaufnahmen, Geodaten, Kommunikations- und Metadaten, Gebäude-Informationen, Bewegungsdaten, Zahlungsdaten, Aufnahmen von Drohnen und sogar Informationen über Familienbeziehungen und soziale Strukturen, wie wir aus unabhängigen journalistischen Projekten aus den Vereinigten Staaten und Israel wissen.

Diese ganzen heterogenen Daten werden miteinander verknüpft und kombiniert, um als Datengrundlage für eine Methode namens „Positive Unlabeled Learning“ (PUL) zu dienen. Ein „KI“-System nutzt also die Daten von einigen bestätigten Fällen von militärischen Aktionen, um den Rest der Daten statistisch zu analysieren und eine Art statistische Ähnlichkeit zwischen allen Daten im Vergleich zu den bekannten Fällen zu erzeugen. Diese statistische „Ähnlichkeit“ wird dann in die Punktzahl umgerechnet, die den Risikowert angibt.

„Täglich rund 1.000 potenzielle Ziele“

netzpolitik.org: Es geht in eurer Analyse auch um ein zweites „KI“-System, „The Gospel“. Wofür wird „The Gospel“ genutzt?

Rainer Rehak: Es gibt viel weniger Informationen über das Gospel-System, aber allgemein gesprochen ist es ein System zur Klassifizierung der Gebäude in Gaza nach ihrem Zweck, von ziviler privater oder kommerzieller Nutzung bis hin zu militärischer Nutzung. Die zuvor genannten Daten werden entsprechend verwendet.

netzpolitik.org: Auf welche Quellen und Datengrundlagen stützt ihr eure Analyse?

Taylor Kate Woodcock: Wir stützen uns auf mehrere Quellen von investigativer Berichterstattung, die anonyme Quellen innerhalb der israelischen Streitkräfte (IDF) und von US-amerikanischen Vertragspartnern sowie vertrauliche Dokumente nutzen. Insbesondere stützten wir uns auf die Analysen von Yuval Abraham sowie auf die Arbeiten von Michal Biesecker, Sam Mednick und Garace Burke, die als Journalisten bei der Associated Press recherchieren.

Eine Herausforderung bei der Untersuchung des Einsatzes von KI in militärischen Operationen besteht darin, dass die Art und Weise, wie diese Systeme in der Praxis tatsächlich eingesetzt und welche Ergebnisse dabei erzielt werden, geheim gehalten wird. Wir haben jedoch festgestellt, dass die Berichte in diesen unabhängigen Medien durch die technische Plausibilität der beschriebenen Systeme gestützt werden, und auch durch die Tatsache, dass sie auf anonymen Quellen mit praktischer Erfahrung beruhen. Die Recherchen erklären die schrecklichen Bilder der Zerstörung in Gaza, die immer wieder in den Medien auftauchen.

netzpolitik.org: Gospel und Lavender produzieren hohe Zielzahlen. Was bedeutet das praktisch? Wie viele Ziele findet das System beispielsweise pro Tag?

Taylor Kate Woodcock: Aktuellen Schätzungen zufolge wurden in den ersten zwei Jahren der bewaffneten Konflikte in Gaza und im Libanon täglich rund 1.000 potenzielle Ziele identifiziert. Zwischen dem 7. Oktober 2023 und Ende 2025 wurden nach Angaben des Rüstungskonzerns Elbit Systems insgesamt 850.000 Ziele in Echtzeit erfasst. Diese Zahlen deuten darauf hin, dass die IDF bis zu oder mehr als die Hälfte der gesamten Bevölkerung und Infrastruktur im Gazastreifen ins Visier genommen hatten.

Rainer Rehak: Diese täglichen Zahlen schwanken, da das israelische Militär den Schwellenwert auch je nach den verfügbaren Angriffsmitteln wie Bombern und nach Munition festlegt. An Tagen, an denen alle anfänglichen Ziele bereits getroffen waren, aber noch Kampfjets bereitstanden, wurde die Schwelle gesenkt, bis die gewünschte Anzahl neuer Ziele erreicht war.

Anders ausgedrückt: Das System wurde immer wieder neu konfiguriert, je nach verfügbaren militärischen Mitteln. Aus Sicht des Völkerrechts zeigt das, dass die Ziele, die berechnet wurden, nie eine materielle Grundlage zur Rechtfertigung der Angriffe hatten. Die Menschen in Gaza wurden im Grunde in eine große Todesliste eingetragen und dann von oben nach unten mit allem, was gerade zur Verfügung stand, angegriffen.

Gegen die unheilvolle Verflechtung von Informatik und Militär

Entscheidet noch ein Mensch?

netzpolitik.org: Wie wird gewährleistet, dass ein Mensch entscheidet?

Rainer Rehak: Laut den Berichten wird jedes Ziel von einem menschlichen Aufseher evaluiert, der jedoch nur maximal 20 Sekunden Zeit pro Ziel hatte. Er überprüfte oft nur, ob es sich um einen Mann handelte. Hier wird deutlich, was die Whistleblower mit der Aussage meinten, dass der Fokus auf Quantität und nicht auf Qualität liege, was bemerkenswert ist angesichts der Tatsache, dass hier über Leben und Tod entschieden wird.

Taylor Kate Woodcock: Eine Gefahr bei der Nutzung von KI-Systemen besteht darin, dass menschliche Nutzerinnen und Nutzer deren Ausgaben zu viel Vertrauen entgegenbringen und sie nicht kritisch hinterfragen. Dieses Phänomen wird als „Automation Bias“ bezeichnet. Die Risiken, die davon ausgehen: Selbst wenn menschliche Aufsicht in die Zielauswahl der KI-Systeme einbezogen wird – und zwar in extrem kurzen Zeiträumen –, können die Ergebnisse dennoch ohne echte Prüfung und Verifikation der Entscheidungen für oder gegen eine Zielauswahl stattfinden.

Das Ausmaß der Zielauswahl in großen Mengen, die Geschwindigkeit, mit der diese KI-Systeme Ziele erstellen, und das Risiko des „Automation Bias“ verändern die militärische Zielauswahl grundlegend, indem sie die Zeit und die Möglichkeiten für die menschliche Überprüfung der Ziele reduzieren. Die Zielauswahl unterliegt jedoch völkerrechtlichen Verpflichtungen, die eine Prüfung der Rechtmäßigkeit der Ziele und Maßnahmen zur Vermeidung von zivilen Opfern vorschreiben. Wenn man sich die Zeitspanne für jede Zielüberprüfung ansieht, so war diese völkerrechtliche Pflicht eindeutig nicht erfüllt, wie auch die Whistleblower bestätigten, die sich als bloßen „Genehmigungsstempel“ bezeichneten.

netzpolitik.org: Wie werden Zivilisten im Rahmen von Lavender behandelt?

Rainer Rehak: Wir müssen festhalten, dass der statistische Ansatz keine ernsthafte Unterscheidung zwischen Zivilisten und legitimen Zielen zulässt, weil weder klar ist, wie genau die Punktzahl berechnet wird, noch wie die Schwelle festgelegt wird. Ein interner Test zeigte, dass das System selbst eine Fehlerrate von etwa zehn Prozent aufwies.

Zusätzlich wurde das System explizit so konfiguriert, dass auch zivile Opfer erlaubt sind, manchmal kaltherzig Kollateralschäden genannt. Bei eher unwichtig Klassifizierten, die eine niedrigere Punktzahl aufwiesen, wurde die akzeptable Anzahl ziviler Opfer auf 15 bis 20 festgelegt, bei hochrangigen Personen soll die Zahl „Hunderte“ gewesen sein. Für beispielsweise 100 Zielpersonen war das System also explizit so konfiguriert, dass zwischen 1.500 und 10.000 zivile Opfer ebenfalls getötet werden, was angesichts der hohen Bevölkerungsdichte im Gazastreifen, die mit der von Manhattan in New York vergleichbar ist, wahrscheinlich eine untere Grenze darstellt.

Die Zeitpunkte wurden häufig so gewählt, dass Zielpersonen nicht tagsüber, sondern nachts angegriffen wurden, wenn sie mit ihren Familien zu Hause waren, was zu noch mehr zivilen Opfern führte. Dieses spezielle Zeitplanungssystem wird „Where’s daddy?“ (Deutsch: Wo ist Papa?) genannt.

Taylor Kate Woodcock: Wir haben dieses Vorgehen detailliert analysiert und sind zu dem Schluss gekommen, dass es systematisch und schwerwiegend gegen das Völkerrecht verstößt.

Wer stellt die Infrastruktur bereit?

netzpolitik.org: Wie sieht die zugrundeliegende technische Infrastruktur aus und wer stellt sie bereit?

Rainer Rehak: Der gesamte Datensatz zu Gaza umfasst schätzungsweise 13,6 Petabyte, also umgerechnet 13.600 Terabyte. Diese Datenmenge ist nicht einfach zu handhaben, besonders wenn man damit statistische Modelle trainieren möchte oder gar große Sprachmodelle, die ebenfalls erstellt werden. Die digitale Infrastruktur wird von Google und Amazon unter dem Projektnamen Nimbus bereitgestellt und kostet 1,2 Milliarden US-Dollar.

Die Integration der heterogenen Datenquellen macht Palantir. Microsoft, Cisco, Dell und Red Hat/IBM bieten zusätzliche IT-Dienstleistungen rund um die „kill-chain“ an. Dies zeigt die enorme Rolle, die der private Sektor bei der Integration und Nutzung von KI-Systemen in bewaffneten Konflikten spielt.

netzpolitik.org: Ihr analysiert, dass die beschriebenen Systeme des israelischen Militärs massive zivile Schäden verursachen und systematische Verstöße gegen das Völkerrecht darstellen. Was bedeutet hier „systematisch“?

Taylor Kate Woodcock: Im Völkerrecht gibt es drei Grundsätze für rechtmäßiges Verhalten im bewaffneten Konflikt:

1. Eine klare Unterscheidung zwischen rechtmäßigen Zielen (etwa Kämpfern, militanten Personen oder militärischen Objekten und Gebäuden) und Zivilisten, rechtmäßig ist nur der Angriff auf erstere.
2. Ständige Berücksichtigung und Einhaltung von Vorsichtsmaßnahmen, um Schäden an Zivilisten zu vermeiden oder zu minimieren.
3. Angriffe vermeiden, bei denen die zu erwartende Schädigung von Zivilisten im Vergleich zum erwarteten militärischen Vorteil des Angriffs unverhältnismäßig groß ist.

Bei der Analyse des Systems stellte sich heraus, dass zivile Schäden keine Ausnahme in Einzelfällen darstellen, die durch Fehler verursacht wurden, sondern das gesamte Design, die Einrichtung und die Konfiguration des Systems zwangsläufig zu der großen Menge an zivilen Schäden an Menschen und Infrastruktur führt, die wir dann in den Medien lesen und die auch von den Militärs selbst zugegeben werden. Zusammenfassend kann man sagen, dass zivile Schäden im System vorprogrammiert sind und sogar als Kernfunktion angesehen werden könnten.

Ein solches System verletzt alle drei Grundsätze in schwerwiegender und systematischer Weise. Zielsysteme, die auf diese Weise konzipiert sind, zeigen eine rücksichtslose Missachtung der Pflichten bei der Auswahl rechtmäßiger Ziele und beim Schutz von Zivilisten und lassen vermuten, dass dieses Leid automatisiert und willkürlich verursacht wird.

Wir können also nicht sagen, dass das KI-System „fehlerhaft“ arbeitet, sondern dass die Höhe der Schäden durch die bewusste Konfiguration und den Einsatz dieser Systeme tatsächlich vorhersehbar ist. Diese wiederholte Anwendung auf Tausende von Zielen während des Konflikts sowie die bewussten Entscheidungen bezüglich der Systemkonfiguration und ‑anwendung lassen darauf schließen, dass diese Schädigung systematisch ist und dass die Zielauswahlprozesse die durch das Völkerrecht geforderten Schutzmaßnahmen strukturell nicht ausreichend gewährleisten.

netzpolitik.org: Wenn die Verletzungen des humanitären Völkerrechts vorprogrammiert sind und eben keine Nebenwirkung, sondern eine Kernfunktion des Systems darstellen, ist die rechtmäßige Nutzung eines solchen Systems dann unmöglich? Oder könnte es angepasst werden?

Taylor Kate Woodcock: Lavender und die gesamte „kill-chain“ scheinen für „Massentötungen“ mit Bomben in dicht besiedelten Gebieten konzipiert zu sein. Nimmt man zivile Opfer und das Völkerrecht ernst, kann das System in seiner jetzigen Form, einschließlich der statistischen Bewertung, der willkürlichen Schwelle, der vordefinierten zivilen Schäden und weiterer Eigenschaften, die in unserem Artikel ausführlich beschrieben werden, nicht rechtmäßig eingesetzt werden.

Würden wir hypothetisch über eine Anpassung des Systems nachdenken, könnten wir beispielsweise verlangen, dass die Konfiguration für zivile Schäden auf den Wert 0 eingestellt wird, aber dann würde das System wahrscheinlich keine gültigen Ziele liefern, da Gaza ein urbanes Gebiet ist. Wir sind der Meinung, dass eine Anpassung dieses Systems an die Rechtsvorschriften praktisch unmöglich ist.

Rainer Rehak: Vor diesem Hintergrund ist es besonders beunruhigend, dass Lavender offenbar in Zusammenarbeit mit israelischen Universitäten entwickelt wurde, wie Maya Wind von der University of California es in ihrem Buch „Towers of Ivory and Steel“ beschrieben hat.

netzpolitik.org: Gibt es heute weitere bewaffnete Konflikte mit solch offenbar illegalem Einsatz von „KI“-Systemen zur Zielerfassung?

Taylor Kate Woodcock: Leider scheinen andere Fälle der Nutzung von KI-Systemen für gezielte Angriffe in verschiedenen aktuellen Konflikten, auch im Iran, unsere Erkenntnisse zu bestätigen. Dort sehen wir ebenfalls, dass der Einsatz von KI-Systemen die Zielauswahlprozesse so verändert, dass dies zu einer strukturellen Deformation der durch das Völkerrecht geforderten Schutzmaßnahmen führt. Dies zeigt sich beispielsweise an den Berichten über den Bombenangriff der Vereinigten Staaten auf die Schule in Minab im Iran, wo der Einsatz von KI-Zielsystemen die Probleme mit veralteten Informationen, mit menschlicher Überprüfung und dem Schutz von Zivilisten noch verschärfen kann.

Sofortige Stilllegung

netzpolitik.org: Was folgt aus eurer Lavender-Analyse?

Rainer Rehak: Nach unserem Dafürhalten sollten diese Systeme erstens sofort stillgelegt werden. Diese Forderung gilt auch für den Einsatz in Israel und im Libanon sowie möglicherweise auch für andere Akteure wie die Vereinigten Staaten. Zweitens brauchen wir definitiv mehr Transparenz in Bezug auf solche Systeme, insbesondere wenn sie auf Wahrscheinlichkeiten basieren.

Drittens dürfen solche Systeme nicht mehr exportiert werden, da dies eine gängige Praxis Israels ist, wie wir aus den Arbeiten des Journalisten Antony Loewenstein wissen. Viertens müssen wir über die saubere Sprache von „Präzisionsschlägen“ und „gezielten Tötungen“ hinausblicken und die materiellen Bedingungen und Auswirkungen vor Ort berücksichtigen.

Wer das nicht tut, fällt auf ein moralisches Ablenkungsmanöver herein und konzentriert sich auf die falschen Dinge. Denn Israel hat eine der technologisch am weitesten entwickelten Armeen der Welt und der Einsatz von Lavender und Co. mit all seinen Implikationen sollte als bewusstes Vorgehen betrachtet werden. Wenn man bedenkt, dass Gaza in dem, was eine Unabhängige Untersuchungskommission der Vereinten Nationen und viele relevante internationale Organisationen als Völkermord bezeichnen, dem Erdboden gleichgemacht wurde, ist Lavender zwar nur ein kleines Puzzleteilchen, aber möglicherweise ein typisches Beispiel für die Kriegsführung in Gaza.

netzpolitik.org: Euer Artikel schließt mit der Frage, ob solche systematischen Verstöße gegen das Völkerrecht als Kriegsverbrechen betrachtet werden sollten, die von Gerichten untersucht werden müssten. Wer könnte solche Verstöße vor Gericht bringen?

Taylor Kate Woodcock: Schwere Verstöße gegen das Völkerrecht können als Kriegsverbrechen vor internationalen Gerichten und Tribunalen, wie beispielsweise dem Internationalen Strafgerichtshof in Den Haag, oder von einzelnen Staaten, die eine sogenannte universelle Gerichtsbarkeit ausüben, verhandelt werden. Diese ermöglicht es ihnen, Verbrechen zu verfolgen, die so gravierend sind, dass sie als Verbrechen gegen die gesamte Menschheit gelten.

Derzeit hat der Internationale Strafgerichtshof einen Haftbefehl gegen den israelischen Ministerpräsidenten Benjamin Netanjahu erlassen, weil ihm vorgeworfen wird, Kriegsverbrechen begangen zu haben, nämlich die Anwendung von Hunger als Kriegswaffe und die vorsätzliche Durchführung von Angriffen gegen die Zivilbevölkerung sowie Verbrechen gegen die Menschlichkeit, wie Mord, Verfolgung und andere grausame Handlungen, die seit dem 8. Oktober 2023 und bis mindestens zum 20. Mai 2024 begangen worden sind. Wir sind der Ansicht, dass der Einsatz von KI in Gaza ein wesentlicher Bestandteil dieses gerichtlichen Falles sein sollte, der systematische und schwerwiegende Verstöße gegen das Völkerrecht belegt.

Neben der individuellen strafrechtlichen Verantwortung gibt es im internationalen Recht auch Rahmen für die Verantwortlichkeiten von Staaten, die durch den Internationalen Gerichtshof (IGH), ebenfalls in Den Haag, ausgeübt werden. Im Jahr 2023 hat Südafrika beim IGH eine Klage gegen Israel eingereicht, in der Israel der Verletzung der Genozid-Konvention beschuldigt wird.

Auch andere internationale Organisationen wie die UNO haben sich zum Völkermord geäußert, was zwar keine rechtlichen Schritte sind, aber dennoch die internationale Aufmerksamkeit auf Israels Vorgehen im Gazastreifen lenkt. Ein Beispiel hierfür ist der Bericht einer Untersuchungskommission der Vereinten Nationen, in dem Israel des Völkermords im Gazastreifen beschuldigt wird.

Neben diesen Verfahren, die nach einem Ereignis gegen rechtswidriges Verhalten vorgehen, hat das Völkerrecht auch eine wichtige präventive Funktion. Eine große Anzahl von Staaten versucht, Künstliche Intelligenz in ihre militärischen Fähigkeiten zu integrieren, und sollte dabei das Völkerrecht ernst nehmen. Auch wenn der Einsatz von Lavender durch die israelische Armee in Gaza in einem ganz bestimmten Kontext stattgefunden hat, so sollten andere Staaten und Aufsichtsbehörden dennoch die Vorgänge genau unter die Lupe nehmen, um zu erkennen, dass bei diesen Systemen viel mehr Vorsicht und Transparenz geboten sind, um den Verpflichtungen des Völkerrechts gerecht zu werden.

Rainer Rehak: Der Gaza-Konflikt wird wahrscheinlich nicht durch bessere und fortschrittlichere Waffensysteme gelöst, sondern nur durch politische Maßnahmen, durch Anerkennung der Realitäten und durch die Auseinandersetzung mit den Kernproblemen der illegalen Besetzung Palästinas und den Grundrechten aller Menschen. Wenn wir unsere Aufmerksamkeit nicht darauf richten, werden wir wahrscheinlich nur eine Veränderung der schrecklichen Kriegstechnologien beobachten. Das Völkerrecht ist aus den Lehren des Zweiten Weltkriegs entstanden, wir sollten daher seine Grundsätze unabhängig vom Akteur ernst nehmen.

netzpolitik.org: Vielen Dank für das Gespräch und eure Zeit!