Im „Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung“ (FIfF e.V.) engagieren sich Fachleute aus der Informatik seit über 40 Jahren für Abrüstung in militärischen Anwendungen. Zuletzt forderte das FIfF e.V. gemeinsam mit, „AK gegen bewaffnete Drohnen“ sowie der „Informationsstelle Militarisierung“ in einem Positionspapier, das System „Lavender“ der israelischen Streitkräfte und andere KI-basierte Waffensysteme sollten als Kriegsverbrechen eingestuft werden.
netzpolitik.org: Wieso habt ihr euch dafür entschieden, das Positionspapier zu schreiben?
Rainer Rehak: In der Diskussion um aktuelle Kriege werden sehr viele politische, militärische, soziale, wirtschaftliche und menschenrechtliche Fragen verhandelt. Insbesondere bei den aktuell von Israel ausgehenden Angriffen mit KI-basierten Waffensystemen gibt es aber wenige Stimmen, die kompetent sowohl die Technik verstehen als auch die gesellschaftliche Einbettung nachvollziehen können.
Da wir uns in Arbeitsgruppen schon lange mit bewaffneten Drohnen, automatischen, automatisierten und autonomen Waffensystemen beschäftigen, haben wir gemerkt, dass wir uns dazu äußern müssen. Unser Vereinsmitglied Christian Heck steckt sehr tief in dem Thema drin. Er machte den Anfang und hat uns dann alle reingeholt.
„Wir haben eine ganz klare politische Forderung“
netzpolitik.org: Wen möchtet ihr mit dem Positionspapier erreichen?
Rainer Rehak: Zum einen die Zielgruppe der interessierten Öffentlichkeit. Wir wollen den Leser:innen einen differenzierteren Blick auf die Diskussion ermöglichen. Wenn von „Targeted Killing“, also gezielter Tötung oder KI gesprochen wird, klingt das oft positiv. Genauso wie die älteren Begriffe „Smart Bombs“ oder „Präzisionswaffen“. Die klingen klinisch sauber und schön. Deshalb wollten wir einordnen, was technisch dahintersteckt. Außerdem versuchen wir, die Entwicklungen in Beziehung zum historischen Kontext zu verstehen.
Zum anderen richten wir uns explizit an die Politik. Wir haben eine ganz klare politische Forderung: Die Nutzung von solchen KI-Systemen muss als Kriegsverbrechen eingestuft werden.
netzpolitik.org: Habt ihr noch weitere Forderungen, explizit an die Bundesregierung?
Rainer Rehak: Der Einsatz autonomer und bewaffneter Drohnen sollte insgesamt politisch geächtet werden. Unser Ziel ist es darauf hinzuarbeiten, dass sie völkerrechtlich genauso behandelt werden wie ABC-Waffen. Uns ist klar, dass bewaffnete Drohnen schon lange in der Welt sind. Das macht sie aber nicht richtiger. Bei autonomen Drohnen haben wir gemerkt, dass das ein besonders schwieriger Prozess ist. Es treten schon bei der Definition Probleme auf, was autonome Drohnen sind und was sie von normalen Drohnen unterscheidet.
netzpolitik.org: Um ein Ziel mit einer herkömmlichen bewaffneten Drohne anzugreifen, braucht es immer noch Menschen. Sie sind im Prozess eingebunden, wenn auch mit großer räumlicher Distanz. Bei autonomen Systemen ist das anders. Warum sollten Menschen die Entscheidungen treffen?
Rainer Rehak: Sobald gehandelt wird, muss auch irgendwer verantwortlich sein. Das trifft sowohl dann zu, wenn es schief läuft, als auch, wenn etwas richtig läuft. Wenn mit Waffen Menschen getötet werden, dann müssen sich Menschen dafür verantworten, dass sie das gemacht oder sich dafür entschieden haben.
„Ein Prozess von Verantwortungsdiffusion bei gleichzeitig zunehmender Technisierung und Komplexität“
netzpolitik.org: Ist das bei Systemen wie „Lavender“ der Fall?
Rainer Rehak: Bei diesen automatisierten Systemen, mit denen wir es jetzt zum Beispiel mit „Lavender“ zu tun haben, findet eine automatische Zielselektion statt. Trotzdem ist jemand verantwortlich. Es sind die, die gesagt haben: Wir benutzen dieses System, wir kennen alle Eigenschaften, wir machen das. Da liegt die Verantwortung nicht mehr allein bei den einzelnen Soldatinnen und Soldaten, die das auf dem Schlachtfeld einsetzen. Auch diejenigen in den Hierarchieebenen weiter oben, die Strategien entwickeln oder die politischen Ziele vorgeben, tragen Verantwortung. Es wird immer leichter, die Verantwortung an viele Stellen zu legen. Dieser Effekt wird leider auch strategisch ausgenutzt. Wir sprechen über einen Prozess von Verantwortungsdiffusion bei gleichzeitig zunehmender Technisierung und Komplexität.
Es gibt noch einen zweiten Aspekt, den finde ich persönlich sehr relevant: Diese automatisierten Systeme sind ja eben keine „Präzisionswaffen“. Das zeigt auch die investigative Recherche des Journalisten Yuval Abraham. Stichproben hätten gezeigt, dass „Lavender“ in zehn Prozent der Fälle gar keine legitimen Ziele markierte. Selbst bei den Zielen, die sogenannte „legitime Ziele“ waren, genehmigte das israelische Militär, dass für jeden mutmaßlichen Hamas-Kämpfer fünf bis 20 Zivilist:innen getötet werden können.
Diese Automatisierung sorgt eben nicht dafür, dass die Waffen genauer werden, sondern dass man sie schneller und breiter einsetzen kann. Außerdem sorgt die Maschinisierung dafür, dass es einen Skalierungs-Effekt gibt, der verheerende Folgen hat.
„Wir drehen mal an ein paar Parametern und machen einfach den Fokus ungenauer.“
netzpolitik.org: Könntest du den Skalierungs-Effekt näher erklären?
Rainer Rehak: Vorher war es so, dass die israelische Führung und dann auch die israelischen Streitkräfte menschlich betriebene Zielgenerierungssysteme einsetzten. Damit konnten sie meines Wissens nach pro Tag „nur“ im einstelligen Bereich Ziele erzeugen. Diese wurden dann angegriffen, entweder vom Boden aus oder sie wurden bombardiert. In jüngerer Zeit hat die IDF angefangen, die informationsbasierten Systeme einzusetzen, um Ziele zu generieren. Jetzt konnten sie pro Tag tausende solcher Ziele errechnen und diese dann auch angreifen.
Bei „Lavender“ war es manchmal sogar so, dass sie alle aktuellen Ziele, die das System ausgespuckt hatte, angegriffen hatten, aber, salopp gesagt, trotzdem noch Bomben für den Tag übrig hatten. Deshalb sollen sie sich dafür entschieden haben, die sowieso schon geringen Genauigkeitsanforderungen noch weiter herunterzusetzen. Sie haben also an ein paar Parametern gedreht und den Fokus ungenauer gemacht, dann produziert das System weitere Ziele. Diese Möglichkeiten sind ein Beispiel für Skalierungs-Effekte.
Als Mensch würde man vielleicht auf die Karte gucken und zufällig auf Häuser zeigen. Das wäre eindeutig Willkür und ganz furchtbare Kriegspraktik. Wenn es aber eine Maschine macht, bekommt das so eine Art „Goldstaub des Gezielten“. Das stimmt aber nicht und das wissen diejenigen, die es einsetzen, auch genau. Trotzdem benutzen sie es so.
netzpolitik.org: Die Armee argumentiert damit, dass es sich um gezielte Tötungen handele. Auf der anderen Seite sind mir keine Zahlen oder Beweise dafür bekannt, dass dadurch tatsächlich Menschenleben gerettet werden konnten. Ist dir in der Debatte schon einmal aufgefallen, dass eine „gezielte Tötung“ mit Fakten belegt werden konnte?
Rainer Rehak: Eine Schwierigkeit besteht darin, an unabhängige Informationen heranzukommen. Drohnenangriffe und Bombardierungen werden in einem Krieg meist von der technologisch stärkeren Partei eingesetzt. Das haben wir gesehen beim „War on Terror“ unter Obama, bei den Drohnenangriffen in Afghanistan oder in Waziristan, einer Region in Pakistan. Erst Whistleblower wie zum Beispiel Daniel Hale oder auch Journalisten wie Julian Assange konnten aufdecken, dass öffentliche Informationen des Militärs nicht richtig sind. Man ist gewissermaßen auf einen Zufall angewiesen, wenn es um Einblicke geht, wie gut oder schlecht diese Art von Waffen funktionieren. Das macht die Evaluation extrem schwer.
Aber nach all dem, was wir bisher wissen, sind diese Waffen wahnsinnig ungenau. Wir sehen riesengroße Fehlerraten und zusätzlich noch sogenannte Kollateralschäden, das heißt getötete Menschen, die aber gar keine Ziele waren. Diese Waffen sind unpräzise und haben verheerende Folgen. Das äußert sich in den entsprechenden Todesraten, die wir bei dieser Art der Kriegsführung Israels sehen. Die Mehrheit der gesamten 35.000 Kriegsopfer sind bislang Frauen und Kinder.
Das liegt auch an einem automatisierten Lavender-Teilsystem, das feststellen soll, wann die Zielpersonen jeweils zu Hause bei ihren Familien angekommen waren, sodass deren Wohnungen und somit auch Familien bombardiert werden konnten. Dieses Zielsystem hat übrigens den internen Namen: „Where’s Daddy?“. Das führt uns dahin zu sagen: Diese Art von Waffen, das sind Kriegsverbrechen.
netzpolitik.org: Staaten setzen solche Systeme bereits länger ein. Was ist an Systemen wie „Lavender“ neu?
Rainer Rehak: Die KI-Systeme, die jetzt zum Einsatz kommen, sind ein Nachfahre der sogenannten „Signature Strikes“. Dabei tötete man mutmaßlich militante Personen basierend auf Kommunikations-Metadaten. Das sind einfach gesagt Informationen dazu, wer, wo mit wem kommuniziert. Solche Daten spielten bei den Kampfeinsätzen des US-Militärs in Afghanistan eine maßgebliche Rolle.
Die Herangehensweise hat sich bis heute im Prinzip nicht geändert: Man toleriert Ungenauigkeiten einfach, vielleicht ist es durch KI sogar noch schlimmer geworden.
„Wenn etwas ans Licht kommt, werden nicht die bestraft, die die Systeme einsetzen“
netzpolitik.org: Automatisierte Systeme markieren die Ziele anhand der vorhandenen Daten. Dabei soll etwa bei „Lavender“ auch maschinelles Lernen zum Einsatz kommen. Gibt es Erkenntnisse dazu, welche Art und welche Menge von Daten benutzt wird?
Rainer Rehak: Soweit wir das wissen, werden etliche Kommunikationsdaten, Bewegungsdaten, Satellitendaten bis hin zu Kartendaten und Zahlungsdaten genutzt, derer man habhaft werden kann. Datenanalyse-Unternehmen wie Palantir Technologies Inc. helfen dabei. Die USA haben mit dieser informationsbasierten Zielanalyse damals nach dem Terrorangriff vom 11. September begonnen.
Gaza ist in der Hinsicht besonders, weil das ganze Umfeld direkt von Israel kontrolliert wird. Das heißt es geht auch um Informationen, wer oder welche Güter wann rein und wieder herausgehen.
Auch der Begriff des „gläsernen Gefechtsfelds“, den die Bundeswehr nutzt, verdeutlicht, wie alles Wissen, alle Daten verwendet werden sollen, um dann die Analysesysteme auf sie anzusetzen und zu sagen: Jetzt wollen wir mal errechnen, wer die Terroristen sind.
netzpolitik.org: Glaubst du, dass bei den Vereinten Nationen in der Diskussionen um autonome Waffensysteme noch etwas zu erreichen ist?
Rainer Rehak: Aktuell gibt es viel Widerstand, insbesondere von den Staaten, die an den Waffen arbeiten oder planen sie einzusetzen. Als China einmal gesagt hat, dass sie dafür seien, autonome Waffensysteme zu verbieten und eine Definition vorlegte, wäre darunter keins der Waffensysteme gefallen, über die wir jetzt reden. Das hilft bei der praktischen Umsetzung eines Verbots natürlich nicht weiter. Mein Eindruck ist daher, dass das länger dauern wird. Vielleicht mehr als zehn Jahre, vielleicht dauert es bis zu 20 oder dreißig Jahre. Das war bei den ABC-Waffen aber auch der Fall. Am Anfang wurde gesagt, das werden wir nie schaffen. Deshalb ist es aus meiner Sicht trotzdem wichtig, dass Deutschland und die EU mit anderen Partnerstaaten zusammen auf eine Ächtung als Kriegsverbrechen hinwirkt.
netzpolitik.org: Was muss passieren, damit der Einsatz von KI-basierten Waffensystemen in die Reihe der Verstöße gegen das humanitäre Völkerrecht aufgenommen wird?
„Was passiert, wenn wir uns dafür entscheiden diesen Weg weiterzugehen?“
Rainer Rehak: Wir brauchen eine viel größere Diskussion über die konkreten Systeme. Wir müssen anfangen die Faktenlage zusammenzutragen, so wie wir es mit unserem Papier versuchen. Erst dann können Leser:innen überhaupt merken, dass es kritikwürdig ist und dass wir noch gar nicht genug wissen. Ernstzunehmender Journalismus, der über diese Thematik auch technisch versiert berichtet, kommt bis heute eher selten vor. Außerdem sollten wir eine gesellschaftliche Debatte führen, die sich damit beschäftigt, wie sich Kriegsführung entwickelt. Eine Frage, die wir uns stellen: Was passiert, wenn wir als Welt uns dafür entscheiden, diesen Weg weiterzugehen?
netzpolitik.org: Gibt es etwas, das du den Leser:innen darüber hinaus noch gerne mitgeben würdest?
Rainer Rehak: Wir müssen uns daran erinnern, dass diese KI-Systeme immer ungenau sind. Wenn mal ein Fehler passiert und ich den falschen Film empfohlen bekomme oder ein Lied, das mir nicht gefällt, dann ist das nicht so problematisch. KI-Systeme für wirklich kritische Infrastruktur oder Waffensysteme einzusetzen, ist aber wahnsinnig.
Wie auch der kritische Informatiker Joseph Weizenbaum immer sagte: Da muss man der Versuchung widerstehen. Wir müssen eine innere Stärke aufbauen und uns die Frage stellen: Worum geht es eigentlich? Wollen wir Milliarden in diese Technik stecken oder lieber in langfristige Friedensbemühungen, in soziale Infrastrukturen.
Wir dürfen uns nicht von den Verheißungen über KI-basierte Systeme verzaubern lassen, insbesondere nicht von denjenigen, die sie gerne verkaufen oder nutzen möchten.
Ein furchtbares Problem mit katastrophalen Folgen. Vielen Dank für deinen Einsatz, Rainer!
Etwas unpassend und unabhängig von deiner konkreten Person, aber: Ich freue mich, dass die Generationen mit Festivalbändchen inzwischen mehr und mehr in Positionen kommen, in denen sie etwas verändern können.
Vielleicht bin ich zu blauäugig und ein ’81er Hippie, falls es sowas gibt, aber ich glaube, wer einmal ein wirklich schönes Festival erlebt hat, kann nicht für automatische/autonome Waffensysteme oder Drohnen sein.
Netter Artikel, viel Zustimmung. Aber erneut wird bei Opfern dieses Feldzuges zwischen den binären Geschlechtern unterschieden. „Die Mehrheit der 37.000 Opfer waren Frauen und Kinder.“
Es gibt weitere Geschlechter und es sollte keine Wertigkeit zwischen den Geschlechtern erfolgen.
Das ist generell ein sehr guter Punkt. Hier ist diese binäre Unterscheidung deshalb relevant, weil die IDF selbst einen „male/female-Check“ als primären Zielmarker nutzt. Details findest Du im verlinkten Abrahams-Artikel. Viele Grüße
Ich verstehe nicht woher überhaupt die Zahl kommt. In dem verlinkten Artikel war davon die Rede, dass 37000 Leute bei einer Zielgenerierung als Ziele markiert wurden. Da steht nichts davon dass es 37.000 Opfer gab. Entweder ist das ein Fehler oder eine bewusste Falschübersetzung
Vielen Dank für den Hinweis, wir haben den Fehler im Text korrigiert. Richtig ist, dass die Mehrheit der 35.000 Kriegsopfer bislang Frauen und Kinder sind. Viele Grüße
Ganz herzlichen Dank für dieses Interview! Das oben verlinkte „Positionspapier“ enthält eine ausgezeichnete Zusammenfassung der eingesetzten Systeme.
Ich habe den Eindruck, dass der/die menschlichen Entscheider in diesem weitgehend automatisierten Prozess als „Alibi“-Controller zu verstehen sind. Sie dienen dazu, vielleicht ganz offensichtliche Fehler und damit negative Publicity zu vermeiden, aber vor allem sollen sie dem erwartbaren Vorwurf der vollständigen Automatisierung vorbeugen. In der Praxis sieht das dann so aus, dass weniger als 30 Sekunden für eine – ethische? – Beurteilung bleibt. Blick auf den Bildschirm und klick! Leben oder Tod.
Dabei wird ein Abwägung getroffen zwischen der Bedeutung der Zielperson und der möglichen Anzahl weiterer Opfer. Je nach Rang und Bedeutung ist ein „collateral damage“ von 15 und mehr Personen „akzeptabel“.
Es versteht sich von selbst, dass dies ein „Job“ ist, der mentale, psychische Belastung verursacht. Die notwendige und auch einsetzende Selbstregulation führt dann zu Abstumpfung, Zynismus und Rechtfertigungskrücken wie „selbst schuld, dass sie [die Unbeteiligten] sich in seiner Nähe aufhalten!“
Die Probleme sind ja möglicherweise vorhanden, möglicherweise aber auch nicht so, wie beschrieben. Die Amerikaner z.B. haben auch automatisierte Counter-Artillery mit Mörsern u.a., Taliban z.B. dürften das wissen.
Denn das entscheidende ist der Wille, so oder so zu bomben (zu lassen), und wem man wobei vielleicht eine freiere Hand lässt. Daher schmeißen die so viele Bomben hin. Ich will weder so ein noch dieses noch die Benutzung dieses Systems anpreisen, dennoch ist der Sinn offiziell und technisch plausibel wohl erst mal, legitime Ziele auszumachen. U.a. um schnell gucken zu können, wo Raketen abgeschossen werden.
Soll es nicht legitim sein, da dann eine Präzisionsmörsergranate o.ä. reinzuschießen?
Was ist denn bitte das Konzept für Israel für mit weniger Töten? Ungeduld? Konzeptlosigkeit? Unlösungen aus innenpolitischen Gründen?
Klar wird die Hemmschwelle geringer, wenn KI irgendwie schon alles serviert, aber besteht der Zusammenhang zwischen der eklatanten Zerstörung und diesem System in der Weise wirklich? Das ist nicht klar. Bisher hatte die IDF allerlei Protokolle und Maßnahmen, um z.B. Zivilisten zu schützen. Ob die nach solchen Attacken dann ausgesetzt werden o.ä. ist eine Frage, aber die muss eben beantwortet werden. Wo ist was der Fall. In der Gesamtschau wäre ein sofortiges Ende schön, mit aktiver Hamas und unkontrollierter Grenze nach Ägypten nur leider nicht machbar.
„mit aktiver Hamas und unkontrollierter Grenze nach Ägypten nur leider nicht machbar.“
Educated guess, also eher wie „voraussichtlich wohl“ oder „wahrscheinlich“. Dabei soll nicht die sinnvollste Reihenfolge suggeriert werden (UN boots on the ground, IDF riegelt ab, Waffenstillstand, Zonenbildung, etc.p.p.).
>>> Dieses Zielsystem hat übrigens den internen Namen: „Where’s Daddy?“. Das führt uns dahin zu sagen: Diese Art von Waffen, das sind Kriegsverbrechen.
Nee, sorry. Keine Waffe, sondern wie korrekt beschrieben, ein Teilsystem. Tatsächlich eine nachrichtendienstliche Komponente. Wie sie eingesetzt wird, ist eine andere Frage. Digitalisierung wird jetzt sicherlich nicht geächtet, oder wie war das? Oder wie viele?
Bleibt die Frage, ob das Verhalten, sofern es denn zutrifft, Kombattanten (erst) bei der Familie zu bekämpfen, ein Kriegsverbrechen darstellt. Das mag sein. Faktenlage wäre gut. Vorstellbar ist, dass viele die Taktiv fahren „Erst Schießen, dann schnell zurück zur Familie“. Da ist schon diskutierbar, wann genau man Kombattanten (im urbanen Umfeld) denn nun töten darf. Eine Granate o.ä. auf eine Familie (auch mit Kombattanten) ist wohl kaum als Verhältnismäßig einzuschätzen. Meiner Meinung nach wäre es sinnvoller, jeden Abschussplatz zu pulverisieren, möglichst zeitnah, ohne Rücksicht auf Kindergärten und dort vorhandene Zivilisten (spezifisch in diesem Konflikt). Langfristig ähnliches Ergebnis bzgl. der Skyline, vermutlich weniger zivile Tote. Vor allem wäre das eine langfristige Strategie, dieses auszubauen und Sekundenmaßstab zu erreichen, falls man wieder von Ausbomben zu Eindämmung wechselt. Parameter ins nichts zu manipulieren, wo ein System dann irgendwas liefert, wäre typisch für das Managerproblem, d.h. dass man „Ergebnisse sehen will“, und alles so hingebogen wird, dass irgendwas bei rauskommt. Geschieht das aus Unkenntnis über das System? Oder ist der eigentliche Auftrag, eine Wüste zu hinterlassen? [Und was bedeutet das für die Interpretation von KI u.a.?]
„Erst Schießen, dann schnell zurück zur Familie“
In diesem Kontext sollte man bei einem einzelnen Interview nicht die Auflösung aller Fragen erwarten. Es lehnen sich auch mal Menschen aus dem Fenster. Oder einer lässt sich zu einem „dummen Scherz“ hinreißen. Oder Ungenauigkeit, da man z.b. in den meißten Fällen, oder grundsätzlich dann zugreift, wenn die Person z.B. isoliert ist, mit gewissem Risiko für Kollateralschäden. Hier gilt ganz klar, mehrere Standbeine einzuholen. Bei Kombattanten ist allerdings auch so eine Sache, ob „bei Familie“ gegebüber „im Krankenhaus“ wirklich den gewünschten Unterschied ausmacht. Mißbraucht eine Seite den Status eines Krankenhauses militärisch, kann dieses zu einem legetimen Ziel werden. Vermutlich kann man das nicht analog für die Familie machen, allerdings könnte die aufgewandte „Diligenz“ hinreichen, wenn es statistisch hinkommt, dass da aufgepasst wird. Die Menge an Toten ist entweder Fake (vermutlich nicht), oder hier wurde eher deliberat herumgebombt (passt zum flächigen Gebäudeschaden). Das wäre allerdings eine andere Sache, es sei denn dann käme immer gleich ein JDAM drauf, nach dem Prinzip „1 Kämpfer 1 Häuserblock“ +-.
Statistisch nicht zu viele Tote, ist meiner Meinung nach allerdings eine Sackgasse. Wir wollen keine Big-Tech-Herrschaft, wo „statistisch nicht zu viele Tote“ passieren, aber die Unternehmen auswählen, wer und wann und wie.
Widerspruch: nicht allgemein Nutzung, sondern vielleicht diese spezifische Form der Nutzung, sofern dies und das wirklich zutrifft (…). Sonst eben Nachrichtendienste verbieten.
Die Aufgaben verschwimmen natürlich, wenn eine Drohne vor Ort ein Lagebild und Ziele verschafft. Allerdings werden immer mehr Daten von verschiedenen Systemen inklusive Soldaten vor Ort einbezogen. Durch das Digitale eben immer weiter richtung Echtzeit und „Integration“, also im Grunde in die Nähe der autonomen Funktion. Ein weiteres Extrem ist die Kampfdrohne, die auch noch autonome Zielfindungsfunktionen hat, wobei das sicherlich eher im Rechenzentrum bzw. in irgendwelchen Racks im Feld passiert, was die Armee Israels betrifft. Welche Sicherheit für Zivilisten implementiert wird, ist hier wichtig, nicht so sehr dass beim „Hingucken“ KI zum Einsatz kommt.
D.h. wir kommen zur Frage, welche Kriterien und Kategorien wir hier überhaupt zur Einschätzung schaffen wollen. Irgendwie KI in the loop and the human isn’t paying attention… reicht mir da nicht. Das wäre Bingo, im Sinne von „irgendwie unscharfe Gebäude“.