De wereld bewapent zich. China voegt wekelijks twee kernbommen aan haar arsenaal toe en Rusland geeft inmiddels 7 procent van haar bruto nationaal product uit aan oorlogstuig. Niemand wil achterop raken in het ontwikkelen van de nieuwste wapens. In Poetins woorden: ‘Iedereen begrijpt dat de mogelijkheden van het gebruik van AI reusachtig zijn.’ In Gaza selecteert het Isra​​ëlische leger zijn doelwitten al door middel van AI. Is deze wapenwedloop naar steeds autonomere systemen nog te stoppen?

Elke Schwarz doet onderzoek naar autonome militaire systemen en maakt zich zorgen over hoe AI steeds meer toegepast wordt in oorlogsvoering. Als hoogleraar Politieke Theorie bij Queen Mary University in Londen schreef ze het boek Death Machines: The Ethics of Violent Technologies. Schwarz vertelt in de VPRO Tegenlicht aflevering Doden door AI: ‘Ik geloof niet in de bestaande mantra dat oorlog een softwarevraagstuk is. Als oorlogsvoering puur een kwestie van IT wordt, kan het ernstig mislopen.’

Oorlog dwingt de oorlogsvoerders tot een beslisproces over het juiste doelwit. Schwarz: ‘Voor lange tijd was het evident dat een mens controle moet hebben over de beslissing wie het doelwit is. Langzaamaan is die stellige houding veranderd in de verwachting dat een mens, ergens in het beslisproces, input geeft. Een subtiel verschil met grote consequenties’.

In Gaza is de afbreuk van menselijke inspraak al zichtbaar. Isra​​ël heeft gebruik gemaakt van AI-software om zijn slachtoffers in Gaza te selecteren. Deze software bood, onder de codenaam Lavender, een voortdurende stroom aan mogelijke slachtoffers. Schwarz: ‘Met Lavender was het aantal potentiële doelwitten zo hoog dat het onmogelijk werd om er een betekenisvolle beslissing over te maken’.

De Israëlische onderzoeksjournalist Yuval Abraham vertelde vorig jaar aan CNN hoe Lavender in de praktijk werkt: ‘Alle gebombardeerde huizen zijn geselecteerd door AI. De menselijke uitvoerders hebben soms slechts twintig seconden om hun beslissing te maken, waarin alleen werd gecheckt of het doelwit man of vrouw was.’ 

Grof gezegd betekent dit dat deze systemen quasi-autonoom opereren. De snelheid en schaal waarop de doelwitten goedgekeurd moeten worden, maken het onmogelijk om echt een afgewogen keuze te maken. De term doelwitfabriek wordt hiervoor gebruikt, waarmee technologie een toename in geweld helpt rechtvaardigen.

Een gangbaar tegenargument stelt dat het effect van een aanval hetzelfde is, ongeacht of deze wordt veroorzaakt door een tank of een autonoom wapensysteem. Dood is dood. Schwarz: ‘Toch maakt het een verschil. Wij beschikken namelijk over iets vreemds, genaamd menselijke waardigheid. Als een ander mens de keuze maakt om jouw leven te beëindigen, doet hij dat met de kennis van wat een leven waard is. Voor een machine is dat onmogelijk, die kan dat niet begrijpen. Zodra de waarde van een mensenleven getrivialiseerd wordt, opent een deur naar het normaliseren van meer geweld.’

Dit is waarom Elke Schwarz de onzichtbare systemen achter moordmachines enger vindt dan de Terminator-achtige robots die we kennen uit films. De achterliggende systemen die wapens vanaf een afstand aansturen, beslissen niet alleen over het volgende slachtoffer, maar verzamelen ook allerlei data. 

De dodelijke drones die we steeds vaker zien als oorlogswapens zijn volgens Schwarz maar het puntje van de ijsberg: ‘Als we zo doorgaan, worden datacentra de nieuwe slachtvelden, waar computers beslissen over leven en dood. Steeds meer soldaten kijken dag in dag uit naar schermen.’

Het dilemma van defensie is dat als je buurland wapens inslaat, je uit vrees je eigen wapenvoorraad verder gaat aanvullen en in een wapenwedloop terecht komt. Schwarz: ‘Op deze manier creëer je een basis van wantrouwen, waarbij het gevecht snel escaleert. Hoewel oorlogvoeren vanachter een scherm financiële voordelen heeft, zorgt deze verandering er ook voor dat het makkelijker is om aan te vallen. Geweld wordt met behulp van technologie een steeds toegankelijkere keuze.’

Daarbij hoorde Schwarz verontrustende geruchten op een recente juridische conferentie. ‘Advocaten zijn al aan de zoektocht begonnen naar manieren om meer burgerslachtoffers in toekomstige oorlogen te rechtvaardigen. Dat is een angstaanjagend vooruitzicht.’

Wetgeving tegen (quasi-)autonome wapens zou een belangrijke vooruitgang zijn. Schwarz: ‘Ik vrees een dystopische uitweg waarin iets heel ergs gaat gebeuren dat een impuls zal geven aan de nodige dialoog. Tegelijkertijd hebben we de omvang van de verwoesting in Gaza gezien en hoeveel levens daar zijn verloren. Dat lijkt nog niemand zodanig te hebben geschokt om het wapensysteem achter het leed te bevragen.’