Czy autonomiczna broń może zagrozić człowiekowi? Pamiętacie historię z filmu Terminator?

Na początek zacznijmy od istotnego rozróżnienia pomiędzy bronią automatyczną a autonomiczną. Za jedną z najstarszych automatycznie wyzwalanych śmiercionośnych broni, można uznać miny lądowe, używane co najmniej od XVII w. Mina przeciwpiechotna, automatyczny środek walki zbrojnej zakazany na mocy traktatu ottawskiego, ratyfikowanego przez 164 kraje świata, nie jest w żadnym razie autonomiczna. Automatyzm zabijania nie ma nic wspólnego z autonomią. Istotną różnicą jest tu zdolność wyboru celu. Zgodnie z definicją amerykańskiego Departamentu Obrony, systemy LAW (Lethal Autonomous Weapons), czyli śmiercionośne bronie autonomicznie to systemy uzbrojenia, które po aktywacji mogą wybierać i atakować cele bez dalszej ingerencji człowieka. Łatwo dostrzec różnicę. Mina przeciwpiechotna czy jakakolwiek inna, choć działa automatycznie, nie wyszukuje i nie wybiera celu, to rodzaj śmiertelnej pułapki. To właśnie zdolność do oceny sytuacji i podjęcie decyzji mającej śmiertelne konsekwencje dla celu stanowi podstawową różnicę pomiędzy automatycznie działającymi środkami rażenia a bronią autonomiczną.

Człowiek bywa omylny, to prawda. Algorytmy potrafią działać bardzo szybko, a szybkość podjęcia decyzji może być kluczowa dla osiągnięcia militarnego celu. Czy to jednak oznacza, że powinniśmy oddać algorytmom moc podejmowania decyzji o życiu lub śmierci ludzi? Problemem jest pewna nieprzewidywalność algorytmów sztucznej inteligencji, która w kontekście systemów uzbrojenia ma w oczach wojskowych dodatkowy walor poprawiający ich skuteczność w warunkach bojowych. W końcu broń, której zachowanie da się łatwo przewidzieć, może być stosunkowo łatwo zneutralizowana. Zupełnie inaczej jest, gdy do gry wejdzie pierwiastek nieprzewidywalności będący immanentną cechą algorytmów wykształconych metodą głębokiego uczenia maszynowego i korzystających ze złożonych sieci neuronowych.

Odpowiedź na pytanie “kto decyduje: człowiek czy maszyna?” z punktu widzenia etyki i moralności jest oczywista. Zawsze człowiek powinien być tym, który podejmie ostateczną decyzję co do życia lub śmierci wroga na polu walki. Scedowanie ciężaru podjęcia decyzji na algorytmy de facto oznacza utratę kontroli nad ich działaniem, które opakowane w śmiercionośną broń stają się prawdziwym zagrożeniem.

Nienaprawialne błędy

29 sierpnia 2021 r. unoszący się nad Kabulem, stolicą Afganistanu, amerykański dron MQ-9 Reaper wystrzelił jeden z ostatnich pocisków w trwającym niemal 20 lat konflikcie. Zdaniem Pentagonu celem miał być samochód wypakowany materiałami wybuchowymi. Według informacji wywiadowczych tak uzbrojony pojazd miał być później skierowany do ataku na lotnisko w Kabulu, na którym trwała chaotyczna ewakuacja sił amerykańskich. Gdyby te informacje okazały się prawdą, tak przeprowadzony autonomiczny atak oznaczałby uratowanie olbrzymiej liczby ludzi, którzy wówczas okupowali lotnisko w stolicy Afganistanu. Jednak gdzieś popełniono błąd.

Ofiarą autonomicznego nalotu drona MQ-9 Reaper okazał się Zemari Ahmadi wraz z dziewięcioma członkami swojej rodziny. Ahmadi nie był terrorystą, w jego busie nie było żadnych bomb, granatów czy jakichkolwiek innych ładunków wybuchowych, a kanistry, które uznano za bomby, były wypełnione wodą. Byli za to jego najbliżsi, w tym dzieci. Sam Ahmadi był pracownikiem instytucji charytatywnej ze Stanów Zjednoczonych. Śledztwo w tej sprawie stanowiło książkowy wręcz przykład efektu potwierdzenia, powszechnie istniejącego błędu poznawczego, polegającego na tendencyjnym wybieraniu tych faktów, które pasują do wcześniejszej, wywiadowczej hipotezy.

Szacuje się, że w trakcie samego tylko konfliktu w Afganistanie takich pomyłek było znacznie więcej i zabójcze systemy broni autonomicznej uśmierciły wiele niewinnych ofiar tej wojny. To błędy, których naprawić się nie da. Życia niewinnym nic nie przywróci, jak to w ogóle możliwe, że wysoce wyspecjalizowane algorytmy zawiodły?

Wyjaśnia to Sarah Kreps, profesor wydziału Department of Government, adiunkt prawa na Uniwersytecie Cornella. Profesor Kreps w wypowiedzi dla kanału Vice News stwierdza wprost:

Innymi słowy, decyzje podejmowane są bardziej pochopnie, gdy w grę nie wchodzi życie własnych żołnierzy.

Organizacja Future of Life Institute zajmująca się działaniem na rzecz ograniczenia globalnych, katastrofalnych i egzystencjalnych zagrożeń dla ludzkości związanych z zaawansowaną sztuczną inteligencją, zwraca uwagę na powszechny brak zrozumienia istoty problemu. Na tyle poważny, że graniczący z ignorancją. Wiele osób sądzi, że kwestia autonomicznej, śmiercionośnej broni to science-fiction i problem przyszłości. Eksperci Future of Life Institute są zgodni: to problem dzisiejszy.

Dowodzi tego również opublikowany w marcu 2021 r. przez Organizację Narodów Zjednoczonych raport stanowiący pierwsze, udokumentowane użycie śmiercionośnej broni autonomicznej w 2020 r. Jak myślicie, gdzie została użyta? Afganistan? Irak? Syria? Nic z tych rzeczy, system tego typu, a dokładniej turecki mały dron-kamikaze Kargu 2, został użyty podczas wojny domowej w Libii. Dron ten samodzielnie wytropił i zaatakował ludzki cel. Skąd tak zaawansowana broń znalazła się w targanym wojną domową północnoafrykańskim kraju? W ten sposób dochodzimy do kolejnego problemu zwiększającego zagrożenie.

Proliferacja i niski próg dostępu

Wszyscy intuicyjnie obawiamy się rozprzestrzenienia się broni jądrowej, ale mało kto martwi się rozprzestrzenianiem się autonomicznych systemów uzbrojenia. Stany Zjednoczone już od lat nie mają monopolu na systemy autonomiczne w militariach, czego doskonałym przykładem jest choćby znana dzięki dokonaniom w Ukrainie turecka konstrukcja: dron Bayraktar TB2. Autonomiczne systemy uzbrojenia projektuje dziś i produkuje wiele innych państw, takich jak choćby Chiny, Turcja czy Izrael. Niewielkie, ale potencjalnie zabójcze drony nie podlegają międzynarodowej kontroli w stopniu choćby minimalnie podobnym, do tego sposobów kontrolowania arsenałów broni masowego rażenia.

Zdaniem Międzynarodowego Komitetu Czerwonego Krzyża (ICRC – International Committe of the Red Cross) zabójcze drony to broń niezwykle tania w masowej produkcji, bezpieczna w transporcie i jednocześnie trudna do wykrycia. Odpowiedź na pytanie, kiedy takie rozwiązania pojawią się na czarnym rynku, jest tylko kwestią czasu. Taka broń w rękach terrorystów, dyktatorów gnębiących własny kraj czy watażków pragnących dokonać czystki etnicznej to olbrzymie zagrożenie.

Konsekwencją potencjalnej łatwości zdobycia autonomicznych systemów uzbrojenia są także obniżone bariery konfliktu. Gdy wojna wymaga wysłania na nią własnych żołnierzy, zwykle zwaśnione strony najpierw próbują stosować dyplomację, bo tradycyjny konflikt oznacza ogromne koszty. Jak zwracają uwagę eksperci z ICRC, autonomiczne systemy uzbrojenia znacznie obniżają bariery startu potencjalnego konfliktu, zwiększając ryzyko wybuchu wojny. Warto zaznaczyć, ICRC nie zaleca zakazu wszelkich wojskowych zastosowań sztucznej inteligencji, a jedynie określonych rodzajów broni autonomicznej, szczególnie takiej, której celem są ludzie. Z drugiej strony korzystanie z AI może przynieść korzyści w sytuacji, gdy algorytmy stanowią sedno np. zaawansowanego systemu obrony przeciwrakietowej.

Systemy autonomicznego uzbrojenia

Przyjrzyjmy się kilku przykładom istniejących już dziś systemów uzbrojenia, które są zdolne do autonomicznego działania, czyli samodzielnego wyboru celu i skutecznego jego zniszczenia. Zacznijmy od systemów obronnych.

Phalanx CIWS

Powstały już w latach 70. XX w. autonomiczny system artyleryjski przeznaczony do niszczenia celów na bardzo krótkich dystansach, stanowi najczęściej ostatnią linię obrony wielu okrętów bojowych. System ten składa się z baterii działek Gatling M61 Vulcan kaliber 20 mm naprowadzanych radarowo. Radar automatycznie wyszukuje i śledzi potencjalne cele, którymi mogą być zbliżające się pociski artyleryjskie, rakiety przeciwokrętowe, drony, samoloty, czy śmigłowce. W skład sensoryki tego systemu wchodzą również czujniki termowizyjne. Teoretycznie nadzór nad systemem sprawuje człowiek, ale wymagany czas reakcji na zagrożenie i krótki zasięg tego systemu wykluczają, by jakikolwiek człowiek był w stanie odpowiednio szybko zareagować. Dlatego faktyczną decyzję co do wyboru celu i jego zestrzelenia podejmuje komputer.

Izraelski system Iron Dome

Foto: NatanFlayer / Creative Commons

System aktywnej obrony przeciwartyleryjskiej o wysokim stopniu autonomii opracowany w celu obrony zaludnionych obszarów Izraela przed atakami rakietowymi i artyleryjskimi. Pojedyncza bateria tego systemu (4 wyrzutnie, po 20 pocisków każda) jest w stanie skutecznie chronić obszar o powierzchni około 150 km kw. System składa się z baterii rakiet przechwytujących (20 pocisków na baterię), jest zdolny do działania w każdych warunkach atmosferycznych, w dzień i w nocy. Rozwiązanie to wykorzystuje m.in. radary do wykrywania i śledzenia celów oraz zaawansowany system zarządzania polem walki (BMC – Battle Management & Weapon Control). System ten jest w stanie wykryć start wrogiej rakiety i śledzić jej trajektorię. Pocisk przechwytujący jest wystrzeliwany dopiero po ustaleniu, czy środek rażenia zmierza w obszar chroniony.

Systemy pancerzy aktywnych

Foto: Domena publiczna/US Army

Choć takie rozwiązanie raczej nie kojarzy się z bronią autonomiczną, to aktywne systemy obrony zainstalowane na pojazdach pancernych, takie jak izraelski system Trophy, niemiecki AMAP-ADS, czy amerykański system Iron Curtain, tak właśnie działają. Rozwiązania te mają na celu ochronę pojazdu pancernego przed takimi zagrożeniami jak wystrzeliwane z ramienia pociski przeciwpancerne, granaty ppanc z napędem rakietowym itp. Podobnie jak w przypadku wyżej opisanego Phalanx CIWS, autonomia w tego typu rozwiązaniach jest koniecznością, ze względu na bardzo krótki czas reakcji. System musi zareagować szybciej na zagrożenie, niż byłby w stanie zareagować jakikolwiek człowiek.

Łatwo zauważyć, że systemy obronne, nawet gdy zdolne do zniszczenia, nie budzą tak wielkich kontrowersji, jak rozwiązania ofensywne. Takie też już istnieją, poniżej kilka przykładów.

Foto: Paraxade / Public Domain

STM Kargu

Foto: armyinform.com.ua

Mały, czterowirnikowy turecki dron-kamikaze, zaprojektowany do działań asymetrycznych. Urządzenie jest lekkie, może być przenoszone przez pojedynczego żołnierza-operatora, który, choć ma możliwość kontroli nad dronem, to samo urządzenie może działać również w trybie autonomicznym, dzięki wbudowanym algorytmom uczenia maszynowego. Zgodnie ze wspomnianym wcześniej raportem ONZ, w 2020 r. uzbrojony w materiały wybuchowe dron STM Kargu podczas wojny domowej w Libii wykrył i bez wydanego bezpośrednio rozkazu zniszczył jednostki dowodzone przez Chalifę Haftara, libijskiego wojskowego. Zdarzenie to wg ONZ było pierwszym w historii przypadkiem ataku drona przeprowadzonego z inicjatywy samych algorytmów, bez udziału człowieka.

Bayraktar TB2

Foto: Volodymyr Vorobiov / Shutterstock

Formalnie turecki dron bojowy Bayraktar TB2 jest urządzeniem zdalnie sterowanym i monitorowanym przez załogę w naziemnej stacji kontroli. Jednak ten bezzałogowy samolot bojowy jest zdolny również do prowadzenia misji autonomicznych. Więcej na temat tego urządzenia znajdziecie w naszym materiale wideo:

MQ-9 Reaper

Amerykański, bezzałogowy statek powietrzny. Jego nazwa według amerykańskiej nomenklatury oznacza wielozadaniowy (M, od zwrotu “multirole”), zdalnie sterowany (literka Q) system powietrzny. Słowa zdalnie sterowany mogą sugerować, że w istocie Reaper nie jest w pełni autonomicznym systemem. Owszem, w pierwszych latach służby wczesne wersje polegały na ocenie sytuacji przez operatora, choć sam pojazd był w stanie samodzielnie wykonywać misje rozpoznawcze. Jednak we wrześniu 2020 r. serwis flightglobal.com zamieścił informację, że producent Reaperów wyposażył swój produkt w specjalny moduł AI, dzięki temu dron uzyskał w praktyce w pełni operacyjną autonomię, włącznie z możliwością wybrania i – teoretycznie — zniszczenia celu bez udziału człowieka. Pokładowa sztuczna inteligencja Reapera, zwana Agile Condor, to system inteligentny, który jest w stanie całkowicie autonomicznie znajdować, śledzić i proponować cele ludzkim dowódcom. Tak, proponować, choć technicznie możliwe jest pozostawienie kwestii decyzji dotyczącej zniszczenia celu samej maszynie.

Autonomiczna broń masowego rażenia

Wizja z “Terminatora”, czyli przejęcie przez sztuczną inteligencję kodów startowych rakiet balistycznych z głowicami termonuklearnymi, to raczej fikcja. Warto jednak pamiętać, że cechą jakiejkolwiek broni masowego rażenia jest fakt, że może ona być użyta przez jedną osobę lub niewielką grupę osób, by spowodować olbrzymią liczbę ofiar śmiertelnych. 6 sierpnia 1945 r. o godzinie 8:16 załoga zaledwie jednego samolotu B-29 “Enola Gay” zrzuciła bombę nuklearną na Hiroshimę, niecałą minutę później potężna eksplozja zmiotła japońskie miasto z powierzchni Ziemi, pozbawiając życia co najmniej 90 tys. mieszkańców, ale dokładnej liczby ofiar nie poznamy nigdy.

Flota np. 100 tysięcy dronów kontrolowanych przez jednego człowieka również jest jak najbardziej bronią masowego rażenia, na dodatek bronią, która może zabijać, jednocześnie nie uszkadzając poważnie infrastruktury zaatakowanego miejsca. Kusząca perspektywa dla pozbawionego jakichkolwiek moralnych skrupułów agresora. Na koniec zachęcamy, byście zobaczyli poniższy krótki film, który doskonale obrazuje potencjalne zagrożenia wynikające z przekazania zbyt dużej autonomii maszynom, które są zdolne zabijać.

Read More

Agnieszka Serafinowicz