Ang mga Autonomous na Armas ay Magsalita ng "Hindi" sa Mga Illegal na Order?

Si Baynazar Mohammad Nazar ay walang malay sa operating table nang ang kisame ay nagsimulang bumagsak sa kanya. Ang ama ng apat ay nasuri sa ospital noong nakaraang araw matapos na mabaril sa binti, at sumasailalim sa kanyang ikalawang operasyon sa loob ng dalawang araw upang ayusin ang kanyang pinsala. Nang sinimulan ng mga Amerikano na sirain ang gusali, ang mga doktor na nagtatrabaho sa kanya ay walang pagpipilian kundi upang makatakas sa kanilang sarili nang mabilis hangga't makakaya nila.

Andrew Quilty sa Batas ng banyaga ay nagsasabi sa kuwento ng buhay at pagkamatay ni Baynazar sa isang artikulo na may kasamang larawan ng kanyang katawan na sakop sa mga labi sa operating table. Si Baynazar ay isa sa 31 katao na pinatay ng Estados Unidos nang sumiklab ang ospital na pinatatakbo ng mga Doctors Without Borders (tinatawag din na MSF) sa Kunduz, Afghanistan, noong ika-2 ng Oktubre.

Matapos ang mataas na profile, mataas na sibilyan-casualty strike, mga pulitiko at mga pundits magtanong kung paano ang isang bagay na maaaring mangyari, at kung ano ang maaaring gawin upang matiyak na ito ay hindi mangyari muli. Kabilang sa mga tagapagtaguyod ng autonomous weapons systems, kung minsan ay tinatawag na "killer robots," isang popular na argument ay ang error ng tao (o malisya) ay responsable para sa isang malaking antas ng mga krimen na ginawa sa panahon ng digmaan. Ito ay maaaring posible, sabihin nila, na ang mga robot ay maaaring mas tumpak sa kanilang pag-target, at mas madaling kapitan ng pagkakamali kaysa sa mga tao.

"Sa katunayan, ang paghatol ng tao ay maaaring patunayan na mas maaasahan at teknikal na tagapagpahiwatig sa init ng labanan," ang isinulat ni Michael N. Schmitt, isang propesor sa U.S. Naval War College. "Ang mga naniniwala sa kabilang banda ay hindi nakaranas ng hamog na ulap ng digmaan."

US air strike sa MSF hospital sa Afghanistan 'sanhi lalo na ng error ng tao' http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegrap News (@TelegraphNews) Nobyembre 25, 2015

Kung gayon, ang tanong ay: maaari kang mag-program ng mga tool ng digmaan upang mahadlangan ang pag-uugali ng tao upang gumawa ng mga welga tulad ng impostor sa bomba ng Kunduz imposible, o hindi gaanong posible?

Marahil hindi - hindi bababa sa para sa malapit na hinaharap. Ngunit ang ilang programer ng artipisyal na katalinuhan ay nag-disenyo ng isang robot na maaaring hindi sabihin sa mga tao. Ang disenyo ng eksperimento ay simple: Ang tao ay nagsasabi sa isang robot na lumakad pasulong sa isang mesa, na ang robot ay una na tumangging gawin. Kapag sinasabihan ng tao ang robot ay mahuhuli niya ito, tinatanggap ng robot ang order.

Iyan ay isang mahabang paraan mula sa isang semi-autonomous attack helicopter na nagsasabi sa tao crew nito na hindi ito maaaring magsagawa ng isang airstrike laban sa isang ospital dahil ito ay isang krimen digmaan, ngunit ang kalakip na premise ay higit sa lahat ang parehong. Tulad ng itinuturo ng iba, ang pag-aalala ng tao tungkol sa mismong uri ng pag-unlad sa mga robot ay pangkaraniwan sa science fiction - sa tingin ng HAL-9000 na nagsasabing "Hindi ko magagawa iyon, Dave" kapag nakakulong ito sa tao sa labas ng space station 2001: Isang Space Odyssey.

Tulad ng mga detalye ng strike ng Kunduz, marami sa mga katotohanan sa paligid ng atake ay nanatiling pinagtatalunan. Ang MSF ay humingi ng independiyenteng pagsisiyasat, na tinututulan ng gobyerno ng Estados Unidos, sa halip na nangako na isakatuparan ang sarili nitong mga pagsusuri.

Ang ilang mga bahagi ng isang pagsisiyasat sa U.S. ay ginawang publiko nang mas maaga sa buwang ito, at nakita ang mga pagkakamaling tao at mekanikal na may pananagutan sa welga. Ngunit mas maaga sa linggong ito, dalawang mga miyembro ng serbisyo ang dumating sa harap upang salungatin ang mga natuklasan ng ulat. Sinasabi nila na ang welga ay hindi isang pagkakamali. Sa kanilang accounting, unang iniulat ng AP, Ang mga pwersang espesyal na operasyon ng U.S. ay tinawag sa welga sapagkat bagaman ang ospital ay ginagamit bilang isang command and control center ng Taliban.

Sa opisyal na bersyon, ang isang mekanikal na kabiguan na humantong sa mga crew ng AC-130 gunship sa simula pagkuha ng mga coordinate para sa isang walang laman na patlang. Pagkatapos ay hinanap ng crew ang isang gusali sa lugar na angkop sa pisikal na paglalarawan na ibinigay sa kanila, at binuksan ang apoy. Nang mag-recalibrate ang kanilang mga instrumento, binigyan nila ang mga tauhan ng tamang mga coordinate para sa kanilang target, ngunit ang mga tauhan ay patuloy na nag-apoy sa ospital pa rin.

Kung ang account na ito ay totoo - na ang computer ay ganap na tumpak at ang mga tao ay hindi pinansin ito - ito ay nagbibigay ng ilang pananalig sa mga tagasuporta ng mas malawak na awtonomiya sa mga sistema ng mga sandata. Na sinabi, ang digmaan ng US sa terorismo ay littered sa mga halimbawa ng militar o CIA na naabot ang "tamang" target at pa rin natapos ang pagpatay ng malaking bilang ng mga sibilyan. Ang pag-automate ay hindi malulutas ang masamang katalinuhan, at ang pagtatangka na mag-program ng isang approximation ng moralidad ay hindi magtatapos sa mga krimen sa digmaan.

May isang malakas na tukso sa Estados Unidos upang isterilisisa ang digmaan, at automation, sa pamamagitan ng pagtanggal ng mga Amerikano mula sa paraan ng pinsala, na nakalaan upang baguhin ang napaka kahulugan ng digmaan. Ang kagustuhan ni Obama para sa pagpatay ng drone at ang kasamang assurances na ang mga drone ang pinaka-tiyak na mga armas na nilikha kailanman ay ang pinakamalinaw na paghahayag ng mga layunin. "Ang mga ito ay tumpak, ang mga strikes sa katumpakan laban sa al Qaeda at ang kanilang mga kaakibat," sinabi ni Obama sa isang 2012 Google hangout.

Gayunpaman, isang pag-aaral ng gobyerno ng 2013 ay naiiba sa mga claim na iyon. Napag-alaman na ang mga drone sa Afghanistan ay dulot ng 10 ulit ng maraming pagkamatay ng mga sibilyan bilang mga hindi pinuno ng sasakyan. "Ang mga drone ay hindi magically mas mahusay sa pag-iwas sa mga sibilyan kaysa sa jet manlalaban," sinabi ni Sarah Holewinski, isang co-author ng pag-aaral, Ang tagapag-bantay. "Kapag ang mga pilot ng paglipad ay binigyan ng malinaw na mga direktiba at pagsasanay sa proteksyon ng sibilyan, nakuha nila ang mas mababang rate ng sibilyan na biktima."

Ang militar ay gumagasta ng milyun-milyon sa pag-unlad ng mga sistemang teaming robot ng tao, lalong naglabo ng mga linya sa pagitan ng mga misyon na isinasagawa ng pinapatakbo ng tao o mga hindi pinuno ng armas. "Kung ano ang gusto nating gawin sa pakikipaglaban ng makina ng tao ay upang dalhin ito sa susunod na antas, upang tingnan ang mga bagay na tulad ng mga taktika ng pagluluto," sabi ni Deputy Defense Secretary Bob Work sa opisyal na DoD science blog. "Maaari bang lumabas sa F-35 ang labanan na may apat na hindi pinuno ng mga tauhan?"

Hindi ba sasabihin ng mga wingmen na kung ang tagapamagitan ng tao ay nagbibigay sa kanila ng isang order na katulad ng paglalakad sa isang table? Paano ang isang order upang sirain ang isang ospital o paaralan? Ang hamog na ulap ng digmaan ay ilalapat sa alinmang kaso. At kung magpasya kami na i-override ang mga machine, ang pariralang "error ng tao" ay magiging isa sa mga mas nakakatakot na termino sa mga salungatan ng hinaharap.