Ilya Viksnin, ITMO - o Volgi, funkcionalna sigurnost i demokratsko rješenje problema kolica

Može li lažov?

— Tema vašeg predavanja je “Zašto tjeramo robote da lažu”. Laži u svojoj klasici

razumijevanje - namjerno davanje netočnih informacija dok posjeduje točne informacije. Kako to razumijemo u kontekstu robota?

— U našem slučaju laž je kada se informacija onačin na koji stvarni svijet funkcionira ne odgovara onome što čitamo i prenosimo izvana. iz kojeg razloga? Senzor nam je pokvaren i mi to stvarno tako vidimo, ili ga krivotvorimo u ime krivotvorenja, ili iz nekog drugog razloga. Kad komuniciramo, mogu lagati. Jer griješim u zaključcima ili slabo vidim. Nije vam bitno, ovi podaci će za vas u svakom slučaju biti lažni. Zato smo razmotrili metode kontrole koje čine sustav sigurnim.

- Kada govorite o robotima i "multi-agent sustavima", mislite li na bespilotna vozila?

- Ne, ovo je samo najpopularnija destinacija. Sada su najpopularnije teme bespilotne letjelice.

- Testirate li rješenja problema koji se mogu pojaviti?

- Imamo dvije razine. Na prvoj razini promatramo koje informacije putuju unutar bespilotne letjelice, jer se informacije iz senzora još uvijek obrađuju prije nego dođu do računalnog uređaja. Na drugoj razini, razmjenjuju se informacije između bespilotnih letjelica, a mi ih također testiramo. Gledamo kako se odnosi na stvarni svijet.

- Trutovi su sada različiti - vojni, građanski i drugi. Jesu li trutovi koji međusobno razmjenjuju informacije na ovaj način - je li to specifična klasa?

- Ne, zapravo, svatko može mijenjati.Iskreno, ne znam ni za jedan dron uređaj koji ne dijeli informacije. Čak i kada upravljate daljinskim upravljačem, još uvijek ga možete dobiti. Zbog toga radimo na prilično visokoj razini apstrakcije koristeći privatne implementacije, ali općenito su to prilično općenita rješenja - generička, kako kažu.

- Tijekom protekle godine vidjeli smo slučajeve u kojima su trutovistvorio probleme za ljude. Dronovi koji se mogu srušiti u avione, trutove koji su blokirali piste. Je li moguće nekako spriječiti takve situacije?

- Ako ga kontrolira čovjek, onda jedininačin - samo ga oborite. To jest, preuzeti kontrolu, natjerati ga da radi ono što želimo, ili samo fizički uništiti. Ako je drona kupljen, u početku je već bio sastavljen od strane nekoga, a mi ga upravljamo po običaju, onda se možete suprotstaviti, znajući ove standardne algoritme. No sada je potrebno sastaviti bespilotnu letjelicu zadatak za tečajeve osnovnih i srednjih škola. Puno priručnika, dijelova može se kupiti bez problema, to nije vrlo skupo. Dakle, logika koja će biti unutar takvih vlastitih trutova ne može se u potpunosti standardizirati.

- Rekli ste za presretanje kontrole. Koliko je to moguće, što je potrebno za to?

- Ako uzmemo u obzir neke kupljenesustav, znamo protokole na kojima komunicira. U teoriji, možemo zamijeniti upravljačku ploču. Ali to je takav nebitan zadatak. Sa stajališta inženjerstva i znanosti to se može učiniti. U praksi je to vrlo težak inženjerski zadatak. Ali rješiv.

- Sada nitko ne zna kako to učiniti?

- Koliko ja znam, nitko. U svakom slučaju, takve informacije nisu javno dostupne.

- Koje još probleme vidite u skoroj budućnosti, ako govorimo o trutovima?

— Za mene, kao zaštitara, glavni problem jeda sustav neće funkcionirati onako kako ljudi žele. Ne govorim o "Matrici", nego o tome da se negdje može narušiti logika i ponašanje sustava. Želimo vidjeti jedan rezultat, ali bit će drugi. Grubo rečeno, od tih dronova želimo napraviti stadion. Glavni problem je što cigla u temelju neće biti postavljena prema potrebi. Odnosno, izgradit ćemo stadion globalno, ali će ta mala odstupanja unutar konstrukcije dovesti do toga da se cijela konstrukcija uruši.

- Ako programiramo sav softver za ove bespilotne letjelice, iz kojeg razloga oni mogu pogrešno staviti ove cigle?

- Gledajte, svijet računala sastoji se od nula ijedan, sve je jasno. Izložili smo tu logiku i dobili odgovor. Fizički svijet se sastoji od raspona vrijednosti od nule do jedan. Ono što zamišljamo na računalnoj razini možda se neće prevesti u stvarni svijet. Odsjaj sunca, nalet vjetra i cigla više nije bila ispravno poravnata. To je zadatak nove grane znanosti - funkcionalne sigurnosti, proizašle iz informacijske sigurnosti, kada se pokušavamo prilagoditi djelovanju okoline i razviti rješenje koje će nam omogućiti sastavljanje cigle bez obzira na vanjske čimbenike. A ovo je težak zadatak. Ima rješenja, ali nijedno od njih ne jamči u potpunosti uspjeh.

- U masovnom pristupu trutovi su se pojavili ne tako davno. Mislite li da će situacija i dalje biti ista, da mogu otići i kupiti dronu? Smatra li se sada igračkom, može li se to promijeniti?

- Nisam odvjetnik, ali, na prijateljski način, trebao bi bitiuvela neka ograničenja. Iz serije “kupiti veliki trut bez ikakvih dokumenata, licenci i drugih stvari je pogrešno”. Kupite igračku trut? Zašto ne, vjerojatno neće prouzročiti mnogo štete. I ovdje je priča da, ako želite, sve se može umotati u negativno svjetlo. Stoga, ja, osoba povezana s znanošću, voljela bih da sve to bude javno dostupno. No, osoba koja hoda ulicama želi uvesti neka razumna ograničenja. To je razumno.

Rojna inteligencija - u robotima i ljudima

- Ti si bio uključen u predviđanje ponašanja ljudi.u hitnim situacijama i simulirao je na temelju tragedije u "Lame Horse". Jasno je kako možete stvoriti model digitalnog bara. Ali kako možete predvidjeti ponašanje ljudi? Na temelju kojih podataka?

- Ne, zapravo. Čovjek se općenito ponaša spontano, osobito u hitnim slučajevima. Ali imamo hipotezu, koju smo testirali modeliranjem situacije koja se dogodila.

— Kako ste modelirali ponašanje ljudi? Vaši su rezultati bili vrlo blizu stvarnosti.

- Ako govorimo o logici koja je tuzaložen, to je takozvana inteligencija roja. Usrednjavanje kretanja, odabir uvjetnih vođa, kretanje prema izlazima i tako dalje. Prilično trivijalno načelo. Općenito, načelo svake inteligencije - imamo česticu koja se može ponašati vrlo glupo, ima vrlo banalne i jednostavne principe. Ali na kraju, učinak se postiže kada se cijeli sustav ponaša vrlo inteligentno.

- Sada govorite u smislu više primjenjivih na tehnologiju. Ako govorimo o ljudima, je li to isto?

- Robot je izgrađen na principima čovjeka. Ako od osobe uzmem sustav i primijenim ga na robota, tada barem mogu primijeniti sustav od robota na osobu. U području IT-a ova su pravila formulirana vrlo dugo. Barem od 1986.

- Zapravo, dokazali ste da djeluje u javnosti?

- Da, pokušali smo i radi. Nisam sociolog, a ne psiholog, ali čini mi se da je ishod s gledišta provođenja znanstvenog eksperimenta bio istinit: osoba u hitnim slučajevima spušta se na prilično banalnu razinu ponašanja. A ova banalna razina može se uvjetno prepisati iz ponašanja ptica. U principu, ispalo je.

"Bolje da me ubijem nego dijete": etika bespilotnih letjelica

- Razgovarali ste o etičkim pitanjimaBespilotne letjelice i dilema izbora ako moraju nekoga ubiti. Problem kolica je teško moguće u stvarnom životu. Ali općenito, mislite li da trebate programirati takve stvari? I mogu li se dogoditi u stvarnom životu?

- Definitivno će se pojaviti u stvarnom životu, iako ga ne programiramo, što će se onda dogoditi? Gledajte, razvili smo algoritam, stroj funkcionira, sve ide, a onda se dogodi da su baka i dijete istrčali s različitih krajeva ceste. Ako ne utvrdimo logiku ponašanja u ovom slučaju, onda bismo se, uostalom, odrekli moralne odgovornosti za to. Mislim da je to korak prema kukavičluku.

incut

"Ako ne postavimo određeni model ponašanja u bespilotni sustav u takvoj situaciji, što će učiniti?"

— Ovisi o sustavu. Možda će pokušati minimizirati svoje rizike i, uvjetno, srušiti onoga tko mu je bliže.

- Kažete da sve moramo programirati. Tko onda odlučuje koga će oboriti?

- Čini mi se da je Massachusetts (MIT - "High-tech") otišao na pravi način - demokraciju.

Znanstvenici iz Massachusettsove tehnologijeInstitut (MIT) je napravio igru ​​u kojoj je korisnik pozvan da bira između dvije varijante ponašanja bespilotnog vozila u slučaju etičkih dilema. Rezultat je bila globalna studija u kojoj su milijuni ljudi sudjelovali u stotinama zemalja. Pokazalo se da ljudi u različitim zemljama imaju različite ideje o tome kako se trutovi trebaju baviti etičkim pitanjima.

- Dakle, moramo glasati, tko bi trebao srušiti bespilotnu letjelicu?

- Ne baš. Mora postojati sociološka studija koja će nam omogućiti da napravimo izbor. Za to će biti odgovorno cijelo čovječanstvo, a ne samo jedan programer.

- Mislite li da će to uspjeti, ljudi će to prihvatiti?

- Ovo će još izazvati nezadovoljstvo, jerveliki broj ljudi je dobio izbor, a netko se naravno neće složiti s tim. Ali ako uopće nema izbora, a umjesto toga postoji autoritarna odluka, onda to nije sasvim pošteno.