Ilya Viksnin, ITMO - apie „Volga“, funkcinę saugą ir demokratinį vežimėlio problemos sprendimą

Ar drone gali būti?

– Jūsų paskaitos tema „Kodėl verčiame robotus meluoti“. Glūdi savo klasikoje

supratimas – sąmoningas neteisingos informacijos pateikimas, turėdamas teisingą informaciją. Kaip tai suprantame robotų kontekste?

— Mūsų atveju melas yra tada, kai informacija apierealaus pasaulio veikimo būdas neatitinka to, ką skaitome ir perduodame išorėje. Dėl kokios priežasties? Mūsų jutiklis sugedęs ir mes tikrai taip matome, arba klastojame vardan falsifikacijos, ar dėl kitų priežasčių. Kai bendraujame, galiu meluoti. Nes aš klystu savo išvadose arba blogai matau. Jums nesvarbu, bet kokiu atveju ši informacija bus klaidinga. Štai kodėl mes pažvelgėme į valdymo metodus, kurie daro sistemą saugią.

- Kai kalbate apie robotus ir „daugialypės terpės sistemas“, ar tai reiškia nepilotuojamas transporto priemones?

- Ne, tai tik populiariausia vieta. Dabar populiariausios temos yra nepilotuojami orlaiviai.

- Ar bandote spręsti problemas, kurios gali kilti?

- Turime du lygius. Pirmajame lygmenyje mes žiūrime, kokia informacija vyksta drone, nes informacija iš jutiklių vis dar apdorojama, kol ji pasiekia skaičiavimo įrenginį. Antrajame lygmenyje tarp dronų keičiasi informacija ir mes taip pat išbandome. Mes žiūrime, kaip jis susijęs su realiu pasauliu.

- Dronai dabar yra skirtingi - kariniai, civiliniai ir kiti. Ar dronai, kurie tokiu būdu keičiasi informacija viena su kita, - tai tam tikra klasė?

– Ne, tiesą sakant, visi gali keistis.Tiesą sakant, aš nežinau nė vieno drono įrenginio, kuris nesidalytų informacija. Net ir valdydami nuotolinio valdymo pultu, vis tiek galite jį gauti. Štai kodėl mes dirbame gana aukštu abstrakcijos lygiu, naudodami privačius diegimus, tačiau apskritai tai yra gana bendri sprendimai - bendrieji, kaip sakoma.

- Per pastaruosius metus matėme atvejus, kai dronaisukėlė problemų žmonėms. Dronai, galintys sudužti į lėktuvus, dronai, kurie užblokavo kilimo ir tūpimo takus. Ar galima kažkaip užkirsti kelią tokioms situacijoms?

- Jei jį kontroliuoja žmogus, tada vienintelisbūdas - tiesiog šaudyti. Tai yra, kontroliuoti, padaryti jį daryti tai, ką norime, arba tiesiog fiziškai sunaikinti. Jei dronas buvo įsigytas, iš pradžių jau surinko kažkas, ir mes jį valdome pagal užsakymą, tuomet jūs galite priešintis, žinodami šiuos standartinius algoritmus. Bet dabar, kad surinktumėte droną, tai yra pradinių universitetų ar aukštųjų mokyklų kursų užduotis. Daugybę vadovų, dalių galima įsigyti be problemų, tai nėra labai brangi. Todėl logika, kuri bus tokių savų dronų viduje, negali būti visiškai standartizuota.

- Jūs pasakėte apie kontrolės perėmimą. Kiek tai įmanoma, kas tai reikalinga?

- Jei manome, kad kai kurie įsigytisistema, mes žinome protokolus, kuriais ji bendrauja. Teoriškai galime pakeisti valdymo skydelį. Tačiau tai yra nežymus uždavinys. Inžinerijos ir mokslo požiūriu tai galima padaryti. Praktiškai tai labai sudėtinga inžinerinė užduotis. Bet išsprendžiamas.

- Dabar niekas nežino, kaip tai padaryti?

- Kiek aš žinau, niekas. Bet kuriuo atveju tokia informacija nėra viešai prieinama.

- Kokias kitas problemas matote artimiausioje ateityje, jei kalbėsime apie drones?

– Man, kaip apsaugininkui, pagrindinė problemakad sistema neveiks taip, kaip nori žmonės. Kalbu ne apie „Matricą“, o apie tai, kad kažkur gali būti pažeista sistemos logika ir elgesys. Norime matyti vieną rezultatą, bet bus kitas. Grubiai tariant, iš šių dronų norime pastatyti stadioną. Pagrindinė problema yra ta, kad plyta pamatuose nebus dedama taip, kaip reikia. Tai yra, statysime stadioną visame pasaulyje, tačiau dėl šių nedidelių nukrypimų struktūroje visa konstrukcija sugrius.

- Jei programuojame visas šių dronų programinės įrangos, kokiu būdu jie gali įdėti šias plytas neteisingai?

- Žiūrėk, kompiuterių pasaulis susideda iš nulių irviena, viskas aišku. Mes išdėstėme šią logiką ir gavome atsakymą. Fizinis pasaulis susideda iš verčių diapazono nuo nulio iki vieneto. Tai, ką įsivaizduojame skaičiavimo lygmeniu, gali neatitikti realiame pasaulyje. Saulės spindesys, vėjo gūsis ir plyta nebebuvo tinkamai išlyginta. Tai naujos mokslo šakos – funkcinės saugos – uždavinys, kilęs iš informacijos saugos, kai stengiamės prisitaikyti prie aplinkos veiksmų ir sukurti sprendimą, kuris leistų surinkti plytą neatsižvelgiant į išorinius veiksnius. Ir tai yra sunki užduotis. Ji turi sprendimų, tačiau nė vienas iš jų visiškai negarantuoja sėkmės.

- Masinės prieigos dronai pasirodė ne taip seniai. Ar manote, kad situacija ir toliau bus tokia pati, kad galiu eiti ir pirkti droną? Dabar tai laikoma žaislu, ar tai gali pasikeisti?

- Aš ne advokatas, bet draugiškaiįvedė kai kuriuos apribojimus. Iš serijos „pirkti didelį droną be jokių dokumentų, licencijų ir kitų dalykų yra negerai“. Pirkti žaislinį droną? Kodėl gi ne, jis vargu ar gali sukelti didelę žalą. Vėlgi, istorija yra ta, kad jei norite, viskas gali būti suvyniota į neigiamą šviesą. Todėl aš, asmuo, susijęs su mokslu, norėčiau, kad tai būtų viešai prieinama. Tačiau asmuo, kuris eina gatvėmis, norėtų įvesti tam tikrus pagrįstus apribojimus. Tai pagrįsta.

Žvalgybos intelektas - robotai ir žmonės

- Jūs dalyvavote prognozuojant žmonių elgesį.avarinėse situacijose ir modeliuojant jį pagal „Lame Horse“ tragediją. Aišku, kaip galite sukurti skaitmeninį juostos modelį. Bet kaip galite numatyti žmonių elgesį? Remiantis duomenimis?

- Ne, iš tikrųjų. Žmogus paprastai elgiasi gana spontaniškai, ypač avariniais atvejais. Tačiau mes turime hipotezę, kurią mes išbandėme modeliuodami situaciją.

– Kaip modeliavote žmonių elgesį? Jūsų rezultatai buvo labai artimi realybei.

- Jei kalbame apie logiką, kuri yra tentai yra vadinamasis žvalgybos intelektas. Vidutinė judėjimo vertė, sąlyginių lyderių parinkimas, judėjimas į išėjimus ir pan. Gana trivialus principas. Apskritai, bet kokio intelekto principas - mes turime dalelę, kuri gali elgtis labai kvailai, turi labai banalius ir paprastus principus. Bet galų gale efektas gaunamas, kai visa sistema elgiasi labai protingai.

- Dabar kalbate kalbomis, labiau taikomomis technologijoms. Jei mes kalbame apie žmones, ar tai tas pats?

- Robotas yra pastatyta apie žmogaus principais. Jei aš sistemą nuo individo ir taikyti jį į roboto, tai bent jau galiu naudoti sistemą nuo robotas žmogus. IT srityje šios taisyklės yra suformuluotos ilgą laiką. Bent nuo 1986 m.

- Tiesą sakant, jūs įrodėte, kad jis veikia viešai?

- Taip, bandėme ir jis veikia. Aš nesu sociologas, o ne psichologas, bet man atrodo, kad mokslinio eksperimento atlikimo rezultatas pasirodė esąs teisingas: žmogus avariniais atvejais nusileidžia į gana banalų elgesio lygį. Ir šis banalus lygis gali būti kopijuojamas iš paukščių elgesio, sąlyginai. Iš esmės tai paaiškėjo.

„Geriau mane nužudyti nei vaikas“: UAV etika

- Jūs kalbėjote apie etinius klausimusUAV ir pasirinkimo dilema, jei jie turi nužudyti ką nors. Vežimėlio problema realiame gyvenime vargu ar įmanoma. Bet apskritai, ar manote, kad jums reikia tokių dalykų programuoti? Ir ar jie gali vykti realiame gyvenime?

- Jie tikrai atsiras realiame gyvenime, irjei neplanuosime, kas atsitiks? Pažiūrėkime, mes sukūrėme algoritmą, mašina veikia, viskas vyksta, o tada atsitinka, kad močiutė ir vaikas bėgo iš skirtingų kelio galų. Jei šiuo atveju nenustatysme elgsenos logikos, tuomet mes, kaip buvo, atsisakytume moralinės atsakomybės už ją. Tai, manau, yra žingsnis į bailumą.

Šoninė juosta

„Jei mes nepadarysime tam tikro elgesio modelio neplanuotoje sistemoje tokioje situacijoje, ką ji darys?“

– Tai priklauso nuo sistemos. Galbūt jis stengsis sumažinti savo rizikas ir sąlyginai numušti esantį arčiau.

- Jūs sakote, kad turime viską suplanuoti. Kas tada turi nuspręsti, kam šaudyti?

- Man atrodo, kad Massachusetts (MIT - „High-tech“) eina teisingu keliu - demokratija.

Mokslininkai iš Masačusetso technologijosInstitutas (MIT) sukūrė žaidimą, kuriame vartotojas kviečiamas rinktis iš dviejų nepilotuojamų transporto priemonių elgesio variantų etikos dilemų atveju. Rezultatas buvo pasaulinis tyrimas, kuriame milijonai žmonių dalyvavo šimtuose šalių. Paaiškėjo, kad skirtingų šalių žmonės turi skirtingas idėjas, kaip dronai turėtų elgtis su etiniais klausimais.

- Taigi mes turime balsuoti, kas turėtų nušauti drone?

- Ne visai. Turi būti atliktas sociologinis tyrimas, kuris leistų mums pasirinkti. Už tai bus atsakinga visa žmonija, o ne vienas programuotojas.

- Ar manote, kad tai veiks, žmonės jį priims?

– Tai vis tiek kels nepasitenkinimą, nesdaugybei žmonių buvo suteikta galimybė rinktis, ir kažkas, žinoma, su tuo nesutiks. Bet jei iš viso nėra pasirinkimo, o yra autoritarinis sprendimas, tai nėra visiškai teisinga.