Ilya Viksnin, ITMO - om Volga, funktionel sikkerhed og demokratisk løsning af vognproblemet

Kan en drone lyve?

— Emnet for dit foredrag er "Hvorfor tvinger vi robotter til at lyve." Ligger i sin klassiker

forståelse - bevidst at give ukorrekte oplysninger, mens de er i besiddelse af korrekte oplysninger. Hvordan forstår vi dette i sammenhæng med robotter?

— I vores tilfælde er løgn, når oplysninger omden måde, den virkelige verden fungerer på, svarer ikke til det, vi læser og transmitterer på ydersiden. Af hvilken grund? Vores sensor er gået i stykker, og vi ser det virkelig sådan, eller vi forfalsker den for forfalskning eller af en anden grund. Når vi kommunikerer, kan jeg lyve. Fordi jeg tager fejl i mine konklusioner eller ser dårligt. Det er lige meget for dig, disse oplysninger vil under alle omstændigheder være falske for dig. Derfor har vi kigget på kontrolmetoder, der gør systemet sikkert.

- Når du taler om robotter og "multi-agent systemer", mener du ubemandede køretøjer?

- Nej, det er bare den mest populære destination. Nu er de mest populære emner ubemandede luftfartøjer.

- Tester du løsninger på problemer der kan opstå?

- Vi har to niveauer. På første niveau ser vi på, hvilke oplysninger der bevæger sig inde i dronen, fordi informationerne fra sensorerne stadig behandles, inden den når computeren. På andet niveau udveksles information mellem dronerne, og vi tester også det. Vi ser på, hvordan det vedrører den virkelige verden.

- Droner er nu forskellige - militære, civile og andre. Er droner, der udveksler information med hinanden på denne måde - er dette en bestemt klasse?

- Nej, faktisk kan alle bytte.Jeg kender ærligt talt ikke til en eneste drone-enhed, der ikke deler information. Selv når du styrer med fjernbetjeningen, kan du stadig få den. Det er derfor, vi arbejder på et ret højt abstraktionsniveau ved hjælp af private implementeringer, men generelt er det ret generelle løsninger - generiske, som man siger.

- I løbet af det sidste år har vi set tilfælde hvor dronerskabt problemer for mennesker. Droner, der kan gå ned i fly, droner, der blokerede banerne. Er det muligt at forhindre sådanne situationer på en eller anden måde?

- Hvis den styres af mand, så er den enestemåde - bare banke det ned. Det vil sige at tage kontrol, få ham til at gøre, hvad vi vil, eller bare ødelægge fysisk. Hvis dronen blev købt, oprindeligt allerede samlet af nogen, og vi klarer det ved brugerdefineret, så kan du modvirke, at kende disse standardalgoritmer. Men nu at samle en drone er en opgave for elementære universitet eller gymnasier. Mange manualer, dele kan købes uden problemer, det er ikke meget dyrt. Derfor er logikken, der vil være inde i egne droner, ikke fuldt ud standardiseret.

- Du sagde om aflytningen af ​​kontrol. Hvad kræves det for så vidt muligt?

- Hvis vi betragter nogle købtsystem, vi kender de protokoller, som den kommunikerer med. I teorien kan vi erstatte kontrolpanelet. Men det er sådan en ikke-triviel opgave. Fra det tekniske og videnskabelige synspunkt kan dette gøres. I praksis er dette en meget vanskelig ingeniøropgave. Men opløselige.

- Nu ved ingen hvordan man gør det her?

- Så vidt jeg ved, ingen. Under alle omstændigheder er sådanne oplysninger ikke offentligt tilgængelige.

- Hvilke andre problemer kan du se, der kan opstå i den nærmeste fremtid, hvis vi taler om droner?

— For mig som sikkerhedsvagt er hovedproblemetat systemet ikke vil fungere som folk ønsker. Jeg taler ikke om "Matrix", men om det faktum, at et eller andet sted kan systemets logik og adfærd blive krænket. Vi vil gerne se et resultat, men der kommer et andet. Groft sagt vil vi bygge et stadion ud af disse droner. Hovedproblemet er, at murstenen i fundamentet ikke bliver placeret efter behov. Det vil sige, at vi vil bygge et stadion globalt, men disse små afvigelser inden for strukturen vil føre til, at hele strukturen kollapser.

- Hvis vi programmerer alle software til disse droner, hvorfor kan de sætte disse mursten forkert?

- Se, computerverdenen består af nuller ogen, alt er klart. Vi lagde denne logik og fik et svar. Den fysiske verden består af en række værdier fra nul til én. Det, vi forestiller os på beregningsniveauet, kan måske ikke oversættes til den virkelige verden. Et skær fra solen, et vindstød og murstenen var ikke længere justeret korrekt. Dette er opgaven for en ny gren af ​​videnskaben - funktionel sikkerhed, afledt af informationssikkerhed, når vi forsøger at tilpasse os miljøets handlinger og udvikle en løsning, der giver os mulighed for at samle en mursten uanset eksterne faktorer. Og det er en svær opgave. Det har løsninger, men ingen af ​​dem garanterer fuldstændig succes.

- I massetilgangen viste dronerne sig ikke så længe siden. Tror du, at situationen vil fortsætte med at være den samme, som jeg kan gå og købe en drone? Nu betragtes et legetøj, kan det ændre sig?

- Jeg er ikke en advokat, men på en mindelig måde bør det væreindført nogle begrænsninger. Fra serien "at købe en stor drone uden dokumenter, er licenser og andre ting forkert". Køb en legetøjs drone? Hvorfor ikke, han er usandsynligt at forårsage meget skade. Her igen er historien, at alt, hvis du ønsker det, kan pakkes op i et negativt lys. Derfor vil jeg, en person tilknyttet videnskaben, gerne have det her offentligt tilgængeligt. Men en person, der går på gaderne, vil gerne have nogle rimelige begrænsninger pålagt. Det er rimeligt.

Sværm intelligens - i robotter og mennesker

- Du var involveret i at forudsige folks adfærd.i nødsituationer og simuleret den på baggrund af tragedien i "The Lame Horse". Det er klart, hvordan du kan oprette en digital bar model. Men hvordan kan man forudsige folks adfærd? Baseret på hvilke data?

- Nej, faktisk. Mennesket opfører sig generelt ret spontant, især i nødsituationer. Men vi har en hypotese, som vi testede ved modellering om den situation, der opstod.

– Hvordan modellerede du folks adfærd? Dine resultater var meget tæt på virkeligheden.

- Hvis vi snakker om logikken der er derbundet, dette er den såkaldte svær intelligens. Bevægelsesbevægelse, valg af betingede ledere, bevægelse til udgange og så videre. Helt trivielt princip. Generelt er princippet om enhver intelligens - vi har en partikel der kan opføre sig meget dumt, den har meget banale og enkle principper. Men i sidste ende opnås effekten, når hele systemet opfører sig ekstremt intelligent.

- Du taler nu mere om teknologien. Hvis vi taler om mennesker, er det det samme?

- Roboten er bygget på menneskets principper. Hvis jeg tager et system fra en person og bruger det til en robot, så kan jeg i det mindste anvende systemet fra en robot til en person. På området for IT formuleres disse regler i meget lang tid. I hvert fald siden 1986.

- Faktisk har du bevist, at det virker offentligt?

- Ja, vi forsøgte, og det virker. Jeg er ikke en sociolog og ikke en psykolog, men det forekommer mig, at resultatet ud fra et videnskabeligt eksperiment har vist sig at være sandt: En person i nødstilfælde falder til et ret banalt adfærdsniveau. Og dette banale niveau kan kopieres fra opførsel af fugle, betinget. Det viste sig i princippet.

"Jeg må hellere få mig dræbt end et barn": UAVs etik

- Du talte om etiske spørgsmålUAV'er og det valgte dilemma, hvis de skal dræbe nogen. Problemet med vognen er næppe muligt i det virkelige liv. Men generelt tror du, du skal programmere sådanne ting? Og kan de forekomme i det virkelige liv?

- De vil helt sikkert opstå i det virkelige liv, oghvis vi ikke programmerer det, hvad sker der så? Se, vi har udviklet en algoritme, maskinen fungerer, alt går, og så sker det, at bedstemor og barn løber ud fra forskellige ender af vejen. Hvis vi ikke lægger op adferdslogikken i dette tilfælde, så ville vi som sådan frasige moralsk ansvar for det. Dette er et skridt mod fejhed, tror jeg.

indskæring

"Hvis vi ikke lægger en vis adfærdsmodel i et ubemandet system i en sådan situation, hvad vil det gøre?"

- Det afhænger af systemet. Måske vil han forsøge at minimere sine risici og, betinget, nedskyde den, der er tættere på.

- Du siger, at vi skal programmere alt. Hvem skal da bestemme, hvem der skal skyde ned?

- Det forekommer mig, at Massachusetts (MIT - "High-tech") gik på den rigtige måde - demokrati.

Forskere fra Massachusetts TechnologyInstitute (MIT) lavede et spil, hvor brugeren blev inviteret til at vælge mellem to varianter af et ubemandet køretøjs adfærd i tilfælde af etiske dilemmaer. Resultatet var en global undersøgelse, hvor millioner af mennesker deltog i hundredvis af lande. Det viste sig, at folk i forskellige lande har forskellige ideer om, hvordan droner skulle beskæftige sig med etiske spørgsmål.

- Så vi skal stemme, hvem skal skyde ned en drone?

- Ikke rigtig. Der skal være en sociologisk undersøgelse, der giver os mulighed for at træffe et valg. Hele menneskeheden vil være ansvarlig for det, ikke kun én programmør.

- Tror du, at dette vil fungere, vil folk acceptere det?

- Det vil stadig vække utilfredshed, pgaet stort antal mennesker fik et valg, og nogen vil naturligvis være uenige i det. Men hvis der slet ikke er noget valg, og der i stedet kommer en autoritær beslutning, så er det ikke helt fair.