Може ли самолетът да излъже?
— Темата на вашата лекция е „Защо принуждаваме роботите да лъжат“. Лъжи в своята класика
— В нашия случай лъжа е, когато информация заначинът, по който работи реалният свят, не съответства на това, което четем и предаваме навън. По каква причина? Нашият сензор е счупен и ние наистина го виждаме така, или го фалшифицираме заради фалшификацията, или по някаква друга причина. Когато общуваме, мога да лъжа. Защото греша в заключенията си или виждам зле. Това няма значение за вас, тази информация ще бъде невярна за вас във всеки случай. Ето защо разгледахме методите за контрол, които правят системата безопасна.
- Когато говориш за роботи и „мултиагентни системи“, имаш предвид безпилотни превозни средства?
- Не, това е само най-популярната дестинация. Сега най-популярните теми са безпилотни летателни апарати.
- Изпробвате ли решения на проблеми, които могат да възникнат?
- Имаме две нива. На първо ниво разглеждаме каква информация пътува в дрона, тъй като информацията от сензорите все още се обработва, преди да достигне до изчислителното устройство. На второто ниво информацията се обменя между дроните и ние също го тестваме. Разглеждаме как тя е свързана с реалния свят.
- Дроните вече са различни - военни, граждански и други. Дали дроните, които обменят информация помежду си по този начин - това ли е специфичен клас?
- Не, всъщност всеки може да обменя.Честно казано не знам нито едно дрон устройство, което да не споделя информация. Дори когато управлявате с дистанционното управление, пак можете да го получите. Ето защо работим на доста високо ниво на абстракция, използвайки частни реализации, но като цяло това са доста общи решения - генерични, както се казва.
- През изминалата година видяхме случаи на безпилотни самолетисъздава проблеми за хората. Безпилотни самолети, които могат да се блъснат в самолети, безпилотни самолети, които блокираха пистите. Възможно ли е някак си да предотврати такива ситуации?
- Ако се контролира от човек, то самоначин - просто го събори. Това означава, че да поеме контрола, да го накара да направи това, което искаме, или просто физически да унищожи. Ако дронът е бил закупен, първоначално вече сглобен от някой, а ние го управляваме по поръчка, тогава можете да противодействате, знаейки тези стандартни алгоритми. Но сега да се събере един дрон е задача за началните университетски или гимназиални курсове. Много ръководства, части могат да бъдат закупени без проблеми, не е много скъпо. Следователно логиката, която ще бъде вътре в такива собствени безпилотни самолети, не може да бъде напълно стандартизирана.
- Казахте за прихващането на контрола. Доколкото е възможно, какво е необходимо за това?
- Ако разгледаме някои закупенисистема, ние знаем протоколите, на които комуникира. На теория можем да заменим контролния панел. Но това е такава нетривиална задача. От гледна точка на техниката и науката, това може да се направи. На практика това е много трудна инженерна задача. Но разрешими.
- Сега никой не знае как да направи това?
- Доколкото знам, никой. Във всеки случай тази информация не е публично достъпна.
- Какви други проблеми виждате в близко бъдеще, ако говорим за безпилотни самолети?
— За мен като охранител основният проблем ече системата няма да функционира така, както хората искат. Не говоря за „Матрицата“, а за това, че някъде може да се наруши логиката и поведението на системата. Искаме да видим един резултат, но ще има друг. Грубо казано, искаме да направим стадион от тези дронове. Основният проблем е, че тухлата в основата няма да бъде поставена според нуждите. Тоест, ние ще направим стадион глобално, но тези малки отклонения в конструкцията ще доведат до срутване на цялата конструкция.
- Ако програмираме целия софтуер за тези безпилотни летателни апарати, по каква причина може да сгрешат тези тухли?
- Вижте, светът на компютрите се състои от нули иедно, всичко е ясно. Изложихме тази логика и получихме отговор. Физическият свят се състои от диапазон от стойности от нула до едно. Това, което си представяме на изчислително ниво, може да не се преведе в реалния свят. Слънчев блясък, порив на вятъра и тухлата вече не беше подравнена правилно. Това е задачата на нов клон на науката - функционалната безопасност, произтичаща от информационната безопасност, когато се опитваме да се адаптираме към действията на околната среда и да разработим решение, което ще ни позволи да сглобим тухла независимо от външни фактори. А това е трудна задача. Има решения, но нито едно от тях не гарантира напълно успех.
- В масовия достъп дроните се появиха не толкова отдавна. Смятате ли, че ситуацията ще продължи да бъде същата, че мога да си купя един дрон? Сега това се смята за играчка, може ли това да се промени?
- Аз не съм адвокат, но по приятен начин трябва да бъдевъведе някои ограничения. От поредицата „да си купя голям безпилотен самолет без никакви документи, лицензи и други неща е погрешно“. Купи играчка дрон? Защо не, той е малко вероятно да причини много щети. Тук отново историята е, че ако желаете, всичко може да бъде увито в негативна светлина. Ето защо аз, човек, свързан с науката, бих искал това да е публично достъпно. Но човек, който ходи по улиците, би искал да бъдат наложени някои разумни ограничения. Това е разумно.
Рой разузнаване - в роботи и хора
- Участвахте в предсказването на поведението на хората.в аварийни ситуации и симулирали го въз основа на трагедията в "Храма кон". Ясно е как можете да създадете модел на цифров бар. Но как можете да предскажете поведението на хората? Въз основа на какви данни?
- Не, всъщност. Човекът се държи доста спонтанно, особено в спешни случаи. Но имаме хипотеза, която изпитахме чрез моделиране на възникналата ситуация.
– Как моделирахте поведението на хората? Вашите резултати бяха изключително близки до реалността.
- Ако говорим за логиката, която е тамзаложена, това е така наречената роячна интелигентност. Осредняване на движението, избор на условни водачи, движение към изходи и т.н. Доста банален принцип. Като цяло, принципът на всяка интелигентност - имаме частица, която може да се държи много глупаво, има много банални и прости принципи. Но в крайна сметка ефектът се получава, когато цялата система се държи изключително интелигентно.
- Сега говорите по отношение на технологиите, които са по-приложими. Ако говорим за хора, това е същото?
- Роботът е изграден на принципа на човека. Ако взема система от човек и го приложа на робот, то поне мога да използвам системата от робот до човек. В областта на ИТ тези правила са формулирани за много дълго време. Поне от 1986 г. насам.
- Всъщност, вие доказахте, че работи публично?
- Да, опитахме и работи. Аз не съм социолог, а не психолог, но ми се струва, че резултатът от гледна точка на провеждането на научен експеримент се оказа истински: човек в спешни случаи се спуска до доста банално ниво на поведение. И това банално ниво може да бъде копирано от поведението на птиците, условно. По принцип се оказа.
"По-добре да ме убият от дете": етика на безпилотни летателни апарати
- Говорихте за етични въпросиБЛА и дилемата на избор дали трябва да убият някого. Проблемът с количката едва ли е възможен в реалния живот. Но като цяло смятате ли, че трябва да програмирате такива неща? И могат ли те да се появят в реалния живот?
- Те определено ще възникнат в реалния живот, иако не го програмираме, какво ще се случи тогава? Виж, ние разработихме алгоритъм, машината функционира, всичко върви, а след това се случва бабата и детето да избягаха от различни краища на пътя. Ако не изложим логиката на поведение в този случай, тогава бихме се отрекли от морална отговорност за него. Това е стъпка към страхливостта, мисля.
incut
"Ако не поставим определен модел на поведение в безпилотна система в такава ситуация, какво ще направи?"
— Зависи от системата. Може би ще се опита да минимизира рисковете си и условно да свали този, който е по-близо.
- Казвате, че трябва да програмираме всичко. Кой тогава трябва да реши кой да свали?
- Струва ми се, че Масачузетс (MIT - “High-tech”) отиде по правилния път - демокрация.
Учени от Масачузетската технологияИнститут (MIT) направи игра, в която потребителят е поканен да избира между два варианта на поведение на безпилотен автомобил в случай на етични дилеми. Резултатът беше глобално проучване, в което милиони хора участваха в стотици страни. Оказа се, че хората в различни страни имат различни идеи за това как дроните трябва да се справят с етичните въпроси.
- Значи трябва да гласуваме, кой би трябвало да свали дрон?
- Не точно. Трябва да има социологическо проучване, което да ни позволи да направим избор. Цялото човечество ще отговаря за това, а не само един програмист.
- Смятате ли, че това ще работи, хората ще го приемат?
- Това тепърва ще предизвиква недоволство, т.кголям брой хора получиха избор и някой естествено няма да се съгласи с него. Но ако изобщо няма избор и вместо това има авторитарно решение, тогава това не е съвсем справедливо.