Ілля Вікснін, ИТМО - про роболжі, функціональної безпеки і демократичному вирішенні проблеми вагонетки

Чи може дрон брехати?

- Тема вашої лекції - «Навіщо ми змушуємо роботів брехати». Брехня в її класичному

розумінні - навмисне надання невірної інформації, володіючи вірною. Як це розуміти в контексті роботів?

- У нашому випадку брехня - це коли інформація протому, як влаштований реальний світ, зовні не відповідає тому, що ми зчитуємо і передаємо. З якої причини? У нас зламався датчик і ми дійсно так бачимо, або фальсифікуючи в ім'я фальсифікації, або ще з якоїсь причини. Коли ми з вами спілкуємося, я можу брехати. Тому що я помиляючись у своїх висновках або погано бачу. Вам це не важливо, для вас ця інформація буде помилковою в будь-якому випадку. Тому ми і розглядали методи управління, які дозволяють систему зробити безпечною.

- Коли ви говорите про роботів і «мультиагентні системи», то маєте на увазі безпілотні апарати?

- Ні, це просто найпопулярніший напрям. Зараз найпопулярніші теми - це безпілотні літальні апарати.

- Ви тестируете варіанти вирішення проблем, які можуть виникнути?

- У нас є два рівня. На першому рівні ми дивимося, яка інформація подорожує всередині дрона, тому що інформація з датчиків все одно обробляється перед тим, як потрапити на обчислювальний пристрій. На другому рівні між дронамі відбувається обмін інформацією, і її теж тестуємо. Дивимося, як вона співвідноситься з реальним світом.

- Дронь зараз бувають різні - військові, цивільні та інші. Дронь, які так обмінюються інформацією один з одним, - це якийсь специфічний клас?

- Ні, по суті, все можуть обмінюватися. Я, чесно кажучи, не знаю ні одного пристрою з безпілотників, яка не обмінюється інформацією. Навіть коли ви керуєте з пульта, все одно можна отримати її. Ось тому ми працюємо на досить високому рівні абстракції з застосуванням приватних реалізацій, але в цілому це досить загальні рішення - дженерик, що називається.

- За останній рік ми бачили випадки, коли дронистворювали проблеми для людей. Дронь, які можуть врізатися в літаки, дрони, які блокували злітні смуги. Чи можна такі ситуації якось запобігати?

- Якщо це управляється людиною, то єдинийспосіб - просто його збити. Тобто перехопити управління, змусити його робити так, як нам хочеться, або просто фізично знищити. Якщо дрон був закуплений, спочатку вже зібраний кимось, і ми їм управляємо кастомними, - то можна протидіяти, знаючи ці стандартні алгоритми. Але зараз зібрати дрона - завдання для початкових курсів університету або старших класів школи. Мінлива купа, деталі можна закупити без проблем, варто це не дуже дорого. Тому логіка, яка буде всередині таких власних дронів, не може бути стандартизована в повній мірі.

- Ви сказали про перехоплення контролю. Наскільки це можливо, що для цього потрібно?

- Якщо ми розглядаємо якусь закупленусистему, то знаємо протоколи, на яких вона спілкується. У теорії ми можемо підмінити пульт управління. Але це така нетривіальна задача. З точки зору інженерії і науки, це можна зробити. На практиці це дуже складна інженерна задача. Але можна вирішити.

- Зараз ніхто не вміє цього робити?

- Наскільки я знаю, ніхто. У всякому разі, такої інформації у відкритому доступі не зустрічається.

- Які ще проблеми ви бачите, які можуть виникнути найближчим часом, якщо ми говоримо про безпілотники?

- Для мене як безпечники основна проблема втому, що система буде функціонувати не так, як хоче чоловік. Це я не до «Матриці», а до того, що десь можуть бути порушені логіка і поведінку системи. Ми хочемо бачити один результат, а буде інший. Грубо кажучи, хочемо побудувати з цих дронів стадіон. Основна проблема в тому, що цеглинка в фундаменті буде поставлений не так, як потрібно. Тобто глобально ми побудуємо стадіон, але ці маленькі відхилення всередині конструкції приведуть до того, що вся конструкція завалиться.

- Якщо ми програмуємо весь софт для цих дронів, з якої причини вони можуть поставити ці цеглинки неправильно?

- Дивіться, світ комп'ютерів складається з нулів іодиничок, все чітко. Ми заклали таку логіку, отримали відповідь. Фізичний світ складається з проміжку значень від нуля до одиниці. Те, що ми закладаємо на обчислювальному рівні, в реальному світі може не відповідати. Блик сонця, порив вітру, - і цеглинка вже встав не так. Ось це завдання нового розділу науки - функціональної безпеки, похідною від інформаційної, коли ми намагаємося підлаштуватися під дії навколишнього середовища і виробити таке рішення, яке дозволить нам зібрати цеглинка безвідносно зовнішніх факторів. І це складне завдання. Вона має рішення, але жодне з них повністю не гарантує успіх.

- У масовому доступі дрони з'явилися не так давно. Ви думаєте, ситуація надалі буде такою ж, що я зможу піти і купити дрон? Зараз вважається іграшкою, чи може це змінитися?

- Я не юрист, але, по-хорошому, повинні бутивведені якісь обмеження. Із серії «купувати великий безпілотник без якихось документів, ліцензій та іншого - неправильно». Купувати іграшковий безпілотник? Чому немає, він навряд чи принесе великої шкоди. Тут знову історія в тому, що при бажанні все можна обернути в негативному світлі. Тому мені - людині, пов'язаній з наукою, хотілося б, щоб це все було доступно. Але людині, яка ходить по вулицях, хотілося б, щоб були введені якісь розумні обмеження. Саме розумні.

Ройовий інтелект - в роботах і людей

- Ви займалися прогнозуванням поведінки людейв надзвичайних ситуаціях і моделювали це на основі трагедії в «Хромой лошади». Зрозуміло, як можна створити цифрову модель бару. Але як ви можете прогнозувати поведінку людей? На основі яких даних?

- Ніяк, по суті. Людина взагалі поводиться досить спонтанно, особливо в екстрених випадках. Але у нас є гіпотеза, яку ми перевірили за допомогою моделювання на ситуації, яка сталася.

- Як ви змоделювали поведінку людей? Ваші результати були дуже близькі до реальності.

- Якщо говорити про логіку, яка тамзакладалася, то це так званий ройовий інтелект. Усереднення руху, вибір умовних лідерів, рух до виходів та інше. Досить тривіальний принцип. Взагалі принцип будь-якого інтелекту - у нас є частинка, яка може вести себе дуже нерозумно, у неї дуже банальні і прості принципи. Але в підсумку виходить ефект, коли вся система веде себе вкрай розумно.

- Ви зараз говорите термінами, більше застосовними до технологій. Якщо говорити про людей, все так же?

- Робот побудований на принципах людини. Якщо я беру систему від людини і застосовую її на робота, то, по крайней мере, можу застосувати систему від робота до людини. В області ІТ ці правила сформульовані дуже давно. Як мінімум з 1986.

- По суті, ви довели, що це працює і на людях?

- Так, ми спробували, і це працює. Я не соціолог і не психолог, але мені здається, результат з точки зору проведення наукового експерименту вийшов вірним: людина в екстрених випадках опускається до досить банального рівня поведінки. І цей банальний рівень може бути скопійований з поведінки птахів, умовно. В принципі, вийшло.

«Нехай краще зіб'ють мене, ніж дитини»: етика безпілотників

- Ви говорили про етичні проблемибезпілотників і дилему вибору, якщо їм доведеться когось вбити. Проблема вагонетки навряд чи можлива в реальному житті. Але взагалі ви вважаєте, що треба програмувати такі речі? І чи можуть вони виникнути в реальному житті?

- Вони, безумовно, виникнуть в реальному житті, іякщо ми не станемо це програмувати, - то що буде тоді? Дивіться, ми розробили алгоритм, машина функціонує, все їздить, а потім трапляється така ситуація, що бабуся і дитина вибігли з різних кінців дороги. Якщо ми не закладаємо логіку поведінки в такому випадку, то як би знімаємо з себе моральну відповідальність за це. Це певний крок до боягузтва, як мені здається.

врізка

- Якщо ми не закладаємо в безпілотну систему певну модель поведінки при такій ситуації, що вона зробить?

- Це залежить від системи. Може, спробує мінімізувати свої ризики і, умовно, зіб'є того, хто ближче.

- Ви говорите, що ми повинні це все програмувати. Хто тоді повинен вирішувати, кого збивати?

- Мені здається, що Массачусетс (MIT - «Хайтек») пішов правильним шляхом - демократія.

Вчені з Массачусетського технологічногоінституту (MIT) зробили гру, в якій користувачеві пропонується зробити вибір між двома варіантами поведінки безпілотного автомобіля в разі етичної дилеми. В результаті вийшло глобальне дослідження, в якому взяли участь мільйони людей в сотнях країн. Виявилося, що люди в різних країнах мають різні уявлення про те, як безпілотники повинні вирішувати етичні питання.

- Тобто ми повинні голосувати, кого повинен збивати безпілотник?

- Не зовсім. Повинно бути проведено соціологічне дослідження, яке дозволить нам зробити вибір. За нього буде у відповіді все людство, а не один програміст.

- Ви вважаєте, що це буде працювати, люди візьмуть це?

- Це все одно викличе невдоволення, тому щовеликій кількості людей було надано вибір, і хтось буде з ним, природно, не згоден. Але якщо цього вибору зовсім не буде, а замість нього - авторитарне рішення, то це не зовсім чесно.