Ilya Viksnin, ITMO - o Volze, funkční bezpečnosti a demokratickém řešení problému s vozíkem

Může ležet dron?

- Téma přednášky - "Proč děláme roboty." Lež v její klasice

porozumění - úmyslné poskytování nesprávných informací, které vlastní správné. Jak tomu rozumět v kontextu robotů?

- V našem případě je lež, když informace ojak je organizován reálný svět, neodpovídá tomu, co čteme a vysíláme venku. Z jakého důvodu? Rozdělili jsme senzor a opravdu ho vidíme, nebo ho zfalšujeme ve jménu padělání, nebo z nějakého jiného důvodu. Když komunikujeme, můžu lhát. Protože jsem se mýlila ve svých závěrech nebo vidím špatně. Nezáleží na vás, pro vás budou tyto informace v každém případě nepravdivé. Z tohoto důvodu jsme se zabývali metodami řízení, které umožňují, aby byl systém bezpečný.

- Když mluvíte o robotech a „multi-agentových systémech“, máte na mysli vozidla bez posádky?

- Ne, tohle je jen nejoblíbenější destinace. Nejoblíbenějšími tématy jsou bezpilotní dopravní prostředky.

- Testujete řešení problémů, které mohou nastat?

- Máme dvě úrovně. Na první úrovni se podíváme na to, jaké informace putují uvnitř dronu, protože informace ze senzorů jsou stále zpracovávány před tím, než se dostane do výpočetního zařízení. Na druhé úrovni se mezi drony vyměňují informace a my to také testujeme. Podíváme se na to, jak to souvisí se skutečným světem.

- Drones jsou nyní jiní - vojenští, civilní a jiní. Jsou droni, kteří si takto vyměňují informace - je to určitá třída?

- Ne, vlastně každý může sdílet. Upřímně nevím žádné z UAV zařízení, která si nevyměňují informace. I když ovládáte z dálkového ovladače, můžete si ho stále nechat. Proto pracujeme na poměrně vysoké úrovni abstrakce s využitím soukromých implementací, ale celkově se jedná o obecná řešení - obecná, jak se říká.

- V uplynulém roce jsme zaznamenali případy, kdy se jedná o dronyproblémy pro lidi. Drony, které mohou narazit do letadel, dronů, které zablokovaly dráhy. Je možné takové situace nějak zabránit?

- Pokud je ovládán člověkem, pak jen- prostě to srazil. To znamená, aby převzal kontrolu, udělal mu to, co chceme, nebo jen fyzicky zničit. Pokud byl dron zakoupen, zpočátku již někdo sestavil a my ho spravujeme na zakázku, pak můžete tyto standardní algoritmy znát. Ale teď k sestavení drone je úkol pro základní univerzitní nebo střední školy kurzy. Mnoho manuálů, dílů lze zakoupit bez problémů, není to příliš drahé. Proto logika, která bude uvnitř takových vlastních dronů, nemůže být plně standardizována.

- Řekl jste o zachycení kontroly. Co je na tom možné?

- Pokud vezmeme v úvahu nějaké koupenésystému, známe protokoly, na kterých komunikuje. Teoreticky můžeme nahradit ovládací panel. Ale je to takový netriviální úkol. Z hlediska inženýrství a vědy to lze udělat. V praxi se jedná o velmi obtížný technický úkol. Ale řešitelný.

- Nikdo neví, jak to udělat?

- Pokud vím, nikdo. V každém případě takové informace nejsou veřejně dostupné.

- Jaké další problémy vidíte v blízké budoucnosti, pokud hovoříme o dronech?

- Pro mě jako bezpečnou osobu je hlavní problémže systém nebude fungovat tak, jak chce člověk. To nejsem k „Matrixu“, ale k tomu, že logiku a chování systému lze někam porušit. Chceme vidět jeden výsledek, ale bude další. Zhruba řečeno, chceme z těchto dronů postavit stadion. Hlavním problémem je, že cihla v nadaci bude uvedena nesprávným způsobem. To znamená, že na celém světě stavíme stadion, ale tyto malé odchylky uvnitř struktury povedou ke skutečnosti, že se celá konstrukce zhroutí.

- Pokud naprogramujeme veškerý software pro tyto drony, z jakého důvodu mohou tyto cihly špatně?

- Svět počítačů se skládá z nul ajeden, všechno je jasné. Stanovili jsme tuto logiku, dostali odpověď. Fyzický svět se skládá z rozsahu hodnot od nuly do jedné. To, co klademe na výpočetní úroveň, nemusí v reálném světě odpovídat. Odlesky slunce, poryv větru, - a cihla se už špatně zvedla. To je úkol nové sekce vědy - funkční bezpečnosti, odvozené z informací, kdy se snažíme přizpůsobit činnostem životního prostředí a vyvinout řešení, které nám umožní sestavit cihlu bez ohledu na vnější faktory. A je to obtížný úkol. Má řešení, ale žádný z nich plně nezaručuje úspěch.

- V masovém přístupu se drony nezdali tak dávno. Myslíte si, že situace bude i nadále stejná, že můžu jít a koupit drone? Teď je to hračka, může to změnit?

- Nejsem právník, ale smírně by to mělo býtzavedena některá omezení. Ze seriálu „koupit velký drone bez jakýchkoli dokumentů, licencí a dalších věcí je špatně“. Koupit hračku drone? Proč ne, je nepravděpodobné, že by způsobil mnoho škod. Opět platí, že příběh je, že pokud si přejete, všechno může být zabaleno do negativního světla. Proto bych, já, člověk spojený s vědou, rád, aby to bylo veřejně dostupné. Ale člověk, který chodí po ulicích, by rád uvalil rozumná omezení. Je to rozumné.

Rozvědka rojů - v robotech a lidech

- Byl jste zapojen do předvídání chování lidí.v nouzových situacích a simuloval to na základě tragédie v "The Lame Horse". Je jasné, jak můžete vytvořit digitální model. Jak ale můžete předvídat chování lidí? Na základě jakých dat?

- Ne, ve skutečnosti. Člověk se obecně chová zcela spontánně, zejména v nouzových případech. Ale máme hypotézu, kterou jsme testovali modelováním situace, která nastala.

- Jak jste simulovali chování lidí? Vaše výsledky byly velmi blízké realitě.

- Pokud mluvíme o logice, která je tamje to takzvaná inteligence rojů. Průměrování pohybu, výběr podmíněných vůdců, pohyb do východu a tak dále. Docela triviální princip. Obecně platí, že princip jakékoli inteligence - máme částici, která se může chovat velmi hloupě, má velmi banální a jednoduché principy. Nakonec se však tento efekt dosáhne, když se celý systém chová velmi inteligentně.

- Nyní mluvíte v termínech, které se více týkají technologie. Pokud mluvíme o lidech, je to totéž?

- Robot je postaven na principech člověka. Pokud vezmu systém od osoby a aplikuji ho na robota, pak můžu alespoň použít systém z robota na osobu. V oblasti IT jsou tato pravidla formulována na velmi dlouhou dobu. Alespoň od roku 1986.

- Ve skutečnosti jste dokázal, že funguje na veřejnosti?

- Ano, snažili jsme se a funguje to. Nejsem sociolog a ne psycholog, ale zdá se mi, že výsledek z hlediska provádění vědeckého experimentu se ukázal být pravdivý: člověk v nouzových případech klesá na spíše banální úroveň chování. A tato banální úroveň může být kopírována z chování ptáků, podmíněně. V zásadě to dopadlo.

„Raději mě zabiju než dítě“: etika UAV

- Mluvil jste o etických otázkáchUAV a dilema volby, pokud musí někoho zabít. Problém vozíku je v reálném životě sotva možný. Ale obecně si myslíte, že takové věci potřebujete naprogramovat? A mohou se objevit v reálném životě?

- Určitě vzniknou v reálném životě apokud to neprogramujeme, co se stane potom? Podívejme, vyvinuli jsme algoritmus, stroj funguje, všechno jde, a pak se stane, že babička a dítě vyběhly z různých konců silnice. Nebudeme-li v tomto případě logiku chování, pak bychom odmítli morální odpovědnost za ni. To je krok směrem ke zbabělosti.

Boční panel

"Pokud do takové situace nepostavíme určitý model chování do bezpilotního systému, co bude dělat?"

- Záleží na systému. Možná se bude snažit minimalizovat svá rizika a podmíněně svrhnout toho, kdo je blíž.

- Říkáte, že musíme všechno naprogramovat. Kdo se pak musí rozhodnout, kdo sestřelí?

- Zdá se mi, že Massachusetts (MIT - „High-tech“) šel správnou cestou - demokracií.

Vědci z Massachusetts TechnologyInstitut (MIT) vytvořil hru, ve které si uživatel může vybrat mezi dvěma variantami chování bezpilotního vozidla v případě etických dilemat. Výsledkem byla globální studie, na které se miliony lidí podílely ve stovkách zemí. Ukázalo se, že lidé v různých zemích mají různé představy o tom, jak by se droni měli zabývat etickými otázkami.

- Musíme tedy hlasovat, kdo by měl sestřelit drone?

- Vlastně ne. Mělo by být provedeno sociologické šetření, které nám umožní výběr. Celé lidstvo za to bude zodpovědné, ne jen jeden programátor.

- Myslíte si, že to bude fungovat, lidé to přijmou?

- Stále to způsobí nespokojenost, protoževelký počet lidí dostal na výběr a někdo by s ním přirozeně nesouhlasil. Pokud však tato volba vůbec není a místo ní je to autoritářské rozhodnutí, není to zcela upřímné.