Czy dron może leżeć?
— Temat Twojego wykładu brzmi: „Dlaczego zmuszamy roboty do kłamstwa”. Leży w klasyce
— W naszym przypadku kłamstwem jest informacja osposób, w jaki działa świat rzeczywisty, nie odpowiada temu, co czytamy i przekazujemy na zewnątrz. Z jakiego powodu? Nasz czujnik jest zepsuty i naprawdę tak to widzimy, albo fałszujemy dla samego fałszowania, albo z innego powodu. Kiedy się komunikujemy, potrafię kłamać. Ponieważ mylę się we wnioskach lub źle widzę. Nie ma to dla Ciebie znaczenia, ta informacja i tak będzie dla Ciebie fałszywa. Dlatego przyjrzeliśmy się metodom kontroli, które czynią system bezpiecznym.
- Mówiąc o robotach i „systemach wieloagentowych”, masz na myśli pojazdy bezzałogowe?
- Nie, to tylko najpopularniejszy cel. Obecnie najpopularniejszymi tematami są bezzałogowe statki powietrzne.
- Czy testujesz rozwiązania problemów, które mogą się pojawić?
- Mamy dwa poziomy. Na pierwszym poziomie przyglądamy się, jakie informacje przemieszczają się wewnątrz drona, ponieważ informacje z czujników są nadal przetwarzane, zanim dotrą do urządzenia komputerowego. Na drugim poziomie informacje są wymieniane między dronami, a my również je testujemy. Patrzymy na to, jak odnosi się to do realnego świata.
- Drony są teraz inne - wojskowe, cywilne i inne. Czy drony, które wymieniają się informacjami w ten sposób - czy jest to konkretna klasa?
- Nie, właściwie każdy może wymieniać.Szczerze mówiąc, nie znam ani jednego urządzenia dronowego, które nie udostępnia informacji. Nawet jeśli sterujesz za pomocą pilota, nadal możesz to uzyskać. Dlatego pracujemy na dość wysokim poziomie abstrakcji, korzystając z prywatnych implementacji, ale generalnie są to rozwiązania dość ogólne – generyczne, jak to się mówi.
- W ciągu ostatniego roku widzieliśmy przypadki, w których dronystworzyło problemy dla ludzi. Drony, które mogą rozbić się na samoloty, drony, które blokowały pasy startowe. Czy można w jakiś sposób zapobiec takim sytuacjom?
- Jeśli jest kontrolowany przez człowieka, to jedynysposób - po prostu powal go. To znaczy, aby przejąć kontrolę, zmusić go do tego, co chcemy, lub po prostu fizycznie zniszczyć. Jeśli dron został zakupiony, początkowo już złożony przez kogoś i zarządzamy nim na zamówienie, wtedy możesz przeciwdziałać, znając te standardowe algorytmy. Ale teraz zebranie drona jest zadaniem dla szkół podstawowych lub szkół średnich. Wiele podręczników, części można kupić bez problemów, nie jest to bardzo drogie. Dlatego logiki, która będzie wewnątrz takich własnych dronów, nie można w pełni znormalizować.
- Powiedziałeś o przechwyceniu kontroli. O ile to możliwe, co jest do tego wymagane?
- Jeśli weźmiemy pod uwagę niektóre zakupionesystem, znamy protokoły, na których się komunikuje. Teoretycznie możemy wymienić panel sterowania. Ale to jest takie nietrywialne zadanie. Z punktu widzenia inżynierii i nauki można to zrobić. W praktyce jest to bardzo trudne zadanie inżynieryjne. Ale rozwiązywalne.
- Teraz nikt nie wie, jak to zrobić?
- O ile wiem, nikt. W każdym przypadku takie informacje nie są publicznie dostępne.
- Jakie inne problemy mogą pojawić się w najbliższej przyszłości, jeśli mówimy o dronach?
— Dla mnie, jako ochroniarza, głównym problemem jest toże system nie będzie działał tak, jak chcą ludzie. Nie mówię o „Matrixie”, ale o tym, że gdzieś może zostać naruszona logika i zachowanie systemu. Chcielibyśmy zobaczyć jeden wynik, ale będzie inny. Z grubsza rzecz biorąc, z tych dronów chcemy zbudować stadion. Głównym problemem jest to, że cegła w fundamencie nie zostanie ułożona zgodnie z potrzebą. Oznacza to, że zbudujemy stadion globalnie, ale te małe odchylenia w konstrukcji doprowadzą do zawalenia się całej konstrukcji.
- Jeśli zaprogramujemy całe oprogramowanie dla tych dronów, to z jakiego powodu mogą one źle wykorzystać te klocki?
- Spójrz, świat komputerów składa się z zer ijeden, wszystko jasne. Przedstawiliśmy tę logikę i otrzymaliśmy odpowiedź. Świat fizyczny składa się z zakresu wartości od zera do jednego. To, co sobie wyobrażamy na poziomie obliczeniowym, może nie przekładać się na świat rzeczywisty. Blask słońca, podmuch wiatru i cegła nie była już prawidłowo ułożona. To zadanie nowej gałęzi nauki – bezpieczeństwa funkcjonalnego, wywodzącego się z bezpieczeństwa informacji, kiedy staramy się dostosować do działań otoczenia i opracować rozwiązanie, które pozwoli nam złożyć cegłę niezależnie od czynników zewnętrznych. A to jest trudne zadanie. Ma rozwiązania, ale żadne z nich nie gwarantuje całkowitego sukcesu.
- W masowym dostępie drony pojawiły się nie tak dawno temu. Czy uważasz, że sytuacja będzie nadal taka sama, że mogę iść i kupić drona? Teraz za zabawkę, czy to może się zmienić?
- Nie jestem prawnikiem, ale w sposób polubowny powinien byćwprowadził pewne ograniczenia. Z serii „kupić duży dron bez dokumentów, licencji i innych rzeczy jest źle”. Kup drona zabawkowego? Dlaczego nie, prawdopodobnie nie spowoduje większych szkód. Tutaj znowu historia jest taka, że jeśli chcesz, wszystko może być opakowane w negatywne światło. Dlatego ja, osoba związana z nauką, chciałbym, aby to wszystko było publicznie dostępne. Ale osoba, która chodzi po ulicach, chciałaby nałożyć rozsądne ograniczenia. To jest rozsądne.
Inteligencja roju - w robotach i ludziach
- Brałeś udział w przewidywaniu zachowania ludzi.w sytuacjach awaryjnych i symulowane na podstawie tragedii w „The Lame Horse”. Jasne jest, jak można utworzyć cyfrowy model paska. Ale jak możesz przewidzieć zachowanie ludzi? Na podstawie jakich danych?
- W rzeczywistości nie. Człowiek na ogół zachowuje się spontanicznie, szczególnie w nagłych przypadkach. Mamy jednak hipotezę, którą przetestowaliśmy, modelując sytuację, która miała miejsce.
— Jak modelowałeś zachowanie ludzi? Twoje wyniki były bardzo zbliżone do rzeczywistości.
- Jeśli mówimy o logice, która tam jestzastawiony, to jest tak zwana inteligencja roju. Uśrednianie ruchu, wybór liderów warunkowych, ruch do wyjść i tak dalej. Całkiem trywialna zasada. Ogólnie rzecz biorąc, zasada wszelkiej inteligencji - mamy cząstkę, która może zachowywać się bardzo głupio, ma bardzo banalne i proste zasady. Ostatecznie efekt uzyskuje się, gdy cały system zachowuje się wyjątkowo inteligentnie.
- Mówisz teraz w kategoriach bardziej odpowiednich do technologii. Jeśli mówimy o ludziach, czy to samo?
- Robot jest zbudowany na zasadach człowieka. Jeśli wezmę system od osoby i zastosuję go do robota, to przynajmniej mogę zastosować system z robota do osoby. W dziedzinie IT zasady te są formułowane przez długi czas. Przynajmniej od 1986 roku.
- W rzeczywistości udowodniłeś, że działa publicznie?
- Tak, próbowaliśmy i to działa. Nie jestem socjologiem, a nie psychologiem, ale wydaje mi się, że wynik z punktu widzenia przeprowadzenia eksperymentu naukowego okazał się prawdziwy: osoba w nagłych przypadkach schodzi na dość banalny poziom zachowania. I ten banalny poziom może być skopiowany z zachowania ptaków, warunkowo. W zasadzie okazało się.
„Lepiej zabij mnie niż dziecko”: etyka UAV
- Mówiłeś o kwestiach etycznychUAV i dylemat wyboru, jeśli muszą kogoś zabić. Problem wózka jest praktycznie niemożliwy w prawdziwym życiu. Ale ogólnie, myślisz, że musisz zaprogramować takie rzeczy? Czy mogą wystąpić w prawdziwym życiu?
- Na pewno pojawią się w prawdziwym życiu ijeśli go nie zaprogramujemy, co się wtedy stanie? Spójrz, opracowaliśmy algorytm, maszyna działa, wszystko idzie, a potem zdarza się, że babcia i dziecko wybiegli z różnych końców drogi. Jeśli w tym przypadku nie określimy logiki zachowania, wówczas odrzucilibyśmy, jak gdyby, odpowiedzialność moralną za to. Myślę, że to krok w kierunku tchórzostwa.
Pasek boczny
- Jeśli w takiej sytuacji nie umieścimy pewnego modelu zachowania w systemie bezzałogowym, co on zrobi?
— To zależy od systemu. Być może spróbuje zminimalizować ryzyko i warunkowo zestrzeli tego, który jest bliżej.
- Mówisz, że musimy to wszystko zaprogramować. Kto następnie musi zdecydować, kto zestrzelić?
- Wydaje mi się, że Massachusetts (MIT - „High-tech”) poszło właściwą drogą - demokracja.
Naukowcy z Massachusetts TechnologyInstytut (MIT) stworzył grę, w której użytkownik jest proszony o wybranie jednego z dwóch wariantów zachowania bezzałogowego pojazdu w przypadku dylematów etycznych. Rezultatem było globalne badanie, w którym miliony ludzi uczestniczyły w setkach krajów. Okazało się, że ludzie w różnych krajach mają różne pomysły na to, jak drony powinny radzić sobie z kwestiami etycznymi.
- Więc musimy głosować, kto powinien zestrzelić drona?
- Nie bardzo. Musi istnieć badanie socjologiczne, które pozwoli nam dokonać wyboru. Za to odpowiedzialna będzie cała ludzkość, a nie tylko jeden programista.
- Czy uważasz, że to zadziała, ludzie to zaakceptują?
- To nadal będzie powodować niezadowolenie, ponieważduża liczba osób miała wybór i ktoś oczywiście się z tym nie zgodzi. Jeśli jednak w ogóle nie ma wyboru, a zamiast tego jest autorytarna decyzja, to nie jest to do końca sprawiedliwe.