Ilya Viksnin, ITMO - 볼가, 기능 안전 및 트롤리 문제의 민주적 해결책

무인 항공기가 거짓말 할 수 있니?

―클래식에 있습니다.

로봇의 맥락에서 이것을 어떻게 이해해야 할까요?

"우리의 경우, 거짓말은 현실 세계가 어떻게 작동하는지에 대한 정보가 외부와 일치하지 않을 때입니다우리는 고장난 센서를 가지고 있는데 우리는 그것을 실제로 그렇게 보거나, 위조라는 이름으로 위조하거나, 또는 다른 이유로 그것을 위조합니다.당신과 내가 의사 소통을 할 때, 나는 내 결론이 틀리거나 잘 볼 수 없기 때문에 거짓말을 할 수 있습니다.어쨌든 이 정보는 당신에게 거짓일 것입니다.그렇기 때문에 시스템을 안전하게 만드는 관리 방법을 살펴보았습니다.

- 로봇과 "다중 에이전트 시스템"에 대해 이야기 할 때 무인 차량을 의미합니까?

- 아니, 이것은 가장 인기있는 목적지 일 뿐이다. 지금 대중적인 화제는 무인 공중 차량이다.

- 발생할 수있는 문제에 대한 해결책을 테스트합니까?

- 우리는 두 가지 수준이 있습니다. 첫 번째 단계에서는 센서의 정보가 컴퓨팅 장치에 도달하기 전에 처리되기 때문에 무인 항공기 내부에서 어떤 정보가 이동하는지 살펴 봅니다. 두 번째 레벨에서는 무인 항공기 사이에 정보가 교환되며 테스트도 진행됩니다. 우리는 이것이 실제 세계와 어떻게 관련되어 있는지 살펴 봅니다.

- 드론은 이제 군대, 민간 및 다른 사람들과 다릅니다. 무인 항공기가 이런 방식으로 서로 정보를 교환하고 있습니까? 이것이 특정한 클래스입니까?

솔직히 정보를 공유하지 않는 드론 장치는 단 한 대도 없습니다.리모컨으로 제어하는 경우에도 여전히 얻을 수 있습니다.그렇기 때문에 우리는 개인 구현을 사용하여 상당히 높은 수준의 추상화로 작업하지만 일반적으로 이것들은 매우 일반적인 솔루션입니다.

- 지난 1 년 동안 우리는 드론사람들을위한 문제를 만들었습니다. 비행기로 추락 할 수있는 드론, 활주로를 막은 무인 항공기. 그런 상황을 어떻게 든 방지 할 수 있습니까?

- 그것이 사람에 의해 제어된다면, 유일한방법 - 그냥 노크. 즉, 통제권을 행사하거나, 우리가 원하는대로하거나, 단지 물리적으로 파괴하도록하십시오. 초기에 누군가에 의해 조립 된 무인 항공기를 구입하여 관습에 따라 관리한다면,이 표준 알고리즘을 알고, 대응할 수 있습니다. 그러나 현재 무인 항공기를 조립하는 것은 초등 대학 또는 고등학교 과정을위한 과제입니다. 많은 설명서, 부품을 문제없이 구입할 수 있으며, 비용이 많이 들지 않습니다. 그러므로, 그러한 드론 내부의 논리는 완전히 표준화 될 수 없습니다.

- 통제 차단에 대해서 말 했잖아요. 가능한 한이 일에 필요한 것은 무엇입니까?

- 구입 한 제품을 고려한 경우시스템에서 우리는 그것이 통신하는 프로토콜을 알고 있습니다. 이론 상으로는 제어판을 교체 할 수 있습니다. 그러나 이것은 아주 사소한 작업입니다. 공학과 과학의 관점에서이 작업을 수행 할 수 있습니다. 실제로 이것은 매우 어려운 엔지니어링 작업입니다. 그러나 해결할 수 있습니다.

- 이제는 아무도이 작업을 수행하는 방법을 모릅니다.

- 내가 아는 한, 아무도. 어떤 경우에도 그러한 정보는 공개적으로 이용 가능하지 않습니다.

- 우리가 무인 항공기에 대해 이야기하고 있다면 가까운 장래에 발생할 수있는 다른 문제는 무엇입니까?

"보안 전문가로서 저에게 가장 큰 문제는 시스템이매트릭스를 말하는 것이 아니라 다른 사람이 할 수 있는 일을 말하는 것입니다.우리는 하나의 결과를보고 싶지만 하나의 결과가있을 것입니다.대략적으로 말하자면, 우리는 이 드론으로 경기장을 짓고 싶습니다.가장 큰 문제는 기초에 벽돌이 있다는 것입니다즉, 전 세계적으로 우리는 경기장을 지을 것이지만 구조 내의 이러한 작은 편차는전체 구조가 무너질 것이라는 사실에.

- 우리가이 무인 비행기에 대한 모든 소프트웨어를 프로그램한다면, 어떤 이유로이 벽돌을 잘못 설치할 수 있습니까?

"이봐요, 컴퓨터의 세계는 0과 1로 이루어져 있고, 모든 것이 명확합니다.우리는 이 논리를 세웠고, 답을 얻었습니다.계산 수준에서 입력한 작업을 실제 세계에서 수행할 수 있습니다태양이 반짝이고, 돌풍이 불고, 벽돌은 이미 엉뚱한 곳에 있었다.이것은 새로운 과학 분야인 기능 안전의 과제입니다.정보 제공, 우리가 환경의 행동에 적응하고 다음을 가능하게 하는 솔루션을 개발하려고 할 때그리고 이것은 어려운 작업입니다.해결책이 있지만 그 중 어느 것도 완전히 보장하지는 않습니다성공.

- 대량 액세스 드론에서 너무 오래 전에 등장하지 않았다. 상황이 계속 동일 할 것이라고 생각합니까? 제가 가서 무인 항공기를 살 수 있습니까? 이제 장난감으로 생각해도 될까요?

- 나는 변호사가 아니지만 우호적 인 방식으로해야한다.몇 가지 제한 사항을 도입했습니다. "문서, 라이센스 및 기타 사항없이 큰 무인기를 구입하는 시리즈"에서 잘못되었습니다. 장난감 무인기를 사다가? 왜, 그는 많은 피해를 입히지 않을 것입니다. 다시 말하면, 원한다면 모든 것이 부정적으로 정리 될 수 있다는 것입니다. 따라서 나는 과학에 관련된 사람으로서이 모든 것을 공개적으로 이용할 수 있기를 바랍니다. 그러나 거리를 걷는 사람은 합리적인 제한을 가하기를 원합니다. 그것은 합리적입니다.

군대 지능 - 로봇과 인간에서

- 당신은 사람들의 행동을 예측하는 데 관여했습니다.비상 사태에서 "비열한 말"의 비극을 토대로 그것을 시뮬레이션했다. 디지털 막대 모델을 만드는 방법은 분명합니다. 그러나 사람들의 행동을 어떻게 예측할 수 있습니까? 어떤 데이터를 기반으로합니까?

- 아니, 사실. 사람은 일반적으로 매우 자연스럽게 행동합니다. 특히 비상 사태의 경우 특히 그렇습니다. 그러나 우리는 가설을 가지고 있는데, 우리는 그 상황을 모델링하여 테스트했습니다.

— 사람들의 행동을 어떻게 모델링했나요?

- 우리가 거기에있는 논리에 대해 이야기한다면이것은, 소위 떼 지능이라고합니다. 동의 평균화, 조건부 지도자 선택, 출구 이동 등. 아주 사소한 원칙. 일반적으로 모든 지능의 원리 - 우리는 매우 어리석은 행동을 할 수있는 입자를 가지고 있습니다. 그것은 매우 진부하고 단순한 원리를 가지고 있습니다. 그러나 결국 전체 시스템이 매우 지능적으로 행동 할 때 그 효과가 얻어집니다.

- 기술에보다 적합한 용어로 말하고 있습니다. 우리가 사람들에 대해서 이야기한다면, 그것은 똑같은가요?

- 로봇은 사람의 원칙에 입각 해 만들어졌습니다. 사람으로부터 시스템을 가져 와서 로봇에 적용하면 적어도 로봇에서 사람에게 시스템을 적용 할 수 있습니다. IT 분야에서는 이러한 규칙이 오랫동안 공식화됩니다. 적어도 1986 년 이후.

- 실제로, 당신은 그것이 공개적으로 작동한다는 것을 증명 했습니까?

- 네, 시도해 보았습니다. 저는 심리학자가 아닌 사회 학자는 아니지만 과학적 실험을 수행한다는 관점에서 본 결과는 사실로 드러났습니다. 응급 상황에 처한 사람이 다소 평범한 행동 수준으로 내려갔습니다. 그리고이 평범한 수준은 조건에 따라 새의 행동에서 복사 될 수 있습니다. 원칙적으로, 그것은 나왔다.

"나는 아이보다 살해당하는 것이 낫다": UAVs의 윤리

- 윤리적 인 문제에 관해서 이야기하셨습니까?UAV와 누군가를 죽여야 만한다면 딜레마. 트롤리의 문제는 실제 생활에서는 거의 불가능합니다. 그러나 일반적으로 그런 것들을 프로그램 할 필요가 있다고 생각합니까? 그리고 그들은 실제 생활에서 발생할 수 있습니까?

- 그들은 실생활에서 분명히 생길 것입니다.우리가 그것을 프로그래밍하지 않는다면 어떻게 될 것인가? 알고리즘을 개발했고, 기계가 작동하고, 모든 것이 진행되고, 할머니와 자식이 도로의 다른 끝에서 달아났습니다. 이 사건에서 우리가 행동 논리를 내려 놓지 않는다면, 우리는 도덕적 책임을 포기할 것입니다. 이것은 비겁한 방향으로 나아가는 단계라고 생각합니다.

사이드 바

"그런 상황에서 무인 시스템에 특정 행동 모델을 넣지 않는다면 어떻게 될 것인가?"

"시스템에 따라 다릅니다.어쩌면 그는 위험을 최소화하려고 노력할 것이고, 조건부로 더 가까운 사람을 때릴 것이다.

- 우리 모두 다 프로그램해야한다고. 그럼 누가 누가 쏘라고 결정할 것인가?

- 매사추세츠 (MIT - "하이테크")가 올바른 길 - 민주주의를 이뤘다.

매사추세츠 기술 과학자Institute (MIT)는 윤리적 딜레마의 경우 사용자가 무인 차량 행동의 두 가지 변형 중에서 선택하도록 초대 된 게임을 만들었습니다. 그 결과 수백만 명의 사람들이 수백 개 국가에 참여한 세계적 연구였습니다. 다른 나라의 사람들은 무인 항공기가 윤리적 문제를 어떻게 처리해야하는지에 대한 아이디어가 다릅니다.

- 그래서 우리는 투표해야합니다, 누가 무인 항공기를 격추해야합니까?

사회학적 연구가 수행되어야 하며, 이를 통해 우리는 다음을 수행할 수 있습니다.한 명의 프로그래머가 아닌 모든 인류가 책임을 져야 합니다.

- 그것이 효과가 있다고 생각하니, 사람들이 받아 들일 것입니까?

"많은 사람들에게 선택권이 주어졌고 누군가는 그럴 것이기 때문에 여전히 불만을 야기할 것입니다그러나 그러한 선택의 여지가 전혀 없고 권위주의적 결정이 아니라면 그것은 완전히 공정하지 않습니다.