Um drone pode mentir?
— O tema da sua palestra é “Por que forçamos os robôs a mentir”. Encontra-se em seu clássico
— No nosso caso, mentira é quando informações sobrea forma como o mundo real funciona não corresponde ao que lemos e transmitimos para o exterior. Por que razão? Nosso sensor está quebrado e realmente vemos isso dessa forma, ou estamos falsificando-o por falsificação, ou por algum outro motivo. Quando nos comunicamos, posso mentir. Porque estou enganado nas minhas conclusões ou vejo mal. Não importa para você, esta informação será falsa para você em qualquer caso. É por isso que analisamos métodos de controle que tornam o sistema seguro.
- Quando você fala sobre robôs e “sistemas multiagentes”, você quer dizer veículos não-tripulados?
- Não, este é apenas o destino mais popular. Agora os tópicos mais populares são veículos aéreos não tripulados.
- Você testa soluções para problemas que podem surgir?
- Nós temos dois níveis. No primeiro nível, olhamos para o que a informação viaja dentro do drone, porque a informação dos sensores ainda é processada antes de chegar ao dispositivo de computação. No segundo nível, a informação é trocada entre os drones, e também estamos testando. Nós olhamos como isso se relaciona com o mundo real.
- Os drones agora são diferentes - militares, civis e outros. São os drones que trocam informações uns com os outros dessa maneira - essa é uma classe específica?
- Não, na verdade todos podem trocar.Sinceramente, não conheço um único drone que não compartilhe informações. Mesmo quando você controla com o controle remoto, você ainda pode obtê-lo. É por isso que trabalhamos com um nível bastante alto de abstração usando implementações privadas, mas em geral estas são soluções bastante gerais - genéricas, como dizem.
- Durante o ano passado, vimos casos em que dronescriou problemas para as pessoas. Drones que podem colidir com aviões, drones que bloquearam as pistas. É possível de alguma forma impedir tais situações?
- Se é controlado pelo homem, então o únicomaneira - apenas derrubá-lo. Isto é, para assumir o controle, faça-o fazer o que queremos, ou apenas destruir fisicamente. Se o drone foi comprado, inicialmente já montado por alguém, e nós o gerenciamos por costume, então você pode neutralizar, conhecendo esses algoritmos padrão. Mas agora montar um drone é uma tarefa para a universidade elementar ou para o ensino médio. Um monte de manuais, peças podem ser compradas sem problemas, não é muito caro. Portanto, a lógica que estará dentro desses próprios drones não pode ser totalmente padronizada.
- Você disse sobre a interceptação do controle. Tanto quanto possível, o que é necessário para isso?
- Se considerarmos alguns compradossistema, conhecemos os protocolos nos quais ele se comunica. Em teoria, podemos substituir o painel de controle. Mas esta é uma tarefa não trivial. Do ponto de vista da engenharia e da ciência, isso pode ser feito. Na prática, esta é uma tarefa de engenharia muito difícil. Mas solucionável.
- Agora ninguém sabe como fazer isso?
- Tanto quanto eu sei, ninguém. Em qualquer caso, essas informações não estão publicamente disponíveis.
- Que outros problemas você vê que podem surgir em um futuro próximo, se estamos falando de drones?
— Para mim, como segurança, o principal problema éque o sistema não funcionará da maneira que as pessoas desejam. Não estou falando da “Matriz”, mas do fato de que em algum lugar a lógica e o comportamento do sistema podem ser violados. Queremos ver um resultado, mas haverá outro. Grosso modo, queremos construir um estádio com esses drones. O principal problema é que o tijolo da fundação não será colocado conforme necessário. Ou seja, construiremos um estádio globalmente, mas esses pequenos desvios dentro da estrutura farão com que toda a estrutura desmorone.
- Se programarmos todo o software para esses drones, por que razão eles podem colocar esses tijolos errado?
- Olha, o mundo dos computadores consiste em zeros eum, tudo está claro. Apresentamos essa lógica e recebemos uma resposta. O mundo físico consiste em uma faixa de valores de zero a um. O que imaginamos no nível computacional pode não ser traduzido para o mundo real. Um brilho do sol, uma rajada de vento e o tijolo não estava mais alinhado corretamente. Esta é a tarefa de um novo ramo da ciência - a segurança funcional, derivada da segurança da informação, quando tentamos nos adaptar às ações do meio ambiente e desenvolver uma solução que nos permita montar um tijolo independentemente de fatores externos. E esta é uma tarefa difícil. Tem soluções, mas nenhuma delas garante completamente o sucesso.
- Nos drones de acesso em massa apareceu não há muito tempo. Você acha que a situação continuará a mesma, que eu posso comprar um drone? Agora considerado um brinquedo, isso pode mudar?
- Eu não sou advogado, mas, de uma maneira amigável, deveria serintroduziu algumas restrições. Da série “comprar um grande drone sem documentos, licenças e outras coisas está errado”. Compre um drone de brinquedo? Por que não, é improvável que cause muito dano. Aqui, novamente, a história é que, se você quiser, tudo pode ser embrulhado em uma luz negativa. Portanto, eu, uma pessoa associada à ciência, gostaria que tudo isso fosse publicamente disponível. Mas uma pessoa que anda pelas ruas gostaria que algumas restrições razoáveis fossem impostas. É razoável.
Inteligência de Enxame - em robôs e humanos
- Você estava envolvido em prever o comportamento das pessoas.em situações de emergência e simulado com base na tragédia em "The Lame Horse". Está claro como você pode criar um modelo de barra digital. Mas como você pode prever o comportamento das pessoas? Com base em quais dados?
- Na verdade não. O homem geralmente se comporta de maneira bastante espontânea, especialmente em casos de emergência. Mas temos uma hipótese, que testamos modelando a situação que ocorreu.
— Como você modelou o comportamento das pessoas? Seus resultados foram extremamente próximos da realidade.
- Se falamos sobre a lógica que está lápenhorada, esta é a chamada inteligência de enxame. Média de movimento, seleção de líderes condicionais, movimento para saídas e assim por diante. Um princípio bastante trivial. Em geral, o princípio de qualquer inteligência - nós temos uma partícula que pode se comportar muito boba, tem princípios muito banais e simples. Mas no final, o efeito é obtido quando todo o sistema se comporta de maneira extremamente inteligente.
- Agora você está falando em termos mais aplicáveis à tecnologia. Se falamos de pessoas, é o mesmo?
- O robô é construído sobre os princípios do homem. Se eu pegar um sistema de uma pessoa e aplicá-lo a um robô, então pelo menos eu posso aplicar o sistema de um robô a uma pessoa. No campo da TI, essas regras são formuladas há muito tempo. Pelo menos desde 1986.
- Na verdade, você provou que funciona em público?
- Sim, nós tentamos e funciona. Não sou sociólogo e não psicólogo, mas parece-me que o resultado do ponto de vista da condução de um experimento científico se tornou verdadeiro: uma pessoa em casos de emergência desce a um nível de comportamento bastante banal. E este nível banal pode ser copiado do comportamento dos pássaros, condicionalmente. Em princípio, acabou.
"É melhor eu ser morto do que uma criança": a ética dos UAVs
- Você falou sobre questões éticasUAVs e o dilema de escolha se eles tiverem que matar alguém. O problema do trolley é dificilmente possível na vida real. Mas, em geral, você acha que precisa programar essas coisas? E eles podem ocorrer na vida real?
- Eles definitivamente surgirão na vida real, ese não o programarmos, o que acontecerá então? Olha, nós desenvolvemos um algoritmo, a máquina está funcionando, tudo acontece, e então acontece que a avó e a criança saíram de diferentes pontas da estrada. Se não estabelecermos a lógica do comportamento neste caso, então, por assim dizer, negaríamos a responsabilidade moral por isso. Este é um passo para a covardia, eu acho.
Barra lateral
"Se não colocarmos um determinado modelo de comportamento em um sistema não tripulado em tal situação, o que ele fará?"
— Depende do sistema. Talvez ele tente minimizar seus riscos e, condicionalmente, abater quem estiver mais próximo.
- Você diz que temos que programar tudo. Quem então tem que decidir quem abater?
- Parece-me que Massachusetts (MIT - "High Tech") foi o caminho certo - a democracia.
Cientistas da Tecnologia de MassachusettsInstitute (MIT) fez um jogo em que o usuário é convidado a escolher entre duas variantes do comportamento de um veículo não tripulado no caso de dilemas éticos. O resultado foi um estudo global no qual milhões de pessoas participaram em centenas de países. Acontece que pessoas de diferentes países têm idéias diferentes sobre como os drones devem lidar com questões éticas.
- Então temos que votar, quem deve derrubar um drone?
- Na verdade. Deve haver um estudo sociológico que nos permita fazer uma escolha. Toda a humanidade será responsável por isso, não apenas um programador.
- Você acha que isso vai funcionar, as pessoas vão aceitar isso?
- Isso ainda causará insatisfação, poisfoi dada a um grande número de pessoas uma escolha e alguém naturalmente discordará dela. Mas se não houver escolha alguma e, em vez disso, houver uma decisão autoritária, então isto não é inteiramente justo.