Ilya Viksnin, ITMO - sobre Volga, seguridad funcional y solución democrática del problema del trolley

¿Puede un drone mentir?

— El tema de su conferencia es “¿Por qué obligamos a los robots a mentir?” Miente en su clásico

comprensión: proporcionar deliberadamente información incorrecta mientras se posee información correcta. ¿Cómo entendemos esto en el contexto de los robots?

— En nuestro caso, una mentira es cuando la información sobrela forma en que funciona el mundo real no se corresponde con lo que leemos y transmitimos en el exterior. ¿Por qué razón? Nuestro sensor está roto y realmente lo vemos así, o lo estamos falsificando por falsificar, o por alguna otra razón. Cuando nos comunicamos, puedo mentir. Porque me equivoco en mis conclusiones o veo mal. No te importa, esta información será falsa para ti en cualquier caso. Por eso buscamos métodos de control que hagan que el sistema sea seguro.

- Cuando hablas de robots y "sistemas multiagente", ¿te refieres a vehículos no tripulados?

- No, este es el destino más popular. Ahora los temas más populares son los vehículos aéreos no tripulados.

- ¿Pruebas soluciones a problemas que puedan surgir?

- Tenemos dos niveles. En el primer nivel, observamos qué información viaja dentro del avión no tripulado, porque la información de los sensores aún se procesa antes de que llegue al dispositivo informático. En el segundo nivel, la información se intercambia entre los drones, y también la estamos probando. Nos fijamos en cómo se relaciona con el mundo real.

- Los drones ahora son diferentes - militares, civiles y otros. ¿Los drones que intercambian información entre sí de esta manera, es esta una clase específica?

- No, de hecho, todos pueden intercambiar.Sinceramente, no conozco ningún dispositivo dron que no comparta información. Incluso cuando lo controlas con el mando a distancia, aún puedes conseguirlo. Es por eso que trabajamos en un nivel bastante alto de abstracción utilizando implementaciones privadas, pero en general estas son soluciones bastante generales: genéricas, como dicen.

- En el último año hemos visto casos en los que los drones.Problemas creados para las personas. Drones que pueden estrellarse en aviones, drones que bloquean las pistas. ¿Es posible de alguna manera prevenir tales situaciones?

- Si está controlado por el hombre, entonces el único.camino - simplemente derríbalo. Es decir, para tomar el control, hacer que haga lo que queremos, o simplemente destruir físicamente. Si compró el dron, inicialmente ya lo montó alguien, y lo gestionamos por encargo, puede contrarrestarlo, conociendo estos algoritmos estándar. Pero ahora armar un avión no tripulado es una tarea para la escuela primaria o los cursos de secundaria. Una gran cantidad de manuales, piezas se pueden comprar sin problemas, no es muy caro. Por lo tanto, la lógica que estará dentro de dichos drones propios no se puede estandarizar completamente.

- Dijiste sobre la intercepción de control. En la medida de lo posible, ¿qué se requiere para esto?

- Si consideramos algunos comprados.En el sistema, conocemos los protocolos sobre los que se comunica. En teoría, podemos reemplazar el panel de control. Pero esta es una tarea no trivial. Desde el punto de vista de la ingeniería y la ciencia, esto se puede hacer. En la práctica, esta es una tarea de ingeniería muy difícil. Pero solucionable.

- ¿Ahora nadie sabe cómo hacer esto?

- Por lo que yo sé, nadie. En cualquier caso, dicha información no está disponible públicamente.

- ¿Qué otros problemas ve que pueden surgir en un futuro próximo, si estamos hablando de drones?

— Para mí, como guardia de seguridad, el principal problema esque el sistema no funcionará como la gente quiere. No me refiero a la "Matriz", sino al hecho de que en algún lugar se puede violar la lógica y el comportamiento del sistema. Queremos ver un resultado, pero habrá otro. En términos generales, queremos construir un estadio con estos drones. El principal problema es que el ladrillo en los cimientos no se colocará según sea necesario. Es decir, construiremos un estadio a nivel global, pero estas pequeñas desviaciones dentro de la estructura provocarán que toda la estructura se derrumbe.

- Si programamos todo el software para estos drones, ¿por qué motivo pueden poner estos ladrillos mal?

- Mira, el mundo de las computadoras se compone de ceros yuno, todo está claro. Presentamos esta lógica y recibimos una respuesta. El mundo físico consta de un rango de valores del cero al uno. Lo que imaginamos a nivel computacional puede no traducirse en el mundo real. Un resplandor de sol, una ráfaga de viento y el ladrillo ya no estaba correctamente alineado. Ésta es la tarea de una nueva rama de la ciencia: la seguridad funcional, derivada de la seguridad de la información, cuando intentamos adaptarnos a las acciones del entorno y desarrollar una solución que nos permita ensamblar un ladrillo independientemente de factores externos. Y esta es una tarea difícil. Tiene soluciones, pero ninguna garantiza completamente el éxito.

- En el acceso masivo aparecieron los drones no hace mucho tiempo. ¿Crees que la situación seguirá siendo la misma, que puedo ir a comprar un dron? Ahora considerado un juguete, ¿puede esto cambiar?

- No soy abogado, pero, de manera amistosa, debería serlo.Introdujo algunas restricciones. De la serie "comprar un drone grande sin documentos, licencias y otras cosas está mal". ¿Comprar un drone de juguete? Por qué no, es poco probable que cause mucho daño. Aquí nuevamente, la historia es que si lo desea, todo puede ser envuelto en una luz negativa. Por lo tanto, yo, una persona asociada con la ciencia, quisiera que todo esto esté disponible públicamente. Pero a una persona que camina por las calles le gustaría imponer algunas restricciones razonables. Es razonable

Inteligencia del enjambre - en robots y humanos

- Estuviste involucrado en predecir el comportamiento de las personas.en situaciones de emergencia y lo simuló sobre la base de la tragedia en "The Lame Horse". Está claro cómo se puede crear un modelo de barra digital. Pero, ¿cómo puedes predecir el comportamiento de las personas? Basado en que datos?

- No, de hecho. El hombre generalmente se comporta de manera bastante espontánea, especialmente en casos de emergencia. Pero tenemos una hipótesis, que probamos al modelar la situación que ocurrió.

— ¿Cómo modelaste el comportamiento de las personas? Sus resultados estuvieron extremadamente cerca de la realidad.

- Si hablamos de la lógica que está ahí.empeñado, esta es la llamada inteligencia de enjambre. Promedio de movimiento, selección de líderes condicionales, movimiento a salidas y así sucesivamente. Todo un principio trivial. En general, el principio de cualquier inteligencia: tenemos una partícula que puede comportarse de forma muy tonta, tiene principios muy simples y banales. Pero al final, el efecto se obtiene cuando todo el sistema se comporta de manera extremadamente inteligente.

- Ahora hablas en términos más aplicables a la tecnología. Si hablamos de personas, ¿es lo mismo?

- El robot está construido sobre los principios del hombre. Si tomo un sistema de una persona y lo aplico a un robot, al menos puedo aplicar el sistema de un robot a una persona. En el campo de TI, estas reglas están formuladas por un tiempo muy largo. Al menos desde 1986.

- De hecho, ¿probaste que funciona en público?

- Sí, lo intentamos, y funciona. No soy sociólogo ni psicólogo, pero me parece que el resultado desde el punto de vista de la realización de un experimento científico resultó ser cierto: una persona en casos de emergencia desciende a un nivel de conducta bastante banal. Y este nivel banal puede ser copiado del comportamiento de las aves, condicionalmente. En principio, resultó.

"Será mejor que me maten que a un niño": la ética de los UAV

- Hablaste de cuestiones éticas.UAVs y el dilema de la elección si tienen que matar a alguien. El problema del carro no es posible en la vida real. Pero en general, ¿crees que necesitas programar tales cosas? ¿Y pueden ocurrir en la vida real?

- Definitivamente surgirán en la vida real, ySi no lo programamos, ¿qué pasará entonces? Mire, hemos desarrollado un algoritmo, la máquina está funcionando, todo funciona, y luego sucede que la abuela y el niño salieron de diferentes extremos de la carretera. Si no establecemos la lógica del comportamiento en este caso, entonces, por así decirlo, rechazamos la responsabilidad moral por ello. Este es un paso hacia la cobardía, creo.

Barra lateral

"Si no ponemos un cierto modelo de comportamiento en un sistema no tripulado en una situación así, ¿qué hará?"

— Depende del sistema. Quizás intentará minimizar sus riesgos y, condicionalmente, derribar al que está más cerca.

- Dices que tenemos que programarlo todo. ¿Quién tiene que decidir a quién disparar?

- Me parece que Massachusetts (MIT - "Alta tecnología") fue por el buen camino: la democracia.

Científicos de la Tecnología de MassachusettsInstitute (MIT) creó un juego en el que se invita al usuario a elegir entre dos variantes del comportamiento de un vehículo no tripulado en el caso de dilemas éticos. El resultado fue un estudio global en el que millones de personas participaron en cientos de países. Resultó que las personas en diferentes países tienen diferentes ideas sobre cómo los drones deben tratar los problemas éticos.

- Entonces tenemos que votar, ¿quién debería derribar un drone?

- No precisamente. Debe haber un estudio sociológico que nos permita tomar una decisión. Toda la humanidad será responsable de ello, no sólo un programador.

- ¿Crees que esto funcionará, la gente lo aceptará?

- Esto seguirá causando insatisfacción, porquea un gran número de personas se les dio la opción y, naturalmente, alguien no estará de acuerdo con ella. Pero si no hay opción alguna y en lugar de ello hay una decisión autoritaria, entonces esto no es del todo justo.