Un drone peut-il mentir?
— Le sujet de votre conférence est « Pourquoi forçons-nous les robots à mentir ? » Se trouve dans son classique
— Dans notre cas, un mensonge, c'est lorsque des informations surla manière dont fonctionne le monde réel ne correspond pas à ce que nous lisons et transmettons à l’extérieur. Pour quelle raison? Notre capteur est cassé et nous le voyons vraiment de cette façon, ou nous le falsifions pour le plaisir de falsifier, ou pour une autre raison. Quand nous communiquons, je peux mentir. Parce que je me trompe dans mes conclusions ou que je vois mal. Cela n’a pas d’importance pour vous, cette information sera de toute façon fausse pour vous. C'est pourquoi nous avons étudié les méthodes de contrôle qui assurent la sécurité du système.
- Quand vous parlez de robots et de «systèmes multi-agents», vous voulez dire des véhicules sans pilote?
- Non, c'est juste la destination la plus populaire. Maintenant, les sujets les plus populaires sont les véhicules aériens sans pilote.
- Testez-vous des solutions aux problèmes pouvant survenir?
- Nous avons deux niveaux. Au premier niveau, nous examinons quelles informations circulent à l'intérieur du drone, car les informations provenant des capteurs sont toujours traitées avant d'atteindre le périphérique informatique. Au deuxième niveau, les informations sont échangées entre les drones et nous les testons également. Nous regardons comment cela se rapporte au monde réel.
- Les drones sont maintenant différents - militaires, civils et autres. Les drones qui échangent des informations entre eux de cette manière sont-ils une classe spécifique?
- Non, en fait, tout le monde peut échanger.Honnêtement, je ne connais pas un seul drone qui ne partage pas d’informations. Même lorsque vous contrôlez avec la télécommande, vous pouvez toujours l'obtenir. C'est pourquoi nous travaillons à un niveau d'abstraction assez élevé en utilisant des implémentations privées, mais en général ce sont des solutions assez générales - génériques, comme on dit.
- Au cours de l'année écoulée, nous avons vu des cas de dronescréé des problèmes pour les gens. Des drones pouvant heurter des avions, des drones bloquant les pistes. Est-il possible d'empêcher de telles situations?
- Si elle est contrôlée par l'homme, alors le seulmanière - il suffit de l'abattre. Autrement dit, prendre le contrôle, lui faire faire ce que nous voulons, ou tout simplement détruire physiquement. Si le drone a été acheté, initialement assemblé par quelqu'un, et que nous le gérons selon vos besoins, vous pouvez neutraliser en connaissant ces algorithmes standard. Mais à présent, assembler un drone est une tâche primordiale pour une université élémentaire ou une école secondaire. Beaucoup de manuels, les pièces peuvent être achetées sans problèmes, ce n'est pas très cher. Par conséquent, la logique qui sera à l’intérieur de tels drones ne peut être entièrement normalisée.
- Vous avez parlé de l'interception du contrôle. Autant que possible, que faut-il pour cela?
- Si l'on considère certains achetéssystème, nous connaissons les protocoles sur lesquels il communique. En théorie, nous pouvons remplacer le panneau de commande. Mais c’est une tâche non négligeable. Du point de vue de l'ingénierie et de la science, cela peut être fait. En pratique, c'est une tâche d'ingénierie très difficile. Mais résoluble.
- Maintenant, personne ne sait comment faire ça?
- Pour autant que je sache, personne. Dans tous les cas, ces informations ne sont pas accessibles au public.
- Quels autres problèmes voyez-vous qui pourraient survenir dans un avenir proche, si nous parlons de drones?
— Pour moi, en tant qu'agent de sécurité, le principal problème estque le système ne fonctionnera pas comme les gens le souhaitent. Je ne parle pas de la « Matrice », mais du fait que quelque part la logique et le comportement du système peuvent être violés. Nous voulons voir un résultat, mais il y en aura un autre. En gros, nous voulons construire un stade avec ces drones. Le principal problème est que la brique dans la fondation ne sera pas placée comme nécessaire. Autrement dit, nous construirons un stade à l’échelle mondiale, mais ces petits écarts au sein de la structure entraîneront l’effondrement de la structure entière.
- Si nous programmons tous les logiciels pour ces drones, pour quelle raison peuvent-ils mettre ces briques en erreur?
- Écoute, le monde des ordinateurs est constitué de zéros etun, tout est clair. Nous avons exposé cette logique et reçu une réponse. Le monde physique est constitué d'une plage de valeurs allant de zéro à un. Ce que nous envisageons au niveau informatique peut ne pas se traduire dans le monde réel. Un éclat de soleil, un coup de vent, et la brique n'était plus correctement alignée. C'est la tâche d'une nouvelle branche de la science - la sécurité fonctionnelle, dérivée de la sécurité de l'information, lorsque l'on essaie de s'adapter aux actions de l'environnement et de développer une solution qui nous permettra d'assembler une brique indépendamment des facteurs externes. Et c'est une tâche difficile. Il existe des solutions, mais aucune d’entre elles ne garantit complètement le succès.
- Dans l'accès de masse, les drones sont apparus il n'y a pas si longtemps. Pensez-vous que la situation va continuer à être la même, que je puisse aller acheter un drone? Maintenant considéré comme un jouet, cela peut-il changer?
- Je ne suis pas avocat, mais devrait être amicalementintroduit certaines restrictions. De la série "acheter un gros drone sans aucun document, licence ou autre, c'est mal". Acheter un drone de jouet? Pourquoi pas, il est peu probable qu'il cause beaucoup de dégâts. Ici encore, l’histoire est que, si vous le souhaitez, tout peut être présenté sous un jour négatif. Par conséquent, moi, une personne associée à la science, aimerais que tout soit accessible au public. Mais une personne qui marche dans la rue voudrait que des restrictions raisonnables soient imposées. C'est raisonnable.
Swarm intelligence - chez les robots et chez l'homme
- Vous avez été impliqué dans la prédiction du comportement des gens.dans des situations d'urgence et simulé sur la base de la tragédie de "The Lame Horse". Il est clair que vous pouvez créer un modèle de barre numérique. Mais comment pouvez-vous prédire le comportement des gens? Sur quelles données?
- Non, en fait. L'homme se comporte généralement assez spontanément, surtout en cas d'urgence. Mais nous avons une hypothèse que nous avons testée en modélisant la situation.
— Comment avez-vous modélisé le comportement des gens ? Vos résultats étaient extrêmement proches de la réalité.
- Si on parle de la logique qui est làmis en gage, c'est ce qu'on appelle l'intelligence des essaims. Calcul de la moyenne de mouvement, sélection de leaders conditionnels, mouvement vers des sorties, etc. Un principe assez trivial. En général, le principe de toute intelligence - nous avons une particule qui peut se comporter très bêtement, elle a des principes très banals et simples. Mais au final, l’effet est obtenu lorsque l’ensemble du système se comporte de manière extrêmement intelligente.
- Vous parlez maintenant de termes plus applicables à la technologie. Si on parle de gens, est-ce la même chose?
- Le robot est construit sur les principes de l'homme. Si je prends un système d'une personne et l'applique à un robot, alors au moins je peux appliquer le système d'un robot à une personne. Dans le domaine informatique, ces règles sont formulées depuis très longtemps. Au moins depuis 1986.
- En fait, vous avez prouvé que cela fonctionne en public?
- Oui, nous avons essayé, et ça marche. Je ne suis ni sociologue ni psychologue, mais il me semble que le résultat du point de vue de la conduite d’une expérience scientifique s’est avéré être vrai: une personne en situation d’urgence a un comportement plutôt banal. Et ce niveau banal peut être copié du comportement des oiseaux, conditionnellement. En principe, il s'est avéré.
«Je ferais mieux de me faire tuer qu’un enfant»: l’éthique des drones
- Vous avez parlé de questions éthiquesLes UAV et le dilemme du choix s’ils doivent tuer quelqu'un. Le problème du chariot est difficilement possible dans la vie réelle. Mais en général, pensez-vous que vous devez programmer de telles choses? Et peuvent-ils se produire dans la vraie vie?
- Ils vont certainement surgir dans la vraie vie, etsi on ne le programme pas, que se passera-t-il ensuite? Regardez, nous avons développé un algorithme, la machine fonctionne, tout se passe, puis il se trouve que la grand-mère et l'enfant se sont évanouis des deux côtés de la route. Si nous n'énonçons pas la logique de comportement dans ce cas, nous en déduirions en quelque sorte la responsabilité morale. C'est un pas en avant vers la lâcheté, je pense.
Barre latérale
"Si nous ne mettons pas un certain modèle de comportement dans un système sans pilote dans une telle situation, que fera-t-il?"
— Cela dépend du système. Peut-être qu'il essaiera de minimiser ses risques et, sous condition, d'abattre celui qui est le plus proche.
- Vous dites que nous devons tout programmer. Qui doit alors décider qui abattre?
- Il me semble que le Massachusetts (MIT - «High-tech») a suivi le bon chemin: la démocratie.
Scientifiques du Massachusetts TechnologyInstitute (MIT) a créé un jeu dans lequel l'utilisateur est invité à choisir entre deux variantes du comportement d'un véhicule sans pilote en cas de dilemmes éthiques. Le résultat est une étude mondiale à laquelle des millions de personnes ont participé dans des centaines de pays. Il s'est avéré que les habitants de différents pays ont des idées différentes sur la manière dont les drones devraient gérer les problèmes éthiques.
- Alors nous devons voter, qui devrait abattre un drone?
- Pas vraiment. Il faut une étude sociologique qui nous permette de faire un choix. C’est toute l’humanité qui en sera responsable, pas seulement un programmeur.
- Pensez-vous que cela fonctionnera, les gens l'accepteront?
- Cela provoquera quand même du mécontentement, carun grand nombre de personnes ont eu le choix, et quelqu’un sera naturellement en désaccord avec ce choix. Mais s’il n’y a aucun choix et qu’il y a une décision autoritaire, alors ce n’est pas tout à fait juste.