Ilya Viksnin, ITMO - über Wolga, funktionale Sicherheit und demokratische Lösung des Wagenproblems

Kann eine Drohne lügen?

— Das Thema Ihres Vortrags ist „Warum zwingen wir Roboter zum Lügen?“ Liegt in seinem Klassiker

Verstehen – absichtlich falsche Informationen bereitstellen und gleichzeitig über korrekte Informationen verfügen. Wie verstehen wir das im Kontext von Robotern?

— In unserem Fall liegt eine Lüge vor, wenn Informationen darüber vorliegenDie Art und Weise, wie die reale Welt funktioniert, entspricht nicht dem, was wir nach außen lesen und weitergeben. Aus welchem ​​Grund? Unser Sensor ist kaputt und wir sehen es wirklich so, oder wir fälschen es um der Fälschung willen oder aus einem anderen Grund. Wenn wir kommunizieren, kann ich lügen. Weil ich in meinen Schlussfolgerungen falsch liege oder schlecht sehe. Es spielt für Sie keine Rolle, diese Informationen werden für Sie in jedem Fall falsch sein. Deshalb haben wir uns mit Kontrollmethoden befasst, die das System sicher machen.

- Wenn Sie von Robotern und "Multi-Agent-Systemen" sprechen, meinen Sie unbemannte Fahrzeuge?

- Nein, dies ist nur das beliebteste Reiseziel. Die beliebtesten Themen sind nun unbemannte Luftfahrzeuge.

- Testen Sie Lösungen für eventuell auftretende Probleme?

- Wir haben zwei Ebenen. Auf der ersten Ebene schauen wir uns an, welche Informationen sich in der Drohne befinden, da die Informationen der Sensoren noch verarbeitet werden, bevor sie das Computergerät erreichen. Auf der zweiten Ebene werden Informationen zwischen den Drohnen ausgetauscht, und wir testen sie auch. Wir schauen, wie es sich auf die reale Welt bezieht.

- Drohnen sind jetzt anders - militärisch, zivil und andere. Sind Drohnen, die auf diese Weise Informationen austauschen, eine bestimmte Klasse?

- Nein, eigentlich kann jeder tauschen.Ehrlich gesagt kenne ich kein einziges Drohnengerät, das keine Informationen weitergibt. Selbst wenn Sie mit der Fernbedienung steuern, können Sie es noch erhalten. Aus diesem Grund arbeiten wir mit privaten Implementierungen auf einem relativ hohen Abstraktionsniveau, aber im Allgemeinen handelt es sich um recht allgemeine Lösungen – Generika, wie man sagt.

- Im vergangenen Jahr haben wir Fälle gesehen, in denen Drohnen eingesetzt wurdenProbleme für die Menschen geschaffen. Drohnen, die in Flugzeuge stürzen können, Drohnen, die die Landebahnen blockierten. Kann man solche Situationen irgendwie verhindern?

- Wenn es vom Menschen kontrolliert wird, dann nur nochWeise - einfach niederschlagen. Das heißt, um die Kontrolle zu übernehmen, ihn dazu zu bringen, zu tun, was wir wollen, oder einfach nur physisch zu zerstören. Wenn die Drohne gekauft wurde, anfangs bereits von jemandem zusammengebaut wurde und wir sie nach Kundenwünschen handhaben, können Sie dem Wissen um diese Standardalgorithmen entgegenwirken. Nun, eine Drohne zusammenzubauen, ist eine Aufgabe für Grund- oder Hochschulkurse. Viele Handbücher, Teile können problemlos gekauft werden, es ist nicht sehr teuer. Daher kann die Logik, die sich in solchen eigenen Drohnen befindet, nicht vollständig standardisiert werden.

- Sie sagten über das Abhören der Kontrolle. Was ist soweit möglich dafür nötig?

- Wenn wir einige gekauft habenSystem kennen wir die Protokolle, über die es kommuniziert. Theoretisch können wir das Bedienfeld austauschen. Dies ist jedoch eine nicht unbedeutende Aufgabe. Aus technischer und wissenschaftlicher Sicht ist dies möglich. In der Praxis ist dies eine sehr schwierige Engineering-Aufgabe. Aber lösbar.

- Jetzt weiß niemand, wie das geht?

- Soweit ich weiß, niemand. In jedem Fall sind solche Informationen nicht öffentlich verfügbar.

- Welche anderen Probleme sehen Sie in naher Zukunft, wenn wir über Drohnen sprechen?

— Für mich als Wachmann ist das Hauptproblemdass das System nicht so funktionieren wird, wie es die Menschen wollen. Ich spreche nicht von der „Matrix“, sondern davon, dass irgendwo die Logik und das Verhalten des Systems verletzt werden können. Wir wollen ein Ergebnis sehen, aber es wird ein anderes geben. Grob gesagt wollen wir aus diesen Drohnen ein Stadion bauen. Das Hauptproblem besteht darin, dass der Ziegel im Fundament nicht richtig platziert wird. Das heißt, wir werden weltweit ein Stadion bauen, aber diese kleinen Abweichungen innerhalb der Struktur werden zum Einsturz der gesamten Struktur führen.

- Wenn wir die gesamte Software für diese Drohnen programmieren, aus welchem ​​Grund können sie diese Steine ​​falsch stellen?

- Schauen Sie, die Welt der Computer besteht aus Nullen undErstens ist alles klar. Wir haben diese Logik dargelegt und eine Antwort erhalten. Die physische Welt besteht aus einem Wertebereich von Null bis Eins. Was wir uns auf rechnerischer Ebene vorstellen, lässt sich möglicherweise nicht auf die reale Welt übertragen. Ein greller Sonnenstrahl, ein Windstoß und schon war der Ziegel nicht mehr richtig ausgerichtet. Dies ist die Aufgabe eines neuen Wissenschaftszweigs – der funktionalen Sicherheit, abgeleitet von der Informationssicherheit, wenn wir versuchen, uns an die Einflüsse der Umwelt anzupassen und eine Lösung zu entwickeln, die es uns ermöglicht, einen Baustein unabhängig von äußeren Faktoren zusammenzubauen. Und das ist eine schwierige Aufgabe. Es gibt Lösungen, aber keine davon garantiert den vollständigen Erfolg.

- In der Masse erschienen vor nicht allzu langer Zeit Drohnen. Denken Sie, dass die Situation auch weiterhin so sein wird, dass ich eine Drohne kaufen kann? Jetzt als Spielzeug betrachtet, kann sich das ändern?

- Ich bin kein Rechtsanwalt, sollte es aber auf freundliche Weise tuneinige Einschränkungen eingeführt. Aus der Serie "Eine große Drohne ohne Dokumente, Lizenzen und andere Dinge zu kaufen ist falsch". Eine Spielzeugdrohne kaufen? Warum nicht, ist es unwahrscheinlich, dass er großen Schaden anrichtet. Auch hier heißt es, wenn man möchte, kann alles in ein negatives Licht gerückt werden. Daher möchte ich, eine mit der Wissenschaft verbundene Person, dies alles öffentlich zugänglich machen. Aber eine Person, die auf der Straße geht, möchte, dass einige vernünftige Einschränkungen auferlegt werden. Es ist vernünftig

Schwarmintelligenz - in Robotern und Menschen

- Sie waren an der Vorhersage des Verhaltens der Menschen beteiligt.in Notfallsituationen und simulierte es anhand der Tragödie in "The Lame Horse". Es ist klar, wie Sie ein digitales Balkenmodell erstellen können. Aber wie kann man das Verhalten der Menschen vorhersagen? Basierend auf welchen Daten?

- Nein, eigentlich. Der Mensch verhält sich im Allgemeinen recht spontan, besonders in Notfällen. Wir haben jedoch eine Hypothese, die wir durch Modellieren der aufgetretenen Situation getestet haben.

— Wie haben Sie das Verhalten der Menschen modelliert? Ihre Ergebnisse waren äußerst realitätsnah.

- Wenn wir über die Logik sprechen, die da istverpfändet, das ist die sogenannte Schwarmintelligenz. Mittelwertbildung der Bewegung, Auswahl bedingter Anführer, Bewegung zum Beenden usw. Ein triviales Prinzip. Im Allgemeinen das Prinzip jeder Intelligenz - wir haben ein Teilchen, das sich sehr dumm verhalten kann, es hat sehr banale und einfache Prinzipien. Am Ende wird der Effekt jedoch erzielt, wenn sich das gesamte System äußerst intelligent verhält.

- Sie sprechen jetzt in Bezug auf die Technologie. Wenn wir über Menschen sprechen, ist es dasselbe?

- Der Roboter baut auf den Prinzipien des Menschen auf. Wenn ich ein System von einer Person nehme und an einem Roboter anwende, kann ich das System zumindest von einem Roboter auf eine Person anwenden. Im IT-Bereich werden diese Regeln sehr lange formuliert. Zumindest seit 1986.

- Sie haben tatsächlich bewiesen, dass es in der Öffentlichkeit funktioniert?

- Ja, wir haben es versucht und es funktioniert. Ich bin kein Soziologe und kein Psychologe, aber es scheint mir, dass sich das Ergebnis eines wissenschaftlichen Experiments als wahr herausstellte: Eine Person in Notfällen fällt auf ein eher banales Verhaltensniveau ab. Und diese banale Ebene kann bedingt aus dem Verhalten von Vögeln kopiert werden. Im Prinzip hat sich herausgestellt.

"Ich sollte mich lieber umbringen als ein Kind": die Ethik der UAVs

- Sie sprachen über ethische FragenUAVs und das Dilemma der Wahl, wenn sie jemanden töten müssen. Das Problem des Wagens ist im wirklichen Leben kaum möglich. Aber denkst du im Allgemeinen, dass du solche Dinge programmieren musst? Und können sie im wirklichen Leben vorkommen?

- Sie werden auf jeden Fall im wirklichen Leben entstehen, undWenn wir es nicht programmieren, was passiert dann? Sehen Sie, wir haben einen Algorithmus entwickelt, die Maschine funktioniert, alles läuft, und dann passieren die Großmutter und das Kind an verschiedenen Enden der Straße. Wenn wir die Logik des Verhaltens in diesem Fall nicht festlegen, würden wir sozusagen die moralische Verantwortung dafür ablehnen. Ich denke, das ist ein Schritt in Richtung Feigheit.

Seitenleiste

"Wenn wir in einer solchen Situation kein bestimmtes Verhaltensmodell in ein unbemanntes System einbauen, was wird es dann tun?"

— Das hängt vom System ab. Vielleicht wird er versuchen, seine Risiken zu minimieren und unter bestimmten Bedingungen denjenigen abzuschießen, der näher ist.

- Sie sagen, wir müssen alles programmieren. Wer muss dann entscheiden, wen er abschießen soll?

- Es scheint mir, dass Massachusetts (MIT - "High-Tech") den richtigen Weg eingeschlagen hat - die Demokratie.

Wissenschaftler aus der Massachusetts-TechnologieDas Institute (MIT) hat ein Spiel entwickelt, in dem der Benutzer aufgefordert wird, zwischen zwei Varianten des Verhaltens eines unbemannten Fahrzeugs bei ethischen Dilemmas zu wählen. Das Ergebnis war eine globale Studie, an der Millionen von Menschen in Hunderten von Ländern teilgenommen haben. Es stellte sich heraus, dass die Menschen in verschiedenen Ländern unterschiedliche Vorstellungen davon haben, wie Drohnen mit ethischen Fragen umgehen sollen.

- Also müssen wir wählen, wer eine Drohne abschießen soll?

- Nicht wirklich. Es muss eine soziologische Studie geben, die es uns ermöglicht, eine Wahl zu treffen. Die gesamte Menschheit wird dafür verantwortlich sein, nicht nur ein Programmierer.

- Glauben Sie, dass dies funktionieren wird, werden die Leute es akzeptieren?

- Dies wird immer noch Unzufriedenheit hervorrufen, weilEine große Anzahl von Menschen wurde vor die Wahl gestellt, und natürlich wird jemand damit nicht einverstanden sein. Aber wenn es überhaupt keine Wahl gibt, sondern eine autoritäre Entscheidung, dann ist das nicht ganz fair.