Ilya Viksnin, ITMO - Volga hakkında, fonksiyonel güvenlik ve tramvay sorununun demokratik çözümü

Bir dron yalan söyleyebilir mi?

— Dersinizin konusu “Robotları neden yalan söylemeye zorluyoruz?” Klasikliğinde yatıyor

Anlama: Doğru bilgiye sahipken kasıtlı olarak yanlış bilgi vermek. Robotlar bağlamında bunu nasıl anlayacağız?

— Bizim durumumuzda yalan, hakkında bilgi verilmesidir.gerçek dünyanın işleyiş şekli dışarıda okuduklarımız ve ilettiklerimizle örtüşmüyor. Ne sebeple? Sensörümüz bozuk ve biz onu gerçekten öyle görüyoruz, ya da sahtelik olsun diye ya da başka bir sebepten dolayı onu tahrif ediyoruz. İletişim kurduğumuzda yalan söyleyebilirim. Çünkü sonuçlarımda yanılıyorum veya kötü görüyorum. Sizin için bir önemi yok, her halükarda bu bilgi sizin için yanlış olacaktır. Bu yüzden sistemi güvenli hale getiren kontrol yöntemlerine baktık.

- Robotlar ve “çoklu ajan sistemleri” hakkında konuşurken, insansız araçlar mı demek istiyorsunuz?

- Hayır, bu sadece en popüler yer. Şimdi en popüler konular insansız hava araçları.

- Ortaya çıkabilecek sorunların çözümlerini test ediyor musunuz?

- İki seviyemiz var. İlk aşamada, uçağın içinde hangi bilgilerin geçtiğine bakarız, çünkü sensörlerden gelen bilgiler bilgisayar aygıtına ulaşmadan önce hala işlenir. İkinci aşamada, bilgi uçağı arasında bilgi alışverişi yapılır ve biz de onu test ediyoruz. Gerçek dünyayla nasıl ilişkili olduğuna bakıyoruz.

- Dronlar artık farklı - askeri, sivil ve diğerleri. Bu şekilde birbirleriyle bilgi alışverişinde bulunan insansız uçaklar - bu özel bir sınıf mı?

- Hayır, aslında herkes takas yapabilir.Dürüst olmak gerekirse bilgi paylaşmayan tek bir drone cihazı bilmiyorum. Uzaktan kumandayla kontrol ettiğinizde bile yine de alabilirsiniz. Bu nedenle, özel uygulamaları kullanarak oldukça yüksek düzeyde soyutlamayla çalışıyoruz, ancak genel olarak bunlar oldukça genel çözümlerdir - dedikleri gibi jenerik çözümlerdir.

- Geçtiğimiz yıl boyunca erkek arıların vakalarını gördükinsanlar için problemler yarattı. Uçağa düşebilecek uçağı, pistleri tıkayan uçağı. Bu gibi durumları bir şekilde önlemek mümkün mü?

- Eğer adam tarafından kontrol edilirse, o zaman sadeceyol - sadece onu yıkmak. Yani kontrol altına almak, istediğimizi yapmasını sağlayın ya da sadece fiziksel olarak yok edin. Uçağı satın aldıysanız, başlangıçta zaten birileri tarafından monte edilmişse ve onu özel olarak yönetirsek, bu standart algoritmaları bilerek karşı koyabilirsiniz. Ancak şimdi bir dronun bir araya getirilmesi ilköğretim veya lise kursları için bir görevdir. Bir çok kılavuz, parçalar sorunsuz olarak satın alınabilir, çok pahalı değildir. Bu nedenle, bu tür uçağın içinde olacak olan mantık tam olarak standartlaştırılamaz.

- Kontrolün durdurulması hakkında dedin. Mümkün olduğunca, bunun için ne gereklidir?

- Satın aldığımızı düşünüyorsanızSistem, üzerinde iletişim kurduğu protokolleri biliyoruz. Teoride kontrol panelini değiştirebiliriz. Ancak bu önemsiz olmayan bir iştir. Mühendislik ve bilim açısından bakıldığında, bu yapılabilir. Uygulamada bu çok zor bir mühendislik işidir. Fakat çözülebilir.

- Şimdi kimse bunun nasıl yapıldığını bilmiyor?

- Bildiğim kadarıyla, hiç kimse. Her durumda, bu tür bilgiler halka açık değildir.

- Eğer dronlardan bahsediyorsak, yakın gelecekte ortaya çıkabilecek başka hangi problemleri görüyorsunuz?

— Bir güvenlik görevlisi olarak benim için asıl sorun şu:sistem insanların istediği gibi işlemeyecek. “Matrix”ten değil, sistemin mantığının ve davranışının bir yerlerde ihlal edilebileceği gerçeğinden bahsediyorum. Bir sonuç görmek istiyoruz ama başka bir sonuç olacak. Kabaca söylemek gerekirse bu dronelardan stadyum yapmak istiyoruz. Temel sorun temeldeki tuğlanın gerektiği gibi yerleştirilmemesidir. Yani dünya çapında bir stadyum yapacağız ama yapıdaki bu küçük sapmalar tüm yapının çökmesine yol açacak.

- Tüm yazılımı bu insansız hava aracı için programlarsak, hangi sebeple bu tuğlaları yanlış koyabilirler?

- Bakın bilgisayar dünyası sıfırlardan ve sıfırlardan oluşuyor.Bir, her şey açık. Biz bu mantığı ortaya koyduk ve cevabını aldık. Fiziksel dünya sıfırdan bire kadar bir dizi değerden oluşur. Hesaplama düzeyinde hayal ettiğimiz şey gerçek dünyaya tercüme edilmeyebilir. Güneşin parıltısı, şiddetli rüzgar ve tuğla artık doğru şekilde hizalanmıyordu. Bu, çevrenin eylemlerine uyum sağlamaya çalıştığımızda ve dış etkenlerden bağımsız olarak bir tuğlayı monte etmemizi sağlayacak bir çözüm geliştirmeye çalıştığımızda, bilgi güvenliğinden türetilen yeni bir bilim dalının görevidir - işlevsel güvenlik. Ve bu zor bir iştir. Çözümleri var ama hiçbiri başarıyı tam olarak garanti etmiyor.

- Toplu erişim uçakları çok uzun zaman önce ortaya çıktı. Durumun aynı olmaya devam edeceğini düşünüyor musun, gidip bir uçak alabilirim? Şimdi oyuncak sayılır, bu değişebilir mi?

- Ben avukat değilim ama dostane bir şekilde olmalıbazı kısıtlamalar getirdi. Diziden “hiçbir belge, lisans ve diğer şeyler olmadan büyük bir dron satın almak” yanlıştır. Bir oyuncak uçağı satın alıyor? Neden olmasın, fazla zarar vermesi muhtemel değil. Burada yine, hikaye, dilerseniz her şeyin olumsuz bir ışık altında toplanabileceğidir. Dolayısıyla ben, bilimle ilişkili bir insan olarak, bunun herkesin erişimine açık olmasını istiyorum. Ancak sokaklarda yürüyen bir kişi bazı makul kısıtlamaların uygulanmasını ister. Bu makul.

Sürü zekası - robotlarda ve insanlarda

- İnsanların davranışlarını tahmin etmeye karıştın.Acil durumlarda ve "Lame Horse" de trajedi temelinde simüle. Dijital çubuk modelini nasıl oluşturabileceğiniz açıktır. Fakat insanların davranışlarını nasıl tahmin edebilirsiniz? Hangi verilere dayanarak?

- Hayır, aslında. İnsan, özellikle acil durumlarda, genellikle kendiliğinden davranır. Fakat ortaya çıkan durumu modelleyerek test ettiğimiz bir hipotezimiz var.

— İnsanların davranışlarını nasıl modellediniz? Sonuçlarınız gerçeğe son derece yakındı.

- Mantık hakkında konuşursak, oradakipiyon, bu sözde sürü istihbarat. Hareket ortalaması, koşullu lider seçimi, çıkış hareketleri vb. Oldukça önemsiz bir ilke. Genel olarak, herhangi bir zekanın prensibi - çok aptalca davranabilen bir parçacık var, çok banal ve basit ilkelere sahip. Fakat sonuçta, etki tüm sistemin son derece akıllıca davranmasıyla elde edilir.

- Artık teknolojiye daha uygun şekilde konuşuyorsunuz. Eğer insanlar hakkında konuşursak, aynı mı?

- Robot insan prensiplerine dayanıyor. Bir sistemi bir kişiden alıp bir robota uygularsam, en azından sistemi bir robottan bir insana uygulayabilirim. BT alanında, bu kurallar çok uzun bir süredir formüle edilmiştir. En azından 1986'dan beri.

- Aslında, halka açık olduğunu kanıtladın mı?

- Evet, denedik ve işe yarıyor. Ben bir sosyolog değilim ve psikolog değilim, ama bana öyle geliyor ki, bilimsel bir deney yapma bakış açısının sonucunun doğru olduğu ortaya çıktı: acil durumlarda bir kişi oldukça banal bir davranış seviyesine iniyor. Ve bu banal seviye şartlı olarak kuşların davranışından kopyalanabilir. Prensip olarak ortaya çıktı.

“Beni bir çocuktan öldürmem daha iyi olur”: İHA'ların etiği

- Etik konular hakkında konuştunuzİHA'lar ve seçim ikilemi, birini öldürmek zorunda kalırlarsa. El arabasının sorunu gerçek hayatta pek mümkün değildir. Fakat genel olarak, böyle şeyleri programlamanız gerektiğini düşünüyor musunuz? Ve gerçek hayatta ortaya çıkabilirler mi?

- Gerçek hayatta kesinlikle ortaya çıkacaklar veeğer programlamazsak, sonra ne olacak? Bakın, bir algoritma geliştirdik, makine çalışıyor, her şey gidiyor ve sonra büyükannenin ve çocuğun yolun farklı yerlerinden kaçtıkları ortaya çıkıyor. Bu durumda davranış mantığını ortaya koymazsak, bunun gibi ahlaki sorumluluğu reddederiz. Sanırım bu korkaklığa doğru bir adım.

incut

- Böyle bir durumda insansız bir sisteme belirli bir davranış modeli koymazsak, ne yapacak?

— Sisteme bağlıdır. Belki risklerini en aza indirmeye çalışacak ve şartlı olarak daha yakın olanı vuracaktır.

- Hepsini programlamamız gerektiğini söyledin. Kim daha sonra kimin vurulacağına karar vermek zorunda?

- Bana öyle geliyor ki Massachusetts (MIT - “High-tech”) doğru yola gitti - demokrasi.

Massachusetts Teknolojisinden Bilim AdamlarıEnstitü (MIT), kullanıcının etik ikilemler durumunda insansız bir aracın davranışının iki değişkeni arasından seçim yapmaya davet edildiği bir oyun yaptı. Sonuç, yüzlerce ülkede milyonlarca insanın katıldığı küresel bir çalışma oldu. Farklı ülkelerdeki insanların dronların etik meselelerle nasıl başa çıkmaları gerektiği konusunda farklı fikirleri olduğu ortaya çıktı.

- Yani oy vermek zorundayız, kim bir insansız havaya uçurmalı?

- Tam olarak değil. Tercih yapmamızı sağlayacak sosyolojik bir çalışma olması lazım. Bundan sadece bir programcı değil, tüm insanlık sorumlu olacaktır.

- Bunun işe yarayacağını mı düşünüyorsunuz, insanlar kabul edecek mi?

- Bu yine de memnuniyetsizliğe neden olacaktır, çünküçok sayıda insana bir seçenek sunuldu ve birileri doğal olarak buna katılmayacaktır. Ancak hiçbir seçenek yoksa ve bunun yerine otoriter bir karar varsa, o zaman bu tamamen adil değil.