AI gözlükleri kamera kullanmadan "dudak okumayı" öğretti

Cornell Üniversitesi'ndeki araştırmacılar, sessiz konuşmayı tanımak için bir EchoSpeech arayüzü geliştirdi.

Akustik algıyı kullanan veDudak ve ağız hareketlerine dayalı 31'e kadar sesli komutun sürekli tanınması için yapay zeka. Bilgi işleme, veri gizliliğini sağlayan akıllı telefonda yerel olarak gerçekleştirilir.

EchoSpeech gözlükleri bir çift mikrofonla donatılmıştır vekalemin ucundaki silgiden daha küçük olan ve kamera kullanmayan hoparlörler. Cihaz, yüz kaslarının ve ağzın dinamiklerindeki değişiklikleri gösteren akustik dalgalar gönderip alıyor. Derin öğrenme algoritması bu yankı profillerini gerçek zamanlı olarak yaklaşık %95 doğrulukla analiz eder.

EchoSpeech nasıl çalışır? Resim: Ruidong Zhang ve ark.

Alınan veriler Bluetooth aracılığıyla şuraya iletilir:akıllı telefonda gerçek zamanlı olarak, cihazda yerel olarak işlenir ve saklanır. Geliştiriciler, EchoSpeech'in belirli bir kullanıcı için eğitiminin birkaç dakika sürdüğünü bildiriyor.

Konuşamayan insanlar için bu sessiz konuşma teknolojisi harika bir ses sentezleyici olabilir. Hastalara seslerini geri verebilir.

Ruidong Zhang, geliştirmenin ortak yazarı

En sessiz konuşma tanıma teknolojileriönceden tanımlanmış belirli bir dizi komutla sınırlıdır ve kullanıcının ve konuştuğu kişinin kameraya bakmasını veya kamerayı takmasını gerektirir. Bu, bu tür cihazları kullanma olasılığını önemli ölçüde karmaşıklaştırır. Ek olarak, büyük bir veri akışı bulutta işlenmesini gerektirir ve bu da kullanıcı gizliliğini ihlal eder.

Mevcut haliyle, EchoSpeech şunları yapabilir:gürültülü bir restoran veya sessiz bir kütüphane gibi konuşmanın uygunsuz veya uygunsuz olduğu yerlerde akıllı telefonunuz aracılığıyla başkalarıyla iletişim kurmak için kullanın. Geliştiriciler, sessiz konuşma arabiriminin CAD gibi bir kalem ve tasarım yazılımıyla eşleştirilebilir ve klavye ve fare ihtiyacını neredeyse tamamen ortadan kaldırabileceğini de ekliyor.

Daha fazla oku:

Bilim adamları, Dünya'ya benzer bir gezegenden gelen garip radyo sinyallerinin doğasını çözdüler.

İtalya'nın üzerinde kırmızı bir hale parladı. Şimdi doğası açıklandı

Webb, evrendeki en eski kara deliği buldu