Abbiamo imparato a identificare il linguaggio dei segni nelle videochiamate

I ricercatori hanno presentato un sistema di rilevamento della lingua dei segni in tempo reale. Può dire quando

l'interlocutore sta cercando di dire qualcosa o semplicementemuove il corpo, la testa, le braccia. Gli scienziati notano che questo compito può sembrare facile per una persona, ma in precedenza un tale sistema non era disponibile in nessuno dei servizi di videochiamata: tutti rispondono a qualsiasi suono o gesto umano.

Il nuovo sviluppo dei ricercatori di Google è in grado difallo con grande efficienza e bassa latenza. Mentre i ricercatori notano che il rilevamento del linguaggio dei segni porta a un ritardo oa una qualità video degradata, questo problema può essere risolto e il modello stesso rimane leggero e affidabile.

Il sistema esegue prima il video attraverso il modello sottochiamato PoseNet, che valuta la posizione del corpo e degli arti in ogni fotogramma. Le informazioni visive semplificate vengono inviate a un modello addestrato per posizionare i dati dai video di persone che utilizzano il linguaggio dei segni e confronta l'immagine con il modo in cui le persone di solito visualizzano determinate parole.

Il modello identifica correttamente parole ed espressioni conPrecisione dell'80% e con un'ottimizzazione aggiuntiva può raggiungere il 91,5%. Considerando che l'individuazione di un "oratore attivo" nella maggior parte dei servizi funziona con ritardi, i ricercatori ritengono che si tratti di numeri molto elevati.

Vedi anche:

È possibile creare un reattore termonucleare sulla Terra. Quali saranno le conseguenze?

Il ghiacciaio Doomsday si è rivelato più pericoloso di quanto pensassero gli scienziati. Diciamo la cosa principale

Al terzo giorno di malattia, la maggior parte dei pazienti COVID-19 perde il senso dell'olfatto e spesso soffre di naso che cola