Nous avons appris à identifier la langue des signes lors des appels vidéo

Les chercheurs ont présenté un système de détection de la langue des signes en temps réel. Elle peut dire quand

l'interlocuteur essaie de dire quelque chose ou simplementbouge le corps, la tête, les bras. Les scientifiques notent que cette tâche peut sembler facile pour une personne, mais auparavant, un tel système n'était disponible dans aucun des services d'appel vidéo - ils réagissent tous à n'importe quel son ou geste humain.

Le nouveau développement des chercheurs de Google est capable defaites-le avec une grande efficacité et une faible latence. Alors que les chercheurs notent que la détection de la langue des signes entraîne un retard ou une qualité vidéo dégradée, ce problème peut être résolu, et le modèle lui-même reste léger et fiable.

Le système exécute d'abord la vidéo à travers le modèle sousappelé PoseNet, qui évalue la position du corps et des membres dans chaque cadre. Des informations visuelles simplifiées sont envoyées à un modèle formé pour positionner les données de vidéos de personnes utilisant la langue des signes et comparent l'image à la façon dont les gens affichent habituellement certains mots.

Le modèle identifie correctement les mots et expressions avec80% de précision et avec une optimisation supplémentaire, il peut atteindre 91,5%. Considérant que la détection d'un "locuteur actif" dans la plupart des services fonctionne avec des retards, les chercheurs pensent qu'il s'agit de très grands nombres.

Voir aussi:

Il est possible de créer un réacteur thermonucléaire sur Terre. Quelles seront les conséquences?

Le glacier Doomsday s'est avéré plus dangereux que les scientifiques ne le pensaient. Nous disons l'essentiel

Au jour 3 de la maladie, la plupart des patients atteints de COVID-19 perdent leur odorat et souffrent souvent d'un nez qui coule