AI se naučila překládat řeč do videa pomocí znakové řeči

Model založený na umělé inteligenci (AI) se naučil vytvářet fotorealistická videa

tlumočníky znakového jazyka. Tyto avatary překládají řeč do jazyka v reálném čase a mohou zlepšit přístup uživatelů k desítkám zdrojů.

Ben Sanders z University of Surrey(UK) a kolegové použili neurální síť, která převádí mluvený jazyk na znakovou řeč. Systém SignGAN koreluje tyto znaky s 3D modelem lidské kostry. Tým trénoval AI na videu od skutečných překladatelů znakového jazyka, učil ji vytvářet fotorealistické video založené na obrázcích.

Chytrá zařízení IKEA v kombinaci se scénáři

Dříve Google přišel s modelem, který to dokážečíst znakovou řeč během videohovorů. AI dokáže identifikovat „aktivně mluvící“, ale ignoruje partnera, pokud jen pohne rukama nebo hlavou.

Vědci představili detekční systémznakový jazyk v reálném čase. Dokáže rozlišit, kdy se účastník pokusí něco říct, nebo jednoduše pohne tělem, hlavou, pažemi. Vědci poznamenávají, že se tento úkol může pro člověka zdát snadný, ale dříve v žádné ze služeb videohovorů žádný takový systém neexistoval - všichni reagují na jakýkoli zvuk nebo gesto člověka.

Přečtěte si také

Satelitní snímky potvrdily, že se zemské klima mění nerovnoměrně

Nalezeno údajné království zmizelých Chetitů. Co našli archeologové?

Kvantové nanodiamanty mohou zlepšit přesnost lékařských testů