Facebook-tutkimusryhmä on luonut Vid2Play-nimisen tekoälyn, joka voi saada pelihahmot näyttämään
Miten he tekivät sen
Ryhmä käytti kahta neuroverkkoa:Pose2Pose ja Pose2Frame. Ensin video syötetään Pose2Poseen, joka on suunniteltu tunnistamaan erityyppiset toiminnot, kuten tanssiminen, tenniksen pelaaminen tai miekkailu. Järjestelmä erottaa sitten henkilön hahmon sekä hänen varjonsa ja hänen käsissään olevat esineet taustasta ja lisää ne mustalle taustalle. Tämän jälkeen voit ohjata kohteen liikettä ohjaussauvalla tai näppäimistöllä.
Järjestelmän kouluttaminen kesti vainuseita lyhyitä videoita. Tekoäly pystyi poistamaan muita ihmisiä ja kompensoimaan erilaisia kamerakulmia. Tutkimus muistuttaa Adobe After Effectsin toimintoa, joka poistaa videosta tarpeettomat elementit, kuten turistit tai roskakorit.
Toistaiseksi animaatio ei ole täydellinen - kuva näyttää liukuvalta ja liikkeen alue on vähän rajoitettu. Tämä on kuitenkin suuri edistysaskel verrattuna aikaisempiin yrityksiin poimia merkin videosta.
Tämän innovaation avulla pelinkehittäjät voivat luoda omia hahmoja henkilökohtaisten videoiden perusteella tai lisätä suosikkipersoonallisuutensa YouTubesta. Liikkeet ovat realistisempia kuin luotaessa animaatiota manuaalisesti.