Utviklere fra Facebook AI og 13 andre universiteter har laget det mest omfattende datasettet med videoer som ble tatt
855 av 74 frivillige deltok i datainnsamlingenbyer og 9 land. De filmet videoer med kamera og smarte briller. Under filmingen gikk deltakerne i gang med sine daglige aktiviteter: lage mat, velge dagligvarer i butikken, kommunisere med andre mennesker. Den totale lengden på postene var 3.025 timer.
For hver enkelt video er det en beskrivelse av hvahva som skjer i den. Også for en del av videoen er det andre detaljerte data om lyden, en tredimensjonal modell av rommet, synsretningen, samt stereoskopiske rammer tatt med et bærbart stereokamera fra én person og et sett med synkroniserte videoer laget av forskjellige personer på ett sted og samtidig, for eksempel brettspilltid.
Ved å bruke de innsamlede dataene kan du også lære spesifikke ferdigheter, for disse spesielle tematiske modulene er opprettet:
- For å trene episodisk hukommelse, når algoritmen skal svare på spørsmålet om hendelsene som har skjedd, for eksempel når jeg hadde en legetime i går.
- Forutsi fremtidige handlinger, for eksempel å huske å salte en rett eller ta ting ut av vaskemaskinen.
- Forstå hva en person gjør og hvordan objekter beveger seg i rammen.
- Spore samtalen og forstå hvem som sa hva i samtalen.
- En analyse av samspillet mellom mennesker, spesielt forståelsen av at kamerabæreren blir sett på eller adressert.
Forfatterne planlegger å publisere datasettet innen utgangen av november 2021, det vil være tilgjengelig etter at brukeren har signert lisensavtalen.
Les mer
Hawking hadde rett, men noen ganger feil: vitenskapsmannens mest vågale ideer
Astronomer har funnet ut at Jorden og solsystemet befinner seg i en gigantisk magnetisk tunnel
Frossen mammut og en mann i "asfalten": hvordan naturen stopper tiden