Udviklere fra Facebook AI og 13 andre universiteter har skabt det mest omfattende datasæt af videoer, der blev optaget
855 af 74 frivillige deltog i dataindsamlingenbyer og 9 lande. De filmede videoer med et kamera og smarte briller. Under optagelserne gik deltagerne i gang med deres daglige aktiviteter: lave mad, vælge dagligvarer i butikken, kommunikere med andre mennesker. Den samlede længde af optegnelserne var 3.025 timer.
Til hver enkelt video er der en beskrivelse af hvadhvad sker der i den. Også for en del af videoen er der andre detaljerede data om lyden, en tredimensionel model af rummet, synsretningen, samt stereoskopiske rammer taget med et bærbart stereokamera fra én person og et sæt synkroniserede videoer lavet af forskellige mennesker på ét sted og samtidig f.eks. brætspilstid.
Ved hjælp af de indsamlede data kan du også lære specifikke færdigheder, for disse specielle tematiske moduler er blevet oprettet:
- At træne episodisk hukommelse, når algoritmen skal svare på spørgsmålet om de hændelser, der er sket, for eksempel hvornår jeg havde en lægetid i går.
- Forudsige fremtidige handlinger, for eksempel at huske at salte en ret eller fjerne ting fra vaskemaskinen.
- At forstå, hvad en person laver, og hvordan objekter bevæger sig i rammen.
- Sporing af samtalen og forståelse af, hvem der sagde hvad i samtalen.
- En analyse af interaktionen mellem mennesker, især forståelsen af, at kamerabæreren bliver set på eller adresseret.
Forfatterne planlægger at udgive datasættet inden udgangen af november 2021; det vil være tilgængeligt, efter at brugeren har underskrevet licensaftalen.
Læs mere
Hawking havde ret, men nogle gange forkert: videnskabsmandens mest vovede ideer
Astronomer har fundet ud af, at Jorden og solsystemet befinder sig i en kæmpe magnetisk tunnel
Frossen mammut og en mand i "asfalten": hvordan naturen stopper tiden