Utvecklare från Facebook AI och 13 andra universitet har skapat den mest omfattande datauppsättningen av videor som spelades in
855 av 74 volontärer deltog i datainsamlingenstäder och 9 länder. De filmade filmer med kamera och smarta glasögon. Under fotograferingen gick deltagarna om sina dagliga aktiviteter: laga mat, välja mat i butiken, kommunicera med andra människor. Den totala längden på posterna var 3025 timmar.
För varje enskild video finns en beskrivning av vadvad som händer i den. Även för en del av videon finns det andra detaljerade data om ljudet, en tredimensionell modell av rummet, synriktningen, samt stereoskopiska ramar tagna med en bärbar stereokamera från en person och en uppsättning synkroniserade videor gjorda av olika personer på ett ställe och samtidigt till exempel brädspelstid.
Med hjälp av de insamlade data kan du också lära dig specifika färdigheter; för detta har speciella tematiska moduler skapats:
- För att träna episodiskt minne, när algoritmen måste svara på frågan om de händelser som har inträffat, till exempel vilken tid jag hade en läkartid i går.
- Förutsäga framtida handlingar, till exempel att komma ihåg att salta en maträtt eller ta ut saker ur tvättmaskinen.
- Förstå vad en person gör och hur föremål rör sig i ramen.
- Spåra samtalet och förstå vem som sa vad i samtalet.
- En analys av interaktionen mellan människor, i synnerhet förståelsen för att kamerahållaren tittas på eller tas upp.
Författarna planerar att publicera datauppsättningen i slutet av november 2021. Den kommer att vara tillgänglig efter att användaren undertecknat licensavtalet.
Läs mer
Hawking hade rätt, men ibland fel: forskarens mest vågade idéer
Astronomer har kommit på att jorden och solsystemet befinner sig i en gigantisk magnetisk tunnel
Fryst mammut och en man i "asfalten": hur naturen stoppar tiden