Programiści z Facebook AI i 13 innych uniwersytetów stworzyli najszerszy zbiór danych na temat nakręconych filmów
W gromadzeniu danych wzięło udział 855 z 74 wolontariuszymiasta i 9 krajów. Filmowali filmy kamerą i inteligentnymi okularami. Podczas zdjęć uczestnicy byli zaangażowani w codzienne czynności: przygotowywanie jedzenia, wybieranie jedzenia w sklepie, komunikowanie się z innymi ludźmi. Łączna długość zapisów wynosiła 3025 godzin.
Dla każdego pojedynczego filmu znajduje się opis czegoco się w nim dzieje. Również w przypadku części wideo znajdują się inne szczegółowe dane dotyczące dźwięku, trójwymiarowy model pomieszczenia, kierunek patrzenia, a także klatki stereoskopowe wykonane za pomocą przenośnej kamery stereoskopowej od jednej osoby oraz zestaw zsynchronizowanych filmów wykonanych przez różne osoby w jednym miejscu i czasie, na przykład podczas gry planszowej.
Ponadto korzystając z zebranych danych można nauczyć się konkretnych umiejętności, w tym celu stworzono specjalne moduły tematyczne:
- Do nauczania pamięci epizodycznej, kiedy algorytm musi odpowiedzieć na pytanie o zdarzenia, które miały miejsce, np. o której wczoraj miałem wizytę u lekarza.
- Przewidywanie przyszłych działań, na przykład pamiętanie o posoleniu naczynia lub wyjęciu rzeczy z pralki.
- Zrozumienie, co robi dana osoba i jak obiekty poruszają się w kadrze.
- Śledzenie rozmowy i zrozumienie, kto co powiedział w rozmowie.
- Analiza interakcji między ludźmi, w szczególności zrozumienie, że nośnik kamery jest oglądany lub adresowany.
Autorzy planują opublikować zbiór danych do końca listopada 2021 r., będzie on dostępny po podpisaniu przez użytkownika umowy licencyjnej.
Czytaj więcej
Hawking miał rację, ale czasami się mylił: najśmielsze pomysły naukowca
Astronomowie odkryli, że Ziemia i Układ Słoneczny znajdują się w gigantycznym tunelu magnetycznym
Zamarznięty mamut i człowiek w „asfalcie”: jak natura zatrzymuje czas