Facebook a colectat cel mai mare set de date pentru a instrui algoritmi pentru comportamentul uman

Dezvoltatorii de la Facebook AI și alte 13 universități au creat cel mai extins set de date de videoclipuri filmate

prima persoana. Aceste date îi vor ajuta pe cercetători atunci când antrenează algoritmi de viziune computerizată care analizează traficul din jur să se oprească din perspectivă umană.

855 din cei 74 de voluntari au participat la colectarea datelororașe și 9 țări. Au filmat videoclipuri cu o cameră și ochelari inteligenți. În timpul filmărilor, participanții și-au desfășurat activitățile zilnice: pregătirea alimentelor, alegerea alimentelor în magazin, comunicarea cu alte persoane. Durata totală a înregistrărilor a fost de 3.025 de ore.

Pentru fiecare videoclip individual există o descriere a cece se întâmplă în ea. De asemenea, pentru o parte a videoclipului există și alte date detaliate despre sunet, un model tridimensional al camerei, direcția de vizualizare, precum și cadre stereoscopice luate cu o cameră stereo portabilă de la o persoană și un set de videoclipuri sincronizate realizate. de persoane diferite într-un loc și în același timp, de exemplu, timp de jocuri de societate.

De asemenea, folosind datele colectate, puteți învăța abilități specifice, pentru aceasta au fost create module tematice speciale:

  • Pentru a antrena memoria episodică, când algoritmul trebuie să răspundă la întrebarea despre evenimentele care au avut loc, de exemplu, la ce oră am avut ieri o programare la medic.
  • Prezicerea acțiunilor viitoare, de exemplu, amintirea să sărați un vas sau îndepărtarea lucrurilor din mașina de spălat. 
  • Înțelegerea a ceea ce face o persoană și a modului în care obiectele se mișcă în cadru.
  • Urmărirea conversației și înțelegerea cine a spus ce în conversație.
  • O analiză a interacțiunii dintre oameni, în special înțelegerea faptului că suportul camerei este privit sau abordat.

Autorii intenționează să publice setul de date până la sfârșitul lunii noiembrie 2021, acesta va fi disponibil după ce utilizatorul semnează acordul de licență. 

Citeste mai mult

Hawking avea dreptate, dar uneori greșea: cele mai îndrăznețe idei ale omului de știință

Astronomii și-au dat seama că Pământul și sistemul solar se află într-un tunel magnetic uriaș

Mamut înghețat și un om în „asfalt”: cum oprește natura timpul