Facebook heeft de grootste dataset verzameld om algoritmen voor menselijk gedrag te trainen

Ontwikkelaars van Facebook AI en 13 andere universiteiten hebben de meest uitgebreide dataset met video's gemaakt die zijn opgenomen

eerste persoon. Deze gegevens zullen onderzoekers helpen bij het trainen van computer vision-algoritmen die de omringende verkeersstop vanuit menselijk perspectief analyseren.

855 van de 74 vrijwilligers namen deel aan het verzamelen van gegevenssteden en 9 landen. Ze filmden video's met een camera en een slimme bril. Tijdens de opnames waren de deelnemers bezig met dagelijkse activiteiten: eten bereiden, eten kiezen in de winkel, communiceren met andere mensen. De totale lengte van de records was 3.025 uur.

Bij elke afzonderlijke video staat een beschrijving van watwat er in gebeurt. Voor een deel van de video zijn er ook andere gedetailleerde gegevens over het geluid, een driedimensionaal model van de kamer, de kijkrichting, evenals stereoscopische beelden gemaakt met een draagbare stereocamera van één persoon en een reeks gesynchroniseerde video's gemaakt door verschillende mensen op één plek en tegelijkertijd, bijvoorbeeld bordspeltijd.

Ook kun je met behulp van de verzamelde gegevens specifieke vaardigheden leren; hiervoor zijn speciale thematische modules gemaakt:

  • Voor het aanleren van episodisch geheugen, wanneer het algoritme de vraag moet beantwoorden over de gebeurtenissen die hebben plaatsgevonden, bijvoorbeeld hoe laat ik gisteren een doktersafspraak had.
  • Het voorspellen van toekomstige acties, bijvoorbeeld eraan denken een gerecht te zouten of dingen uit de wasmachine te halen. 
  • Begrijpen wat een persoon doet en hoe objecten in het frame bewegen.
  • Het gesprek volgen en begrijpen wie wat in het gesprek heeft gezegd.
  • Analyse van de interactie tussen mensen, in het bijzonder het begrip dat de cameradrager wordt bekeken of aangesproken.

De auteurs zijn van plan de dataset eind november 2021 te publiceren; deze zal beschikbaar zijn nadat de gebruiker de licentieovereenkomst heeft ondertekend.

Lees verder

Hawking had gelijk, maar soms ook ongelijk: de meest gedurfde ideeën van de wetenschapper

Astronomen hebben ontdekt dat de aarde en het zonnestelsel zich in een gigantische magnetische tunnel bevinden

Bevroren mammoet en een man in het "asfalt": hoe de natuur de tijd stopt