Facebook hat den größten Datensatz gesammelt, um Algorithmen für menschliches Verhalten zu trainieren

Entwickler von Facebook AI und 13 anderen Universitäten haben den umfangreichsten Datensatz der gedrehten Videos erstellt

in der ersten Person. Diese Daten werden Forschern beim Training von Computer-Vision-Algorithmen helfen, die die umliegende Verkehrshaltestelle aus menschlicher Sicht analysieren.

An der Datenerfassung waren 855 von 74 Freiwilligen beteiligtStädte und 9 Länder. Sie filmten Videos mit einer Kamera und einer Datenbrille. Während der Dreharbeiten waren die Teilnehmer mit täglichen Aktivitäten beschäftigt: Essen zubereiten, Produkte im Geschäft auswählen, mit anderen Menschen kommunizieren. Die Gesamtlänge der Aufzeichnungen betrug 3.025 Stunden.

Zu jedem einzelnen Video gibt es eine Beschreibung dessen, waswas darin passiert. Außerdem gibt es für einen Teil des Videos weitere detaillierte Daten über den Ton, ein dreidimensionales Modell des Raums, die Blickrichtung sowie stereoskopische Bilder, die mit einer tragbaren Stereokamera von einer Person aufgenommen wurden, und eine Reihe synchronisierter Videos von verschiedenen Personen an einem Ort und gleichzeitig, zum Beispiel Brettspielzeit.

Außerdem können Sie anhand der gesammelten Daten spezifische Fähigkeiten erlernen, dazu wurden spezielle thematische Module erstellt:

  • Beim episodischen Gedächtnistraining, wenn der Algorithmus eine Frage zu eingetretenen Ereignissen beantworten muss, zum Beispiel wann mein Arzttermin gestern war.
  • Zukünftige Aktionen vorhersagen, zum Beispiel daran denken, ein Gericht zu salzen oder Dinge aus der Waschmaschine zu nehmen. 
  • Verstehen, was eine Person tut und wie sich Objekte im Rahmen bewegen.
  • Verfolgen Sie die Konversation und verstehen Sie, wer was in der Konversation gesagt hat.
  • Analyse der Interaktion zwischen Menschen, insbesondere das Verständnis, dass der Kameraträger angeschaut oder angesprochen wird.

Die Autoren planen, den Datensatz bis Ende November 2021 zu veröffentlichen; er wird verfügbar sein, nachdem der Benutzer die Lizenzvereinbarung unterzeichnet hat. 

weiter lesen

Hawking hatte recht, aber manchmal auch falsch: die kühnsten Ideen des Wissenschaftlers

Astronomen haben herausgefunden, dass sich die Erde und das Sonnensystem in einem riesigen magnetischen Tunnel befinden

Gefrorenes Mammut und ein Mann im "Asphalt": Wie die Natur die Zeit anhält