Les développeurs de Facebook AI et de 13 autres universités ont créé l'ensemble de données le plus complet de vidéos tournées
855 des 74 volontaires ont participé à la collecte de donnéesvilles et 9 pays. Ils ont filmé des vidéos avec une caméra et des lunettes connectées. Pendant le tournage, les participants étaient engagés dans des activités quotidiennes : préparer la nourriture, choisir la nourriture dans le magasin, communiquer avec d'autres personnes. La durée totale des enregistrements était de 3 025 heures.
Pour chaque vidéo individuelle, il y a une description de ce quice qui s'y passe. Une partie de la vidéo contient également d'autres données détaillées sur le son, un modèle tridimensionnel de la pièce, la direction de la vue, ainsi que des images stéréoscopiques prises avec une caméra stéréo portable par une personne et un ensemble de vidéos synchronisées réalisées. par différentes personnes en un même lieu et en même temps, par exemple lors d'un jeu de société.
De plus, en utilisant les données collectées, vous pouvez acquérir des compétences spécifiques ; pour cela, des modules thématiques spéciaux ont été créés :
- Pour enseigner la mémoire épisodique, lorsque l'algorithme doit répondre à la question sur les événements qui se sont produits, par exemple, à quelle heure j'ai eu un rendez-vous chez le médecin hier.
- Prédire les actions futures, par exemple penser à saler un plat ou à retirer des objets de la machine à laver.
- Comprendre ce que fait une personne et comment les objets se déplacent dans le cadre.
- Suivre la conversation et comprendre qui a dit quoi dans la conversation.
- Analyse de l'interaction entre les personnes, en particulier la compréhension que le support de caméra est regardé ou adressé.
Les auteurs prévoient de publier l'ensemble de données d'ici fin novembre 2021 ; il sera disponible une fois que l'utilisateur aura signé le contrat de licence.
Lire la suite
Hawking avait raison, mais parfois tort : les idées les plus audacieuses du scientifique
Les astronomes ont découvert que la Terre et le système solaire sont dans un tunnel magnétique géant
Mammouth congelé et homme dans "l'asphalte": comment la nature arrête le temps