Los desarrolladores de Facebook AI y otras 13 universidades han creado el conjunto de datos más extenso de vídeos grabados.
855 de 74 voluntarios participaron en la recopilación de datosciudades y 9 países. Filmaron videos con una cámara y lentes inteligentes. Durante el rodaje, los participantes participaron en actividades diarias: preparar comida, elegir comida en la tienda, comunicarse con otras personas. La duración total de los registros fue de 3.025 horas.
Para cada vídeo individual hay una descripción de lo quelo que está pasando en él. Además, en parte del vídeo hay otros datos detallados sobre el sonido, un modelo tridimensional de la habitación, la dirección de visión, así como fotogramas estereoscópicos tomados con una cámara estéreo portátil de una persona y un conjunto de vídeos sincronizados realizados. por diferentes personas en un mismo lugar y al mismo tiempo, por ejemplo, la hora de un juego de mesa.
Además, utilizando los datos recopilados, puede aprender habilidades específicas; para esto, se han creado módulos temáticos especiales:
- Para la enseñanza de la memoria episódica, cuando el algoritmo debe responder a la pregunta sobre los hechos que han ocurrido, por ejemplo, a qué hora tuve una cita con el médico ayer.
- Predecir acciones futuras, por ejemplo, recordar poner sal en un plato o sacar cosas de la lavadora.
- Comprender lo que hace una persona y cómo se mueven los objetos en el marco.
- Seguimiento de la conversación y comprensión de quién dijo qué en la conversación.
- Análisis de la interacción entre personas, en particular la comprensión de que se está mirando o se está abordando el soporte de la cámara.
Los autores planean publicar el conjunto de datos a fines de noviembre de 2021; estará disponible después de que el usuario firme el acuerdo de licencia.
Lee mas
Hawking tenía razón, pero a veces se equivocaba: las ideas más atrevidas del científico
Los astrónomos han descubierto que la Tierra y el sistema solar están en un túnel magnético gigante.
Mamut congelado y un hombre en el "asfalto": cómo la naturaleza detiene el tiempo