Os desenvolvedores do Facebook AI e de 13 outras universidades criaram o mais extenso conjunto de dados de vídeos filmados
855 de 74 voluntários participaram da coleta de dadoscidades e 9 países. Eles filmaram vídeos com uma câmera e óculos inteligentes. Durante as filmagens, os participantes realizavam atividades cotidianas: preparar a comida, escolher a comida na loja, comunicar-se com outras pessoas. A duração total dos registros foi de 3.025 horas.
Para cada vídeo individual há uma descrição do queo que está acontecendo nele. Também para parte do vídeo há outros dados detalhados sobre o som, um modelo tridimensional da sala, a direção de visão, bem como quadros estereoscópicos tirados com uma câmera estéreo vestível de uma pessoa e um conjunto de vídeos sincronizados feitos por pessoas diferentes em um só lugar e ao mesmo tempo, por exemplo, na hora de um jogo de tabuleiro.
Além disso, usando os dados coletados, você pode aprender habilidades específicas; para isso, foram criados módulos temáticos especiais:
- Para o ensino da memória episódica, quando o algoritmo deve responder à pergunta sobre os eventos ocorridos, por exemplo, a que horas tive consulta médica ontem.
- Prever ações futuras, por exemplo, lembrar de salgar um prato ou retirar coisas da máquina de lavar.
- Compreender o que uma pessoa está fazendo e como os objetos se movem no quadro.
- Acompanhar a conversa e entender quem disse o quê na conversa.
- Análise da interação entre as pessoas, em particular a compreensão de que o portador da câmera está sendo olhado ou abordado.
Os autores planejam publicar o conjunto de dados até o final de novembro de 2021. Ele estará disponível após o usuário assinar o contrato de licença.
Consulte Mais informação
Hawking estava certo, mas às vezes errado: as ideias mais ousadas do cientista
Os astrônomos descobriram que a Terra e o sistema solar estão em um túnel magnético gigante
Mamute congelado e um homem no "asfalto": como a natureza para o tempo