Gli sviluppatori di Facebook AI e di altre 13 università hanno creato il set di dati più ampio di video girati
855 di 74 volontari hanno partecipato alla raccolta dei daticittà e 9 paesi. Hanno filmato video con una fotocamera e occhiali intelligenti. Durante le riprese, i partecipanti sono stati impegnati in attività quotidiane: preparare il cibo, scegliere il cibo nel negozio, comunicare con altre persone. La durata totale delle registrazioni è stata di 3.025 ore.
Per ogni singolo video c'è la descrizione di cosacosa sta succedendo in esso. Anche per parte del video ci sono altri dati dettagliati sul suono, un modello tridimensionale della stanza, la direzione della vista, nonché fotogrammi stereoscopici ripresi con una telecamera stereoscopica indossabile da una persona e una serie di video sincronizzati realizzati da persone diverse in un unico luogo e allo stesso tempo, ad esempio, il momento del gioco da tavolo.
Inoltre, utilizzando i dati raccolti, si possono apprendere competenze specifiche; per questo sono stati creati appositi moduli tematici:
- Per insegnare la memoria episodica, quando l'algoritmo deve rispondere alla domanda sugli eventi che si sono verificati, ad esempio, a che ora ho avuto l'appuntamento dal medico ieri.
- Prevedere azioni future, ad esempio ricordarsi di salare un piatto o togliere gli oggetti dalla lavatrice.
- Capire cosa sta facendo una persona e come si muovono gli oggetti nell'inquadratura.
- Tracciare la conversazione e capire chi ha detto cosa nella conversazione.
- Analisi dell'interazione tra le persone, in particolare la comprensione che il portatore della fotocamera viene guardato o affrontato.
Gli autori prevedono di pubblicare il set di dati entro la fine di novembre 2021; sarà disponibile dopo che l'utente avrà firmato il contratto di licenza.
Leggi di più
Hawking aveva ragione, ma a volte aveva torto: le idee più audaci dello scienziato
Gli astronomi hanno scoperto che la Terra e il sistema solare si trovano in un gigantesco tunnel magnetico
Mammut congelato e un uomo nell'"asfalto": come la natura ferma il tempo