Facebook e Oculus hanno condiviso nuovi dettagli su Oculus Insight, l'innovativa tecnologia di tracciamento posizionale inside-out di Oculus Quest e Rift S. Le informazioni pubblicate quest'oggi mostrano il suo funzionamento e come è stata sviluppata, ma anche le sfide che il team ha dovuto affrontare nel corso dello sviluppo. Scopriamo tutti i dettagli:
Dal laboratorio di ricerca al soggiorno: la storia della tecnologia Oculus Insight e una nuova era per la VR
L'hardware VR era collegato al PC - fino a quando un team di ingegneri di Facebook ha trovato un modo per eliminare il cavo. Quando Anna Kozminski è entrata in Facebook come software program manager nel 2018, il suo mandato era chiaro: aiutare a eliminare il cavo sui dispositivi VR, in modo che chiunque potesse indossare il visore ed essere immediatamente immerso nella realtà virtuale, senza dover impostare telecamere esterne per catturarne i movimenti. "Volevamo creare un sistema che permettesse di muoversi ed esplorare un mondo in VR con la stessa naturalezza e facilità che si hanno nella vita reale", dice Kozminski.
Kozminski si è unita a un team la cui missione era quella di creare il primo sistema di tracciamento "inside-out" completo per un dispositivo di VR consumer. La tecnologia avrebbe dovuto tracciare l'intera gamma dei movimenti di una persona (nota come "sei-gradi-di-libertà") ed essere in grado di localizzare la posizione dei due controller portatili e del visore. In precedenza, i device VR si affidavano a sensori esterni per tracciare questi movimenti. Queste telecamere si collegano al PC e, pur funzionando bene, rendono la VR meno "portatile" e più complicata da configurare.
Con il tracking inside-out del visore, la VR diventa semplice come indossare le cuffie per ascoltare la musica. Ma la missione del team era tutt'altro che facile. Bisognava prendere la tecnologia di computer vision all'avanguardia dal laboratorio di ricerca e farla funzionare in un dispositivo di consumo che chiunque può utilizzare. Il rilevamento doveva essere accurato fino a meno di un millimetro - abbastanza per rilevare una sottile inclinazione della testa o un'oscillazione della mano. Doveva essere abbastanza affidabile da poter lavorare in una varietà quasi infinita di condizioni che si trovano nelle case del mondo reale, e doveva essere abbastanza efficiente da poter lavorare su un dispositivo alimentato a batteria come Oculus Quest.
Oculus Quest è il primo dispositivo VR di consumo con tracciamento completo a sei gradi di libertà e doppio controller integrato nel visore stesso.
Per fare questo, Kozminski e il suo team hanno utilizzato la computer vision (un ramo di ricerca in ambito di intelligenza artificiale) per generare una mappa 3D in tempo reale degli immediati dintorni in modo che il visore possa calcolare la posizione di una persona all'interno della mappa e tradurla in VR. Abbiamo chiamato questo sistema Oculus Insight, ed è ciò che rende possibili i nostri nuovi visori Oculus Quest e Rift S. Oggi, stiamo svelando come un team di ingegneri di Zurigo, Menlo Park e Seattle ha dato vita a questa tecnologia.
Powered by AI: Oculus Insight
Per liberare il pieno potenziale delle esperienze di realtà virtuale (VR) e di realtà aumentata (AR), la tecnologia deve funzionare ovunque, adattandosi agli spazi in cui le persone vivono e a come si muovono all'interno di quegli ambienti del mondo reale. Quando abbiamo sviluppato Oculus Quest, il primo sistema di gioco in VR all-in-one, completamente senza fili, sapevamo di aver bisogno che il tracciamento della posizione che fosse preciso, accurato e disponibile in tempo reale - all'interno dei confini di un visore standalone, il che significa che doveva essere compatta ed efficiente dal punto di vista energetico.
All'evento Oculus Connect dello scorso anno abbiamo condiviso alcuni dettagli su Oculus Insight, la tecnologia all'avanguardia che alimenta sia Quest che Rift S. Ora che entrambi questi prodotti sono disponibili, stiamo fornendo un'analisi più approfondita dei sistemi e delle tecnologie di AI che rendono possibile questa tecnologia VR. Grazie a Oculus Insight, è stato possibile creare per la prima volta un dispositivo consumer AR/VR con visore e controller a sei gradi di libertà (6DoF) completamente senza fili. Costruito dalle fondamenta, lo stack Insight sfrutta sistemi di computer vision (CV) all'avanguardia e sistemi di localizzazione e mappatura simultanea inerziale o SLAM.
Oculus Insight calcola una posizione precisa e in tempo reale per il visore e i controller ogni millisecondo per tradurre i movimenti esatti di una persona in VR, in modo da riprodurli in modo davvero fedele. Inoltre utilizza SLAM per tracciare la posizione del visore dell'utente, e il constellation tracking per tracciare le posizioni dei controller. I sistemi Insight CV fondono input multipli dei sensori del visore e dei controller per aumentare la precisione, l'accuratezza e il tempo di risposta del monitoraggio della posizione del sistema.
Il futuro dell'AI spaziale
Questo sistema di tracciamento fa anche parte della visione a lungo termine di Facebook di incorporare la tecnologia dell'intelligenza artificiale spaziale in tutti i dispositivi e le piattaforme collegate che Facebook sta costruendo, e quindi nello sviluppo di nuove applicazioni consumer. il futuro di questa tecnologia ad esempio può portare allo sviluppo di occhiali a realtà aumentata indossabili nel quotidiano. L'obiettivo finale di questo lavoro è quello di offrire esperienze AR e VR che non solo sono più coinvolgenti, ma anche integrate nel mondo reale.
