Secondo i materiali rilasciati da NVIDIA, Cosmos 3 è il primo modello di fondazione di AI fisica omnimodale completamente aperto al mondo. Costruito sull'architettura ibrida Proprietaria di Transformer di NVIDIA, il modello integra sia rami di ragionamento sia di generazione, abilitando il ragionamento visivo, la generazione del mondo e la previsione delle azioni all'interno di un unico modello. Può riprodurre accuratamente le regole fisiche del mondo reale come gravitazione, collisione e attrito. A differenza dei modelli multimodali generali progettati principalmente per la generazione di contenuti di intrattenimento, Cosmos 3 supporta nativamente l'input e la generazione di cinque modalità: testo, immagini, video, audio ambientale e movimento umano e robotico. Pre-addestrato su dataset annotati fisicamente su larga scala, il modello può generare autonomamente dati di scene realistiche e traiettorie di movimento che seguono le leggi fisiche del mondo reale.
Le informazioni ufficiali mostrano che Cosmos 3 è pianificato in più livelli di modello. La versione Super, con parametri più grandi, è progettata per i costruttori di automobili e le aziende di robotica umana per la sintesi di dati su larga scala e lo sviluppo di algoritmi avanzati. La versione Base è destinata a piccoli e medi team di R&D in vari settori, mentre la versione Tiny è ottimizzata per il deployment locale su hardware edge e embedded. NVIDIA ha aperto completamente i pesi del modello, il codice sorgente e i dataset di valutazione di supporto, con le risorse correlate rese disponibili su piattaforme aperte come Hugging Face e GitHub. Sviluppatori globali possono accedere alle risorse gratuitamente e affinare come necessario. In termini di efficienza di implementazione, NVIDIA afferma che il modello può comprimere i cicli tradizionali di simulazione e debug per progetti di robotica, guida autonoma e gemelli digitali industriali da diversi mesi a solo pochi giorni, contribuendo a ridurre i costi di raccolta dati e testing per lo sviluppo di AI fisica.
Accanto all'annuncio del prodotto, NVIDIA ha anche svelato la sua strategia ecologica formando la NVIDIA Cosmos Coalition, un'alleanza di collaborazione globale. I membri fondatori includono laboratori di AI leader e aziende di robotica come Agile Robots, Black Forest Labs, Runway, LTX e Skild AI. Sotto il quadro di collaborazione della coalizione, le organizzazioni membri possono condividere l'intero stack tecnologico di Cosmos 3, accedere alle risorse di calcolo della NVIDIA DGX Cloud secondo necessità e scambiare algoritmi, benchmark e dati di test dell'industria del mondo reale. L'alleanza ha l'obiettivo di sviluppare congiuntamente standard comuni per modelli di mondo aperti e accelerare l'iterazione e la commercializzazione delle tecnologie di AI fisica di prossima generazione.
Le informazioni disponibili pubblicamente indicano che diversi costruttori di automobili e produttori di attrezzature di automazione hanno già iniziato test interni di progetti basati su Cosmos 3. Gli scenari di implementazione potenziali includono lo sviluppo di robot umanoidi, simulazione di guida autonoma, ispezione visiva industriale e creazione di contenuti digitali realistici.