NVIDIA ouvre sa boîte à outils open source pour l’IA physique

À retenir

• La collection open source couvre NVIDIA Omniverse, Cosmos 3, Alpamayo 2 Super et Metropolis.
• Cosmos 3 est le premier omnimodel capable de générer du texte, de la vidéo et des prédictions d’actions tout en tenant compte de la physique.
• Alpamayo 2 Super passe à 32 milliards de paramètres pour des robotaxis explicables de niveau 4.
• Des partenariats avec Foxconn, Uber et VinFast accélèrent le déploiement de flottes autonomes en Asie et au Moyen-Orient.
• Les données synthétiques réduisent jusqu’à 67 % du temps d’entraînement pour l’inspection industrielle, comme chez Pegatron.

---

Les besoins en IA physique explosent dans la logistique, l’industrie et les transports, mais le développement reste fragmenté, coûteux et lent. En ouvrant ses briques logicielles, NVIDIA offre aux ingénieurs et chercheurs un socle commun pour prototyper plus vite, réduire les cycles d’apprentissage et avancer vers des standards partagés. La sécurité, l’explicabilité et le passage à l’échelle deviennent plus simples à traiter pour tout l’écosystème.

Un socle logiciel ouvert pour l’IA physique

Annoncée lors du GTC Taipei 2026, cette initiative regroupe des modèles de fondation et des compétences qui automatisent des tâches manuelles. Elle s’appuie sur trois piliers : un omnimodel de simulation, des compétences prêtes à l’emploi pour les jumeaux numériques, et des cas concrets dans l’industrie.

Cosmos 3, l’omnimodel qui apprend à raisonner physiquement

Présenté comme le premier modèle de fondation omnimodal entièrement ouvert, Cosmos 3 utilise une architecture « mixture-of-transformers » qui fusionne compréhension visuelle et prédiction d’actions. Il peut générer du texte, des images, du son et surtout anticiper des trajectoires respectant les lois de la physique.

« Cosmos 3 permet aux machines de raisonner avant d’agir, ce qui change la donne pour la sécurité. »
Jensen Huang, PDG de NVIDIA

Optimisé pour l’inférence sur Blackwell GB200, il réduit la durée d’un cycle d’entraînement complexe de plusieurs mois à quelques jours. Les développeurs y voient la base des futurs World Action Models, capables de piloter des robots après avoir simulé leur environnement.

Des compétences agents pour automatiser la simulation

Le NVIDIA Agent Toolkit centralise des instructions répétables qui exploitent Omniverse et Metropolis. Concrètement, un agent peut générer automatiquement des images de défauts synthétiques pour entraîner un modèle d’inspection visuelle. Pegatron a ainsi réduit de 67 % le temps de déploiement de ses lignes de contrôle qualité. Le fabricant de semi-conducteurs TSMC utilise les mêmes briques pour affiner la détection de micro-défauts sur des puces avancées. Ces agents interagissent également avec des flux vidéo en direct, en résumant des événements ou en alertant en cas d’anomalie, sans mobiliser une armée d’opérateurs humains devant les écrans.

Des usines virtuelles avant le moindre coup de pelle

L’alliance entre Omniverse et Metropolis permet de créer des jumeaux numériques complets d’usines, dans lesquels robots et convoyeurs évoluent comme dans la réalité. Les équipes industrielles testent des flux de production entiers, identifient des goulets d’étranglement et valident des protocoles de sécurité sans immobiliser les chaînes physiques. Cette approche réduit les coûts opérationnels et améliore la sécurité des travailleurs, tout en donnant aux agents d’IA un terrain d’apprentissage sans risque.

La sécurité reste le point sensible des robotaxis

La conduite autonome de niveau 4 exige bien plus qu’une bonne perception : il faut que le véhicule explique ses décisions et s’adapte à des situations rares. NVIDIA répond avec Alpamayo 2 Super et la plateforme DRIVE Hyperion, conçues pour faire passer des prototypes à des flottes commerciales sûres.

Alpamayo 2 Super, un cerveau de 32 milliards de paramètres

Ce modèle Vision-Language-Action triple la taille de son prédécesseur et offre une perception à 360 degrés. Surtout, il est capable de verbaliser la logique qui mène à une manœuvre, un atout majeur pour gagner la confiance des passagers et des autorités de régulation. Le framework AlpaGym l’entraîne par renforcement en boucle fermée, tandis que l’outil OmniDreams génère des scénarios « long-tail » photoréalistes pour éprouver sa robustesse.

« Notre ambition est de fournir l’ensemble de la chaîne, de la simulation à la validation, pour que l’écosystème robotaxi passe à l’échelle. »
Un responsable de NVIDIA lors du GTC

DRIVE Hyperion, l’infrastructure commune des flottes autonomes

La plateforme intègre désormais le système de sécurité Halos, qui combine architecture véhicule, modèles d’IA et puces DRIVE AGX Thor. Foxconn déploiera ses premiers robotaxis à Kaohsiung dès 2028, Uber affine ses solutions de mobilité avec ces briques, et VinFast, via Autobrains, vise le niveau 4 en Asie du Sud-Est. HUMAIN prévoit de son côté d’implanter des flottes en Arabie Saoudite. Cette standardisation matérielle et logicielle évite de reconstruire l’infrastructure de base à chaque projet et accélère les homologations.

Les défis de l’adoption massive

Si l’ouverture des modèles accélère l’innovation, elle soulève aussi des questions. La consommation énergétique de l’entraînement et de l’inférence reste un point de friction, surtout dans un contexte de sobriété. La dépendance à l’écosystème NVIDIA pourrait également freiner la diversité des approches, même si le choix de licences open source limite le verrouillage. Enfin, la validation réglementaire des véhicules explicables doit encore s’harmoniser entre les juridictions. Le vrai test sera de faire passer ces modèles du banc d’essai au terrain, sans perdre en sécurité ni en lisibilité.

L’IA physique quitte le laboratoire. Avec cette boîte à outils ouverte, NVIDIA donne aux roboticiens, aux industriels et aux opérateurs de mobilité des briques concrètes pour passer de la simulation au monde réel, des usines jusqu’au bitume.