Cosmos de Nvidia pour entraîner les robots par simulation

·

·

Nvidia lance Cosmos pour booster l’IA dans le monde physique
Résumer cet article avec :

Nvidia dévoile Cosmos, une plateforme d’intelligence artificielle physique capable de générer des mondes virtuels photoréalistes pour entraîner robots et véhicules autonomes sans recourir aux coûteux tests réels. Lancée ce 15 août 2025, Cosmos ambitionne de devenir le standard mondial de la robotique industrielle en reproduisant le succès de l’IA générative dans le monde physique. Le PDG Jensen Huang parle d’un « moment ChatGPT de la robotique ».


À retenir

  • Modèles de Monde (WFMs) génèrent 30 s de vidéo 3D réaliste à partir d’une simple image ou d’un texte.
  • 7 milliards de paramètres pour Cosmos Reason, le modèle vision-langage qui planifie les actions robotiques.
  • 30 % des heures de travail mondiales pourraient être automatisées d’ici 2030 via l’IA et la robotique.
  • Accès open-source aux modèles et SDK Isaac Sim 5.0 sur GitHub.
  • Hyundai, Mercedes-Benz, Foxconn, Uber et plus de 20 partenaires industriels déjà engagés.

Cosmos : la plateforme qui transforme les robots en apprentis du monde réel

La plateforme Cosmos se compose de trois piliers. D’abord, les modèles de fondation de monde (WFMs) créent des scènes synthétiques respectant les lois de la physique pour remplacer ou compléter les données réelles. Ensuite, des garde-fous automatisés filtrent le contenu généré afin de garantir cohérence et sécurité. Enfin, un pipeline de traitement accéléré permet d’absorber des téraoctets de capteurs et de vidéos pour nourrir l’entraînement.

Les trois briques logicielles clés

Cosmos Predict prolonge une image ou un court texte en séquences vidéo jusqu’à 30 secondes, utile pour tester des comportements rares ou dangereux sans risque. Cosmos Transfer adapte instantanément l’éclairage, la météo ou la géométrie d’un environnement 3D existant, réduisant le temps de configuration des simulations Omniverse. Cosmos Reason, VLM de 7 milliards de paramètres, comprend le langage naturel et décompose une consigne comme « range les palettes en hauteur » en sous-tâches exécutables par le robot.

Omniverse et Isaac Sim : la boucle virtuelle-réel

Via NuRec, un SDK Omniverse, les développeurs capturent une usine ou un entrepôt en balayage laser, génèrent son jumeau numérique, puis y testent des robots dans Isaac Sim 5.0. Les résultats sont renvoyés au monde réel sans interruption de production. Isaac Lab 2.2 fournit des environnements d’entraînement open-source où robots humanoïdes et bras manipulateurs apprennent en parallèle sur des milliers de GPU.

Industrie 4.0 : quand la simulation remplace l’atelier pilote

Les premiers déploiements ciblent la logistique et la production. Un robot d’entrepôt Agility s’entraîne dans un double numérique Cosmos pour apprendre à trier des colis de 100 g à 20 kg, sous pluie ou lumière tamisée, sans jamais casser une cargaison réelle. Virtual Incision simule des chirurgies mini-invasives pour valider la précision d’un bras robotisé avant tout contact avec un patient.

Les partenaires industriels déjà engagés

Hyundai et Mercedes-Benz créent des jumeaux numériques de chaînes de montage complètes. Foxconn teste l’optimisation des flux de composants électroniques. Uber utilise Cosmos pour modéliser des scènes urbaines rares (piétons imprévisibles, travaux routiers) et améliorer l’apprentissage de ses flottes autonomes. Schneider Electric intègre les WFMs à son logiciel d’énergie pour prédire les pics de consommation dans les usines.

Gain économique et compression des délais

Rev Lebaredian, vice-président Omniverse, affirme que passer d’une campagne de tests réels à une simulation Cosmos divise par dix le coût de mise au point d’un robot d’entrepôt. McKinsey chiffre le potentiel mondial à 4 000 milliards USD de valeur ajoutée si 30 % des heures de travail sont automatisées d’ici 2030.

Des données synthétiques pour un apprentissage plus malin

Plutôt que de filmer 100 000 heures de conduite sous la pluie, Cosmos génère artificiellement des orages nocturnes sur bitume mouillé. Cette donnée synthétique respecte la physique : les flaques s’élargissent, les reflets se déplacent, les essuie-glaces s’activent. Les réseaux neuronaux s’entraînent ainsi à des cas rares sans attendre la prochaine tempête.

Raisonnement spatial et mémoire temporelle

Cosmos Reason stocke les positions antérieures d’une palette et anticipe sa trajectoire si un chariot élévateur la heurte. Il raisonne en trois dimensions et dans le temps, indispensable pour planifier un déplacement sans collision dans un entrepôt en perpétuel mouvement.

Feuille de route vers 2030

2026 : déploiement dans 100 sites pilotes mondiaux. 2027 : intégration native dans DIGITS, le supercalculateur bureau Grace Blackwell, pour permettre à une PME de concevoir son propre robot sans passer par un data-center. 2028-2029 : certification réglementaire européenne des données synthétiques comme données d’entraînement valides pour véhicules autonomes.

À horizon 2030, Nvidia table sur un écosystème où tout robot industriel sera conçu, testé et certifié virtuellement avant la première visite sur site. Le pari est lancé : les usines physiques deviendront-elles les avatars d’un monde simulé ?


Sur le même Thème :