NVIDIA ouvre quatre modèles Cosmos 3 pour simuler des mondes interactifs et des scènes de conduite multi-capteurs
Le 5 novembre 2026, NVIDIA a ajouté quatre checkpoints open-weight à sa famille Cosmos 3, capables de générer en continu des scènes de conduite caméra-LiDAR synchronisées et de prédire la vidéo à partir d’actions robotiques. Les équipes robotique et conduite autonome ont désormais un point de départ ouvert pour simuler, puis adapter sur leur propre capteur.
5 novembre 2026. NVIDIA ajoute quatre checkpoints open-weight à sa famille de modèles Cosmos 3, dédiés à la simulation de mondes interactifs et aux scènes de conduite multi-vues et multi-capteurs. 16 milliards. C’est le nombre de paramètres entraînables de chacun des quatre modèles, tous issus du post-entraînement de Cosmos 3 Nano. OpenMDW 1.1. La licence autorise l’usage commercial comme non commercial. Pourquoi c’est important : le world model — l’environnement qui répond aux actions d’un agent — cesse d’être un secret industriel pour devenir un point de départ ouvert, réadaptable à son propre robot ou à son propre véhicule.
Quatre checkpoints, quatre façons de fermer la boucle
Le cœur de l’annonce tient en une distinction qui résume tout le problème de la simulation moderne. Un générateur de vidéo produit des images ; un world model produit une conséquence. La valeur n’est pas dans le rendu, mais dans le fait que chaque observation peut façonner l’action suivante.
Les quatre modèles couvrent les deux bouts de cette boucle.
Cosmos3-Nano-Transfer-Auto est un modèle bidirectionnel de génération hors ligne de données de conduite. Il produit de la vidéo synchronisée sur jusqu’à onze vues caméra — y compris des fisheyes — et assure une génération conjointe RGB-LiDAR. Des contrôles par caméra issus du World Scenario Map (WSM) spécifient la structure de la scène et le trafic, pendant que des prompts texte guident l’apparence. C’est aussi le point de départ pour adapter Cosmos à son propre capteur : on le post-entraîne sur ses données pour accommoder sa disposition de caméras, sa configuration LiDAR et son environnement cible.
Cosmos3-Nano-Sim-Auto est la variante de streaming distillé causalement de Transfer-Auto. Il génère de petits segments successifs de vidéo caméra et de LiDAR synchronisés en quelques étapes de débruitage, en s’appuyant sur l’historique déjà généré et sur des contrôles de conduite mis à jour. C’est le modèle qui autorise les rollouts longs et interactifs — celui qui transforme un générateur en simulateur.
Cosmos3-Nano-Sim-Transfer s’adresse à ceux qui possèdent déjà un simulateur physique. Le simulateur calcule le mouvement, les contacts et l’état physique ; Sim-Transfer prend ses contrôles spatiaux et un prompt texte pour rendre des observations couleur photoréalistes. On ne remplace pas le moteur physique, on le dote d’un rendu génératif.
Cosmos3-Nano-Sim-Bimanual ferme la liste côté robotique : il prédit la vidéo à partir d’actions de robot ou de caméra, ce qui permet d’explorer la manipulation bimanuelle sans environnement réel.
Le vrai saut n’est pas le rendu, c’est le streaming
Si un seul checkpoint mérite l’attention, c’est Sim-Auto. La génération causale et en streaming change la nature de l’outil. Un générateur classique produit une séquence d’un bloc, sans rétroaction. Sim-Auto émet des morceaux successifs en fonction de l’historique et des contrôles reçus, ce qui permet à une politique de conduite de s’exécuter en boucle fermée : l’agent agit, le monde répond, l’agent agit à nouveau.
C’est exactement la propriété qui manquait aux modèles de génération de vidéo pour servir la robotique et la conduite autonome. NVIDIA l’exprime sans détour dans la publication : la génération en streaming « connecte la prédiction vidéo à l’interaction en cours », donnant aux chercheurs en world model un moyen d’étudier comment actions et observations se déploient ensemble. Pour un véhicule, il faut aussi que l’apparence et la géométrie s’accordent : la génération synchronisée caméra-LiDAR relie les observations visuelles à la perception 3D, pendant que les contrôles de scène et de feux de signalisation laissent faire varier la configuration des routes et l’état des feux.
La recette d’entraînement en quatre étapes décrit le chemin industriel complet : post-entraîner Transfer-Auto sur ses données, puis le distiller en quelques étapes pour obtenir Sim-Auto. Le message est clair — NVIDIA ne livre pas seulement des poids, il livre un mode d’emploi d’adaptation, assumant que chaque laboratoire possède un capteur et un domaine différents.
Un socle ouvert, des limites assumées
L’annonce est remarquablement honnête sur ce qu’elle ne résout pas. NVIDIA le reconnaît d’emblée : « ces problèmes restent difficiles ». Le travail à venir consiste à mesurer où les modèles soutiennent fidèlement l’apprentissage et l’évaluation d’une politique, à comprendre leurs limites, et à améliorer là où ils échouent. Les poids ouverts et les recettes de post-entraînement offrent un point de départ partagé pour adapter, comparer et contribuer — pas une solution clef en main.
Cette franchise tranche avec la communication habituelle du secteur. Ouvrir les poids sous OpenMDW 1.1, avec usage commercial permis, c’est aussi un calcul stratégique : plus de laboratoires travaillent sur Cosmos, plus la plateforme matérielle de NVIDIA — les GPU qui entraînent et servent ces modèles — se renforce. Ce n’est pas une philanthropie, mais c’est un alignement d’intérêts dont l’écosystème open source profite. La lignée NVIDIA dans ce domaine est déjà fournie sur ce blog, du post-entraînement open-weight de Nemotron aux modèles tabulaires Kumo.
Ce que « simulation interactive » change pour l’IA incarnée
Pour comprendre pourquoi ces checkpoints comptent, il faut replacer le world model dans la trajectoire de l’IA incarnée (physical AI). Un robot ou un véhicule apprend une politique en essayant des actions et en observant leurs conséquences. Le monde réel est trop lent, trop cher et trop dangereux pour fournir ces essais en quantité : la simulation est donc le terrain d’entraînement par défaut. Mais une simulation figée ne couvre que les scénarios qu’on a prévus. Un world model génératif inverse la contrainte : au lieu d’écrire chaque scénario, on échantillonne des mondes.
Les quatre modèles s’inscrivent dans cette logique. Sim-Bimanual prédit les conséquences visuelles des actions pour la robotique de manipulation ; Sim-Transfer rend photoréaliste un simulateur physique existant, ce qui permet de généraliser l’apparence sans réécrire la physique. Le World Scenario Map, ces contrôles par caméra qui décrivent la scène et le trafic, joue le rôle de script : il dit ce qui doit exister dans la scène, le modèle s’occupe du reste.
L’ouverture des poids change aussi la reproductibilité. Un world model fermé se juge sur des démos ; un world model ouvert se juge sur des benchmarks rejouables, des post-entraînements indépendants et des comparaisons de méthodes. C’est le même mouvement que les LLM open-weight ont connu : ouvrir les poids déplace le progrès de l’éditeur vers l’écosystème. NVIDIA l’assume explicitement en publiant la recette en quatre étapes — un transfert de savoir-faire qui profite à la plateforme matérielle, mais qui rend surtout la catégorie mesurable.
Verdict
Si vous construisez une pile de simulation pour la conduite autonome, commencez par Transfer-Auto avant d’écrire une ligne de votre propre générateur. Le chemin le plus court vers une simulation adaptée à votre véhicule est de post-entraîner sur vos données de capteurs, puis de distiller en Sim-Auto pour obtenir du streaming interactif — exactement la recette documentée par NVIDIA. Si vous êtes côté robotique, Sim-Bimanual et Sim-Transfer couvrent vos deux cas : prédire la conséquence d’une action, ou rendre photoréaliste un simulateur physique existant. Si vous n’êtes qu’observateur, retenez le signal : le world model interactif et open-weight est désormais un artefact public, et la distinction qui compte n’est plus « génératif ou pas », mais « boucle fermée ou pas ». La valeur s’est déplacée du rendu vers la réactivité aux actions — et c’est là que la prochaine génération de simulateurs se jouera.