Nvidia fait tenir un modèle d’agent de 74 milliards de paramètres dans 24 Go de VRAM
Le 15 octobre 2026, Nvidia lance Nemotron 3.5 Bolt, un modèle d’agent de 74 milliards de paramètres compressé par quantification sur 2 bits pour tenir dans 24 Go de mémoire vidéo, et exécutable localement via llama.cpp, Ollama ou LM Studio. Si vous voulez un agent local pour coder ou naviguer, testez-le ; la quantification extrême reste un compromis à mesurer sur vos propres tâches.
15 octobre 2026. Nvidia étoffe sa famille Nemotron avec Nemotron 3.5 Super VL, un modèle vision-langage de 120 milliards de paramètres, et deux modèles Bolt destinés à l’exécution locale. 74 milliards de paramètres. C’est la taille du plus gros des Bolt, ramenée à 24 Go de mémoire par quantification sur 2 bits. 9 milliards activés. Seuls 9 des 74 milliards de paramètres travaillent à chaque inférence, grâce à l’architecture mixture-of-experts. Pourquoi c’est important : pour la première fois, un modèle d’agent de cette taille tient dans la mémoire d’une carte graphique grand public, ce qui déplace la question de « puis-je le faire tourner en local ? » vers « que vaut-il vraiment une fois compressé ? ».
Un modèle d’agent pensé pour le poste de travail
Les modèles Bolt sont explicitement conçus pour « les tâches agentiques du quotidien sur ordinateur portable, en équilibrant vitesse et intelligence nécessaires au raisonnement multi-étapes, à l’appel d’outils et à la navigation web ». Deux tailles sont annoncées : Nemotron 3.5 Bolt 74B-A9B 24GB, disponible immédiatement, et Nemotron 3.5 Bolt E4B 4GB, prévu plus tard dans le mois, ciblé vers les agents conversationnels et physiques sur GeForce RTX, Jetson et le matériel Spark.
Le modèle 74B dérive de Super VL et hérite de son architecture hybride — une combinaison de Mamba-2, d’attention et de couches mixture-of-experts — mais sans l’encodeur de vision. Il active 9 milliards de ses 74 milliards de paramètres à la fois. Pour réduire l’empreinte mémoire à 24 Go, Nvidia utilise une quantification sur 2 bits, en précision mixte avec des experts sur deux bits. C’est ce chiffre qui fait le sujet : 2 bits par poids est une compression extrême, au bord de ce que les formats actuels permettent sans effondrement de qualité. Le modèle est optimisé pour les systèmes RTX Spark et DGX Spark, avec un support annoncé pour llama.cpp, Ollama, LM Studio et vLLM — les quatre outils par lesquels la plupart des gens font tourner un modèle local aujourd’hui.
Des benchmarks qui tiennent face aux modèles comparables
Sur les évaluations de Nvidia, Bolt 74B-A9B obtient 51,0 à Terminal-Bench 2.1, un benchmark d’agents en ligne de commande, contre 44,4 pour Qwen3.6-35B-A3B et 37,2 pour Gemma4 26B-A4B, ces deux concurrents étant testés en BF16. Le modèle bat donc des adversaires plus légers et moins compressés, ce qui est la comparaison pertinente : la question n’est pas de battre un modèle géant hébergé, mais de savoir ce que l’on obtient pour 24 Go de VRAM sur un poste.
Ces chiffres constructeur sont à prendre avec les précautions d’usage — un benchmark mesuré par le vendeur, sur ses propres tâches. Mais l’ordre de grandeur est cohérent avec la thèse de Nvidia : la quantification extrême, appliquée à une architecture mixture-of-experts qui n’active qu’une fraction des poids, coûte moins cher qu’on ne le craint en termes de qualité d’agent, parce que les experts les moins utilisés supportent bien une précision réduite.
Le pendant est annoncé par le grand modèle de la même livraison. Nemotron 3.5 Super VL — 120 milliards de paramètres, 12 milliards actifs, jusqu’à 1 million de jetons de contexte, entrée image et vidéo — obtient des résultats mitigés face à Qwen3.5-122B-A10B : meilleur en raisonnement scientifique et en tâches terminal (66,7 contre 48,7 sur Terminal-Bench), mais légèrement en retrait sur SWE-bench Verified (71,1 contre 71,9) et la compréhension de documents. Le Qwen plus récent Qwen3.8-Flash-Next le dépasse sur les cinq tests, au prix d’un total de paramètres plus élevé, autour de 180 milliards. La leçon générale : sur les modèles ouverts de cette taille, personne ne domine tout, et le choix se joue sur la tâche précise.
Ce que « 24 Go » change concrètement
L’enjeu réel du modèle Bolt n’est pas un record de benchmark, c’est un changement de frontière matérielle. Jusqu’ici, un modèle d’agent de qualité raisonnable exigeait soit une carte professionnelle onéreuse, soit un appel à une API distante — avec le coût, la latence et la question de confidentialité que cela implique. À 24 Go, le modèle tient dans la mémoire d’une carte grand public haut de gamme, et la barre d’entrée descend à ce que beaucoup de développeurs possèdent déjà.
Cela a deux conséquences directes. La première est la souveraineté des données : un agent qui navigue, appelle des outils et manipule des fichiers peut travailler entièrement hors ligne, sans que le code ni les documents ne quittent la machine. Pour du code propriétaire ou des données sensibles, c’est un argument décisif face à un agent hébergé. La seconde est la prédictibilité des coûts : une carte déjà amortie exécute des inférences dont le coût marginal est l’électricité, là où un agent cloud facture à l’usage et peut voir sa facture déraper sur de longues sessions multi-étapes.
La contrepartie est connue de quiconque a déjà fait tourner un modèle quantifié : la précision en souffre sur les tâches qui exigent de la finesse — raisonnement mathématique poussé, génération de code long, respect strict de formats. Un modèle 2 bits peut halluciner davantage ou échouer sur un cas limite qu’un modèle BF16 de même architecture aurait réussi. C’est précisément ce qu’il faut mesurer sur ses propres tâches, pas sur un benchmark générique.
Comment le lancer, et ce qu’il faut vérifier
Le modèle est publié sur Hugging Face sous licence OpenMDW 1.1, qui autorise l’usage commercial et la modification — un point décisif pour une équipe qui veut l’intégrer dans un produit plutôt que de simplement le tester. Côté exécution, Ollama et llama.cpp l’exposent déjà : le flux est le même que pour n’importe quel modèle local, à ceci près que la quantification sur 2 bits est intégrée aux poids publiés, et non une option à appliquer soi-même.
# Exécution locale via Ollama (après publication du modèle sur le registre)
ollama pull nvidia/nemotron-3.5-bolt:74b
ollama run nvidia/nemotron-3.5-bolt:74bLe vrai test n’est pas le premier prompt : c’est une session d’agent longue, multi-étapes, avec appels d’outils et navigation. C’est là que la quantification extrême se paie ou non — un modèle qui raisonne bien sur un benchmark mais perd le fil au douzième tour d’une session d’agent ne sert pas à grand-chose en conditions réelles. Mesurez la dérive sur une tâche que vous faites réellement, pas sur un score générique.
Verdict
Si vous cherchez un agent local pour coder, rechercher et naviguer sur des données sensibles, Nemotron 3.5 Bolt 74B est un candidat sérieux : il tient dans 24 Go, tourne sous les outils que vous avez déjà, et ses benchmarks battent les modèles comparables — testez-le sur vos propres tâches d’agent plutôt que sur des benchmarks. Si votre priorité est la précision maximale sur du raisonnement ou de la génération de code exigeante, restez sur un modèle moins compressé ou un appel API à un grand modèle, et acceptez le coût. Si vous n’avez pas de carte à 24 Go, attendez le Bolt E4B 4GB prévu ce mois-ci, ou restez sur des modèles 7-14B quantifiés qui, pour les conversations et les tâches simples, suffisent souvent. La nouvelle frontière n’est plus « un modèle d’agent local, est-ce possible ? » — c’est « combien de qualité êtes-vous prêt à céder pour ne plus envoyer vos données ailleurs ? ».