Bonsai 2, le modèle ternaire qui tasse 27 milliards de paramètres dans 5,9 Go

Un modèle de 27 milliards de paramètres tient désormais dans 5,9 Go. Lancé le 17 septembre 2026 par la startup californienne PrismML, Bonsai 2 27B fait tourner un modèle de pointe sur un simple PC portable, voire un smartphone haut de gamme. Il promet d’exécuter en local ce que les géants du cloud facturent à la seconde. Si vous préférez garder la main localement, Hermes Agent tourne nativement sous Windows 10/11.

---

À retenir

• Bonsai 2 27B compresse Qwen3.8 27B d’Alibaba de 54 Go à 5,9 Go, soit une réduction de 9 à 10 fois.
• La quantification ternaire à 1,75 bit conserve 98,2 % des performances du modèle original en FP16.
• Le modèle tourne à 47 jetons par seconde sur puce Apple M5 Max et gère 262 144 jetons de contexte en local.
• Levée d’amorçage de 22,25 millions de dollars, soit environ 18,9 millions d’euros, pour viser des modèles à plusieurs centaines de milliards de paramètres.
• Plus de 11 millions de téléchargements déjà enregistrés pour la première génération Bonsai.

---

L’enjeu dépasse la prouesse technique. En divisant par dix l’empreinte d’un grand modèle sans dégrader fortement ses capacités, PrismML rend crédible le recours à une IA locale, sobre et confidentielle pour les entreprises comme pour le grand public, alors que le coût énergétique du cloud s’envole.

Comment tenir 27 milliards de paramètres dans une poche

L’innovation de PrismML ne porte pas sur un nouveau modèle, mais sur la compression radicale d’un modèle existant.

Une cure d’amaigrissement passée de 54 à 5,9 Go

PrismML, spin-off du California Institute of Technology, a présenté le 17 septembre 2026 Bonsai 2 27B à Pasadena. Le modèle dérive de Qwen3.8 27B, le modèle ouvert d’Alibaba largement adopté par les développeurs. En précision standard FP16, ce dernier pèse plus de 54 Go de mémoire. La version compressée n’en occupe plus que 5,9 Go. L’empreinte mémoire est ainsi réduite d’un facteur compris entre 9 et 10, ce qui évite de louer des serveurs distants.

Ce gain ouvre l’usage local sur des machines ordinaires. Un PC portable récent suffit, et un smartphone haut de gamme devient envisageable. La première génération Bonsai avait déjà confirmé l’intérêt du marché avec plus de 11 millions de téléchargements cumulés, selon Dealroom.

Le secret des -1, 0 et +1 : 1,75 bit

La compression repose sur la quantification ternaire. Au lieu de stocker chaque poids du réseau sur 16 bits, l’algorithme les arrondit à trois valeurs possibles : -1, 0 ou +1. Le format propriétaire PTQ1_0 atteint ainsi 1,75 bit effectif par paramètre en moyenne. Cette discrétisation extrême réduit le stockage et les calculs.

L’opération a longtemps rimé avec un effondrement des performances. PrismML affirme avoir dépassé ce compromis grâce à un cadre mathématique conçu par ses chercheurs. Bonsai 2 27B conserve 98,2 % des scores de référence du modèle FP16 d’origine. La première génération plafonnait à 95 %. L’écart en mathématiques pures tombe à 0,5 point.

47 jetons par seconde sur une puce grand public

La vitesse suit. Sur une puce Apple M5 Max, le modèle génère environ 47 jetons par seconde, de quoi rendre la conversation fluide sans latence cloud. Pour y parvenir, PrismML a publié des forks optimisés de llama.cpp et du framework MLX d’Apple. Ces backends intègrent des noyaux de calcul dédiés à l’attention hybride et aux poids ternaires. Ils exploitent directement les GPU GeForce RTX 5090 et les puces Metal.

Modèle	Précision	Mémoire requise	Matériel cible
Qwen3.8 27B original	FP16 (16 bits)	~54 Go	Serveur cloud / station IA
Bonsai 2 27B	Ternaire PTQ1_0 (1,75 bit)	5,9 Go	PC portable, smartphone haut de gamme
Bonsai 2 27B multimodal	Ternaire + tour vision 0,92 Go	8,6 Go	PC avec MLX

Un modèle complet qui raisonne, voit et agit sans cloud

La compacité ne sacrifie pas les fonctions attendues d’un modèle de pointe en 2026.

Raisonner, voir et comprendre 262 000 jetons d’un seul tenant

Bonsai 2 27B est un modèle à raisonnement. Il génère des jetons de pensée intermédiaires que l’utilisateur peut doser à la demande. Cette chaîne de pensée explicite améliore la logique et la transparence. Le modèle embarque aussi une tour de vision de 0,92 Go. Elle analyse nativement images, captures d’écran et fichiers PDF. Le volume total de la variante multimodale reste contenu à 8,6 Go sur disque sous MLX. Pour une IA qui comprend le monde, le pari des modèles JEPA reste l’une des pistes les plus discutées.

La fenêtre de contexte atteint 262 144 jetons. L’architecture d’attention hybride gère cette mémoire longue directement sur l’appareil. Un rapport de 300 pages tient en une seule requête. Une base de code complète s’analyse sans découpage. L’utilisateur garde ses données en local, sans transfert vers un centre de données.

Des agents autonomes qui n’appellent plus le cloud

Le modèle prend en charge l’appel d’outils au format standard OpenAI. Il se connecte aussi au protocole MCP (Model Context Protocol), qui standardise la façon dont un modèle dialogue avec des logiciels externes. Bonsai 2 27B peut ainsi piloter des automatisations, coder ou contrôler une interface. Les démonstrations techniques montrent un fonctionnement sur RTX 5090 et Apple Silicon sans relais distant.

Cette autonomie répond à un besoin de souveraineté. Les entreprises traitent des données sensibles sans exposition réseau. Les particuliers obtiennent un assistant privé qui fonctionne hors ligne. L’edge AI gagne ainsi en capacités sans dépendre systématiquement du cloud.

Sobriété ou illusion ? Les limites de la miniaturisation

La promesse d’une IA légère séduit, mais elle soulève des objections légitimes sur ses coûts réels.

98,2 % des performances, mais à quel prix réel ?

Conserver 98,2 % des scores moyens masque des disparités. Certains benchmarks pointus restent en retrait de 1 à 2 %. Les tâches les plus exigeantes, comme le raisonnement mathématique avancé, perdent un demi-point. L’égalité parfaite avec le modèle non compressé n’est pas atteinte.

L’optimisation matérielle impose aussi une contrainte. Les gains nécessitent des backends spécifiques compilés pour MLX ou llama.cpp. Sans ces noyaux, la vitesse chute. La compatibilité universelle n’est pas immédiate.

Nous pourrons compresser des modèles de plusieurs centaines de milliards de paramètres d’ici la fin de l’année
Babak Hassibi, directeur général de PrismML, cité par TechCrunch

Une course où Apple et la concurrence accélèrent aussi

Le marché ne l’attend pas. Le laboratoire espagnol Multiverse Computing développe ses propres techniques de compression. Les géants du matériel, dont Apple, investissent massivement dans l’inférence embarquée. L’avantage de PrismML reste logiciel, donc réplicable. L’entreprise s’appuie pour l’instant sur une levée d’amorçage de 22,25 millions de dollars, dans le top 1 % des seed américaines en logiciel d’entreprise. L’opération réunit Khosla Ventures, Cerberus Capital et Caltech, avec le conseil d’Ion Stoica de l’UC Berkeley et cofondateur de Databricks.

Ces fonds doivent financer une feuille de route ambitieuse : appliquer la quantification ternaire à des modèles de plusieurs centaines de milliards de paramètres. Si la méthode tient à cette échelle, l’économie du cloud IA pourrait basculer. La question ne serait plus seulement de savoir où héberger l’intelligence, mais quelle part en garder sur son propre appareil.