Hugging Face réécrit tokenizers en Rust avec du SIMD et encodage jusqu’à 30 fois plus vite

Le 21 septembre 2026, Hugging Face détaille la version 1 de sa bibliothèque tokenizers : même sortie que la v0.23, mais un encodage 3 à 30 fois plus rapide en monothread sur un Apple M4 Max grâce à un découpage par bitstream SIMD et un cache de mots. Les équipes qui servent du LLM ont une raison mesurée de regarder le tokenizer, devenu le nouveau goulot à mesure que les modèles accélèrent.