Cloudflare publie le 5 août 2026 Cloudflare OS, sa plateforme interne d’agents IA, sous licence Apache-2.0 et auto-hébergeable sur workerd avec des LLM locaux via Ollama. Le modèle de sécurité — agents à accès initial nul et Gatekeepers par ressource — est la vraie nouveauté, mais le runtime exige un plan Workers payant.
En août 2026, l’écosystème du self-hosted vit une mutation silencieuse mais décisive : les modèles de langage compacts (Gemma 3 1B, Llama 4 3B quantifié, Qwen 3 0.5B) permettent désormais de faire tourner une IA conversationnelle locale sur du matériel grand public. Voici ce qui est réaliste aujourd’hui, ce qui ne l’est pas encore, et comment démarrer sans exploser votre facture électrique.
Ollama, vLLM et llama.cpp couvrent tous les cas d’usage de l’inférence locale, du poste développeur au cluster GPU. Ce guide compare leurs performances réelles, leur empreinte VRAM et le prix de chaque approche — pour que vous sachiez laquelle adopter avant la fin de la journée.
En 2026, Ollama et Open WebUI permettent de faire tourner un LLM chez soi sans diplôme d’ingénieur. Un Mac Mini M4 avec 24 Go de RAM unifiée fait tourner du 32B en Q4, et le point mort face à un abonnement ChatGPT Plus se situe entre 18 et 36 mois selon la machine choisie.
