KoboldCpp

Lancer un modèle de langage sur son propre ordinateur demande habituellement d'installer plusieurs dépendances, de configurer un environnement Python et de jongler avec des fichiers de configuration. KoboldCpp résout ce problème en proposant un exécutable unique, sans installation, qui embarque tout le nécessaire pour faire tourner des modèles au format GGUF directement en local.

Concrètement, l'utilisateur télécharge un seul fichier, charge un modèle GGUF obtenu sur des plateformes comme Hugging Face, puis accède à une interface web sur le port 5001 de sa machine. Le logiciel s'appuie sur llama.cpp et prend en charge l'accélération GPU via CUDA ou Vulkan, avec la possibilité de répartir les couches du modèle entre le processeur et la carte graphique selon la mémoire disponible.

KoboldCpp va bien au-delà de la simple génération de texte : il intègre la génération d'images (Stable Diffusion, Flux, SDXL), la génération vidéo, la reconnaissance et la synthèse vocale, la génération musicale, ainsi que la reconnaissance d'images. Il expose également des API compatibles avec OpenAI, Ollama, ComfyUI et d'autres services populaires.

Cet outil s'adresse aux personnes qui souhaitent écrire des histoires, pratiquer le jeu de rôle textuel ou expérimenter avec des modèles de langage en local, sans envoyer leurs données à un service tiers. Il convient aussi aux utilisateurs avancés qui veulent connecter leurs propres applications via des API standard. En revanche, il n'est pas adapté aux débutants qui cherchent une expérience clé en main sans aucune configuration, ni à ceux qui n'ont pas de modèle GGUF à disposition.