llama.cpp

Faire tourner un grand modèle de langage sur son propre ordinateur demande habituellement des ressources importantes et une configuration complexe. llama.cpp résout ce problème en proposant un moteur d'inférence écrit en C/C++ pur, sans dépendances externes, capable de faire fonctionner des modèles de type LLM et VLM sur du matériel ordinaire, aussi bien en local que dans le cloud.

Concrètement, llama.cpp charge des modèles au format GGUF et les exécute en tirant parti du processeur, du GPU ou des deux à la fois. Il prend en charge la quantification de 1,5 à 8 bits pour réduire la mémoire nécessaire, et s'appuie sur des backends variés : Metal pour les puces Apple Silicon, CUDA pour les GPU Nvidia, HIP pour AMD, Vulkan, OpenCL et d'autres encore. Une interface en ligne de commande et un serveur compatible avec l'API OpenAI sont inclus d'emblée.

llama.cpp s'adresse aux développeurs, aux chercheurs et aux utilisateurs avancés qui souhaitent exécuter des modèles localement avec un contrôle total sur la configuration. C'est aussi le moteur qui fonctionne en coulisses dans des outils comme Ollama ou LM Studio, sans que l'utilisateur final n'ait à l'installer directement.

En revanche, il n'est pas adapté aux personnes qui cherchent une interface graphique simple ou qui ne sont pas à l'aise avec la ligne de commande. L'installation et la configuration requièrent un minimum de connaissances techniques.