ToolRisingofficial publisher
llama.cpp
Tool : standalone product, used directly
Le moteur d'inférence en C/C++ derrière Ollama, LM Studio et la plupart des outils locaux.
Indispensable en coulisses, à utiliser directement seulement si on aime la ligne de commande.
Overall score
8.9 /10
Security: nothing to flag
Utility
8.5
Reliability
10.0
Security
10.0
Ease
Technical · Technical
In practice
- Price
- Free
- Commercial use
- Commercial use: yes
- Available on
- macos, windows, linux, cli
- Licence
- MIT
Security and data
- Rating
- Security: nothing to flag
- Your data
- Data stays local
- Maintenance
- Active
- Last release
- 4 September 2026
Card verified on 13 September 2026 · added on 1 March 2023
How to install llama.cpp
1. macOS : brew install llama.cpp. Linux et Windows : téléchargez un binaire depuis les releases GitHub ou compilez.
2. Récupérez un modèle au format GGUF (Hugging Face, filtre GGUF).
3. Lancez le serveur avec la commande ci-dessous : interface web et API OpenAI sur http://localhost:8080.
llama-server -m modele.gguf --port 8080