ToolRisingofficial publisher
vLLM
Tool : standalone product, used directly
Moteur de service haute performance pour servir des LLM à plusieurs utilisateurs en parallèle.
Le choix production dès que plusieurs personnes tapent sur le même modèle.
Overall score
9.1 /10
Security: nothing to flag
Utility
9.0
Reliability
10.0
Security
10.0
Ease
Technical · Technical
In practice
- Price
- Free
- Commercial use
- Commercial use: yes
- Available on
- linux, docker, cli
- Licence
- Apache-2.0
Security and data
- Rating
- Security: nothing to flag
- Your data
- Data stays local
- Maintenance
- Active
- Last release
- 9 September 2026
Card verified on 13 September 2026 · added on 1 June 2023
How to install vLLM
1. Sur une machine Linux avec GPU NVIDIA et Python 3.10+, créez un environnement virtuel.
2. Installez vLLM avec pip, puis servez un modèle Hugging Face avec la commande ci-dessous.
3. L'API compatible OpenAI écoute sur http://localhost:8000/v1.
4. Pour la production : Docker officiel, plusieurs GPU avec --tensor-parallel-size, et un gateway devant.
pip install vllm && vllm serve meta-llama/Llama-3.2-3B-Instruct