SGLang
App : Un produit que vous utilisez directement
Moteur de service concurrent de vLLM, très rapide grâce au cache de préfixes RadixAttention.
À tester face à vLLM sur son propre trafic ; l'écart dépend fortement de la taille du modèle.
La sécurité reflète la destination des données, les permissions demandées et les incidents recensés à la date de vérification. Ce n’est pas une garantie d’absence de risque : vérifiez le mode de déploiement et les connexions que vous activez.
Ce que ça fait, concrètement
Faire tourner un grand modèle de langage en production pose un problème de débit et de latence : chaque requête repart de zéro, même quand elle partage un long préfixe avec les précédentes. SGLang résout ce problème en mettant en cache les calculs d'attention déjà effectués grâce à RadixAttention, ce qui évite de les recalculer à chaque appel.
Concrètement, SGLang s'installe via pip ou Docker et expose une API compatible OpenAI. Il prend en charge la quantification (FP4, FP8, INT4, AWQ, GPTQ), le décodage spéculatif, le batching continu, la parallélisation par tenseur, pipeline ou experts, ainsi que les sorties structurées. Il fonctionne sur GPU NVIDIA (H100, A100, GB200, B300), AMD (MI300, MI355), CPU Intel Xeon, TPU Google et NPU Ascend.
SGLang s'adresse aux équipes d'ingénierie qui déploient des modèles open source à grande échelle : chercheurs en post-entraînement, opérateurs d'infrastructure IA, entreprises qui servent des millions de requêtes par jour. Il est utilisé en production par xAI, NVIDIA, AMD, LinkedIn, Cursor, Oracle Cloud, Google Cloud, Microsoft Azure, AWS et d'autres, sur plus de 400 000 GPU dans le monde.
En revanche, SGLang n'est pas adapté à un usage grand public sans compétences en administration système. Son installation et sa configuration supposent de maîtriser Linux, les environnements Python et la gestion de GPU. Les utilisateurs qui cherchent une interface graphique ou un service hébergé clé en main doivent se tourner vers d'autres solutions.
Ce que ça propose
- ·RadixAttention met en cache les préfixes d'attention déjà calculés pour éviter les recalculs entre requêtes partageant un contexte commun.
- ·Le planificateur CPU zéro-overhead organise les batchs en continu sans introduire de latence supplémentaire côté CPU.
- ·La quantification en FP4, FP8, INT4, AWQ et GPTQ réduit la mémoire GPU nécessaire sans changer l'API.
- ·Le décodage spéculatif (DFlash, Spec V2) accélère la génération de tokens en anticipant les prochains tokens probables.
- ·La désagrégation prefill-decode permet de séparer les phases de traitement pour optimiser le débit sur les grands clusters.
- ·Les sorties structurées (JSON, grammaires) sont générées via une machine à états finis compressée, sans surcoût majeur.
- ·Le multi-LoRA batching permet de servir plusieurs adaptateurs LoRA simultanément dans un même batch.
- ·La compatibilité avec l'API OpenAI facilite l'intégration dans des applications existantes sans modifier le code client.
En pratique
- Prix
- Gratuit
- Usage commercial
- Usage commercial : oui
- Disponible sur
- linux, docker
- Licence
- Apache-2.0
Sécurité et données
- Pastille
- Sécu : rien à signaler
- Vos données
- Données en local
- Maintenance
- Active
- Dernière release
- 19 octobre 2026
Liens et dépôt vérifiés le 25 octobre 2026 · ajoutée le 1 janvier 2024
Comment installer SGLang
pip install sglang[all]