LiteLLM

Gérer des appels à plusieurs fournisseurs de modèles de langage oblige habituellement à jongler avec des SDK différents, des formats d'authentification variés et des structures de requêtes incompatibles. LiteLLM résout ce problème en exposant une seule API au format OpenAI qui couvre plus de 100 fournisseurs, d'OpenAI à Anthropic en passant par AWS Bedrock, Azure, Gemini et bien d'autres.

Concrètement, on déploie LiteLLM comme un serveur proxy (via Docker, Helm ou Terraform) devant ses applications. Chaque requête arrive au gateway, qui la traduit dans le format du fournisseur cible, applique les règles de budget et de limite de débit, puis renvoie la réponse dans un format unifié. Un tableau de bord d'administration permet de suivre les dépenses par équipe, par clé virtuelle ou par modèle, et de couper les accès dès qu'un plafond est atteint.

LiteLLM s'adresse aux équipes techniques et aux plateformes d'ingénierie qui veulent centraliser l'accès aux modèles pour toute une organisation : développeurs qui souhaitent changer de fournisseur sans réécrire leur code, responsables qui ont besoin de tracer et plafonner les dépenses, ou équipes qui opèrent dans un environnement isolé (air-gapped). Le gateway prend aussi en charge les agents via le protocole A2A et les serveurs MCP.

En revanche, LiteLLM n'est pas adapté à un usage grand public ou à quelqu'un qui cherche une interface graphique pour discuter avec un modèle. Son installation et sa configuration supposent des compétences en administration système ou en DevOps. Les fonctions avancées de gouvernance, de chargeback et de routage automatique sont réservées au plan entreprise payant.