Langfuse

Quand on développe une application basée sur un modèle de langage, il est difficile de savoir ce qui se passe réellement à l'intérieur : quels appels sont effectués, combien ils coûtent, pourquoi une réponse est mauvaise. Langfuse répond à ce besoin en enregistrant chaque interaction avec le modèle, chaque étape de récupération de données ou d'action d'agent, et en les rendant inspectables dans une interface centralisée.

Concrètement, on intègre un SDK Python ou JavaScript dans son application, ou on passe par l'une des plus de cent intégrations disponibles (LangChain, LlamaIndex, LiteLLM, Vercel AI SDK, OpenAI, etc.). Langfuse collecte alors des traces hiérarchiques qui capturent chaque appel LLM, chaque invocation d'outil et chaque étape de récupération, avec le coût et la latence associés. On peut ensuite évaluer la qualité des réponses via un juge LLM, des fonctions de code, des retours utilisateurs ou une annotation manuelle, et gérer ses prompts avec versionnage et déploiement en un clic.

Langfuse s'adresse aux équipes d'ingénierie et aux développeurs qui construisent des agents ou des applications LLM en production, qu'ils travaillent seuls ou en équipe. La plateforme est utilisée par plus de 50 000 entreprises, dont des membres du Fortune 50, et traite plus de 90 milliards d'observations par mois.

En revanche, Langfuse n'est pas conçu pour un usage grand public ou non technique : il faut être à l'aise avec du code pour en tirer parti. Les personnes qui cherchent simplement à utiliser un chatbot ou un outil IA sans développer leur propre application n'en ont pas l'utilité.