Arize Phoenix

Quand on développe une application basée sur un modèle de langage, il est difficile de comprendre pourquoi une réponse est mauvaise : est-ce le prompt, la récupération de documents, l'appel à un outil, ou le modèle lui-même ? Arize Phoenix résout ce problème en enregistrant chaque étape d'exécution de l'application sous forme de traces, ce qui permet de localiser précisément l'origine d'un dysfonctionnement.

Phoenix fonctionne en instrumentant votre code via OpenTelemetry et la spécification OpenInference. Il collecte les traces de vos appels LLM, les affiche dans une interface web, et permet d'évaluer automatiquement la qualité des réponses en utilisant un LLM comme juge. Vous pouvez aussi créer des jeux de données à partir de vos traces, lancer des expériences pour comparer des variantes de prompts, et gérer vos prompts avec un système de versionnage.

L'outil s'adresse aux développeurs et ingénieurs en IA qui construisent des agents ou des pipelines RAG et ont besoin de visibilité sur leur comportement en production ou en développement. Il est compatible avec les principaux frameworks (LangGraph, LlamaIndex, CrewAI, OpenAI Agents SDK, etc.) et fournisseurs de modèles (OpenAI, Anthropic, Google, AWS Bedrock, etc.), sans dépendance à un seul écosystème.

Phoenix n'est pas adapté aux équipes qui cherchent une solution entièrement gérée sans infrastructure à maintenir : dans ce cas, Arize propose Arize AX, une plateforme cloud distincte. La licence Elastic (ELv2) interdit également de proposer Phoenix comme service commercial à des tiers.