IBM Research a publié sur Hugging Face les résultats d'ALTK-Evolve, un système d'agent conversationnel qui se hisse en tête du classement τ²-bench, un benchmark conçu pour évaluer les agents IA sur des tâches de service client impliquant l'usage d'outils et des interactions multi-tours. Le point notable de cette annonce est que ce résultat a été obtenu sans s'appuyer sur un modèle frontière, c'est-à-dire sans recourir aux modèles les plus puissants et coûteux du marché.
La clé de cette performance réside dans un mécanisme de mémoire apprise, intégré au sein du toolkit ALTK développé par IBM pour la conception d'agents. Plutôt que de dépendre uniquement de la capacité brute d'un grand modèle de langage, le système accumule et exploite des traces d'expérience issues de tâches précédentes, lui permettant d'affiner progressivement ses stratégies de résolution dans des scénarios de service client. Cette approche s'inscrit dans une tendance plus large de recherche sur les agents, où l'amélioration des performances passe moins par la taille du modèle que par l'architecture entourant son utilisation.
τ²-bench, successeur de tau-bench, est devenu une référence pour mesurer la fiabilité des agents dans des contextes réalistes d'assistance client, où les erreurs de planification ou d'usage d'outils ont un coût direct. Obtenir de bons résultats sur ce benchmark avec un modèle plus modeste a des implications concrètes pour les entreprises soucieuses de maîtriser les coûts d'inférence tout en déployant des agents fiables.
Cette publication s'inscrit dans les travaux continus d'IBM Research autour de l'ingénierie d'agents et de la gestion de la mémoire à long terme, un axe de recherche que plusieurs laboratoires explorent actuellement comme alternative ou complément à la simple montée en échelle des modèles.