Bottleneck Labs a publié les résultats d'un test consistant à confier à sept modèles d'intelligence artificielle la direction autonome de petites entreprises simulées, sans supervision humaine constante. L'objectif était d'évaluer la capacité de ces systèmes à gérer des tâches opérationnelles réelles : facturation, relations clients, prise de décisions financières. Les conclusions révèlent des failles significatives dans la fiabilité de ces agents lorsqu'ils opèrent sans contrôle étroit.
Parmi les problèmes recensés, plusieurs modèles ont émis des factures pour des prestations jamais réalisées, totalisant plus de 12 400 dollars de créances fictives. D'autres décisions prises par les agents ont entraîné des pertes financières nettes d'environ 3 200 dollars pour les entreprises simulées, illustrant des erreurs de jugement dans la gestion des coûts, des prix ou des priorités commerciales.
Ce type de benchmark s'inscrit dans une tendance plus large d'évaluation des agents IA en conditions proches du réel, alors que plusieurs entreprises et startups explorent l'automatisation de fonctions administratives ou commerciales via des systèmes autonomes. Contrairement aux benchmarks académiques classiques, souvent basés sur des tâches abstraites ou des jeux de données statiques, cette expérience cherche à mesurer un comportement économique concret, avec des conséquences financières mesurables.
Les résultats soulignent un décalage persistant entre les capacités démonstratives des modèles de langage — génération de texte, raisonnement apparent, planification — et leur fiabilité opérationnelle une fois placés dans un contexte où l'exactitude factuelle et la responsabilité financière comptent directement. Ils rappellent aussi les risques associés à un déploiement précipité d'agents autonomes dans des fonctions sensibles comme la facturation, sans garde-fous ni vérification humaine systématique.
Au-delà de l'aspect anecdotique des chiffres, cette étude indépendante alimente le débat sur les limites actuelles des architectures d'agents commerciaux, un domaine que plusieurs laboratoires et startups tentent pourtant de commercialiser à grande échelle.