Des chercheurs présentent Foyer, un agent de boîte de réception personnelle auto-hébergé, accompagné d'un protocole de mesure rigoureux pour évaluer la fiabilité réelle des systèmes de tri d'e-mails. Le problème de départ est méthodologique : la plupart des agents de messagerie génèrent eux-mêmes les étiquettes servant à mesurer leurs performances, ce qui biaise toute évaluation. Le protocole proposé repose sur un échantillonnage stratifié, des snapshots figés, des découpages par fils de discussion et des hypothèses pré-enregistrées, avec des labels posés par l'utilisateur lui-même dans la boucle de révision de l'agent.
Sur 739 e-mails réels en italien et en anglais, étiquetés par leur propriétaire, neuf systèmes sont comparés : les règles de production par mots-clés, une base TF-IDF avec régression logistique, des modèles de décision typés locaux (Tev1, Nimble), un modèle de décision hébergé (Nimble v4-max), et des LLM génératifs hébergés (Qwen2.5-7B, Gemma 4 dans ses versions 26B et 31B). Premier constat frappant : les règles de production, pourtant mises en avant dans l'interface, n'atteignent que 28% de précision sur le type de message, contre 58% pour la classe majoritaire seule — le champ le plus visible n'apportait donc aucune information utile.
Avec environ 200 exemples étiquetés, la régression logistique obtient la meilleure précision sur tous les champs testés (type, urgence, besoin de réponse, détection du bruit), et se retrouve statistiquement à égalité avec Gemma 4 sur la classification du type de message. Le prompting few-shot ne permet pas aux LLM de combler cet écart. Un autre résultat notable concerne la relation avec l'expéditeur (client, fournisseur, service) : elle est retrouvée avec 98,6% de précision lorsque le contact a déjà été vu ailleurs, mais aucun modèle ne parvient à l'inférer à partir d'un seul message. Cette information relève donc du graphe de contacts plutôt que du contenu du prompt.
Le résultat le plus concret pour les praticiens porte sur l'écart entre précision brute et utilité produit. Une fois les prédictions converties en actions concrètes, le système le plus précis ignore le plus souvent les e-mails nécessitant une action (18% des cas), contre seulement 4% pour le meilleur LLM. Un seuil de décision ajusté selon le coût des erreurs, appliqué à la probabilité de bruit, permet de diviser ce taux par deux tout en rendant ce système le moins coûteux à l'usage. L'étude illustre ainsi un point souvent négligé dans l'évaluation des agents d'IA : la métrique d'exactitude globale peut masquer des défaillances critiques sur les cas qui comptent le plus pour l'utilisateur final.