Lorsqu'on évoque le coût de l'intelligence artificielle, l'image qui vient spontanément à l'esprit est celle de salles de serveurs saturées d'accélérateurs graphiques, consommant des quantités d'électricité comparables à celles de petites villes. Cette représentation, bien que juste, occulte une dimension moins visible mais tout aussi coûteuse : le stockage des données générées par l'inférence elle-même.
Chaque interaction avec un modèle de langage ou de génération d'image laisse une trace numérique. Journaux de requêtes, réponses mises en cache, embeddings vectoriels, fichiers temporaires utilisés pour accélérer les futures requêtes similaires : l'ensemble de ces sous-produits s'accumule à mesure que les usages de l'IA générative se multiplient dans les entreprises. Avec des milliards de requêtes quotidiennes à travers le monde, impliquant textes, images et vidéos, le volume de données résiduelles croît à un rythme qui dépasse souvent les prévisions des équipes d'infrastructure.
Ce phénomène pose un problème de planification budgétaire pour les entreprises qui déploient des systèmes d'IA à grande échelle. Contrairement aux coûts de calcul, relativement prévisibles une fois l'architecture matérielle choisie, les besoins en stockage évoluent de façon moins linéaire : ils dépendent des politiques de rétention, des exigences de conformité réglementaire, et des stratégies de mise en cache adoptées pour optimiser les performances. Une entreprise qui conserve les journaux d'interactions pour des raisons d'audit ou d'amélioration continue des modèles peut ainsi voir sa facture de stockage grimper discrètement, bien après que les investissements en GPU aient été amortis.
Cette problématique illustre une tendance plus large dans l'industrie de l'IA : les coûts visibles, liés au calcul, masquent souvent des coûts d'exploitation diffus et cumulatifs. À mesure que les organisations intensifient leur usage de l'IA générative, la gestion du cycle de vie des données — de leur création lors de l'inférence jusqu'à leur archivage ou leur suppression — devient un enjeu stratégique à part entière, nécessitant des arbitrages entre performance, conformité et maîtrise budgétaire.