Promptfoo
App : Un produit que vous utilisez directement
Tests et red-teaming de prompts, agents et RAG, intégrable en CI.
L'outil de test à adopter avant de mettre une IA en production ; racheté par OpenAI, toujours MIT.
La sécurité reflète la destination des données, les permissions demandées et les incidents recensés à la date de vérification. Ce n’est pas une garantie d’absence de risque : vérifiez le mode de déploiement et les connexions que vous activez.
Ce que ça fait, concrètement
Mettre une application IA en production sans l'avoir testée expose à des risques concrets : injections de prompts, fuites de données personnelles, contournements de garde-fous, comportements inattendus des agents. Promptfoo répond à ce problème en automatisant les tests de sécurité et d'évaluation avant le déploiement.
Concrètement, l'outil génère des milliers d'attaques contextualisées adaptées à votre application (injections directes et indirectes, jailbreaks, violations de règles métier, utilisation non sécurisée d'outils dans les agents), compare les réponses de différents modèles côte à côte, et produit des rapports de vulnérabilités. Il s'intègre dans les pipelines CI/CD (GitHub, GitLab, Jenkins) et peut analyser les pull requests pour détecter des problèmes de sécurité liés à l'IA.
Promptfoo s'adresse aux développeurs et aux équipes de sécurité qui construisent des applications basées sur des LLM, des agents ou des systèmes RAG. Il est utilisé par 156 entreprises du Fortune 500 dans des secteurs comme la santé, les télécommunications et la distribution. Les évaluations s'exécutent entièrement en local : les prompts ne quittent pas la machine.
En revanche, l'outil requiert Node.js 22.22.0 minimum (Node.js 24 LTS recommandé) et une certaine familiarité avec la ligne de commande et les fichiers de configuration YAML. Il n'est pas conçu pour un usage grand public sans compétences techniques.
Ce que ça propose
- ·Évaluation automatisée de prompts et de modèles avec comparaison côte à côte entre fournisseurs (OpenAI, Anthropic, Azure, Bedrock, Ollama, etc.).
- ·Red-teaming automatisé qui génère des attaques personnalisées pour détecter plus de 50 types de vulnérabilités, dont les injections de prompts et les jailbreaks.
- ·Tests de sécurité pour agents et systèmes RAG, couvrant les fuites de données, les violations de règles métier et l'utilisation non sécurisée d'outils.
- ·Intégration dans les pipelines CI/CD (GitHub, GitLab, Jenkins) pour des vérifications continues à chaque déploiement.
- ·Analyse de code et de pull requests pour détecter des problèmes de sécurité et de conformité liés à l'IA.
- ·Rapports de vulnérabilités avec des étapes de remédiation directement intégrées dans les workflows des développeurs.
- ·Exécution 100 % locale des évaluations : les prompts et données ne transitent pas par des serveurs externes.
- ·Renseignement sur les menaces en temps réel alimenté par une communauté de plus de 300 000 utilisateurs.
En pratique
- Prix
- Freemium
- Usage commercial
- Usage commercial : oui
- Disponible sur
- cli, docker
- Licence
- MIT
Sécurité et données
- Pastille
- Sécu : rien à signaler
- Vos données
- Données en local
- Incidents connus
- Rachat par OpenAI en mars 2026.
- Maintenance
- Active
- Dernière release
- 25 octobre 2026
Liens et dépôt vérifiés le 25 octobre 2026 · ajoutée le 1 mai 2023
Comment installer Promptfoo
npm install -g promptfoo