Red-teaming IA = simulation d'attaques contre ton propre système IA pour trouver vulnérabilités avant déploiement (et en continu après).
Diffère du pen-test classique :
- Pen-test : focus sur infrastructure (serveurs, réseaux, code)
- Red-team IA : focus sur comportements émergents (jailbreaks, biais, fuites de données via prompts, manipulation de modèle)
Obligatoire en 2026 pour :
- Tout déploiement IA "à haut risque" sous AI Act (santé, RH, justice, éducation, infrastructure)
- Tout système ML chez des banques (régul. finance)
- Conformité ISO 42001, NIST AI RMF, SOC 2 Type 2 IA-aware
Frameworks de référence :
- MITRE ATLAS : taxonomie d'attaques IA
- OWASP LLM Top 10 : risques applications LLM
- NIST AI RMF : cadre de gestion des risques
- AI Risk Management framework Anthropic / OpenAI Preparedness
Outils 2026 :
- Garak (NVIDIA, open-source)
- PyRIT (Microsoft, open-source)
- Lakera Red, Robust Intelligence
- Anthropic Constitutional AI red-team tools
🧠 Quiz
Question 1 sur 3