garak

Les équipes qui déploient des modèles de langage (LLM) n'ont pas toujours de moyen systématique de vérifier si ces modèles peuvent être amenés à produire des contenus indésirables. Garak répond à ce besoin en automatisant l'exploration des failles connues des LLM, à la manière dont nmap ou Metasploit automatisent l'audit de sécurité réseau.

L'outil envoie des séries de requêtes conçues pour déclencher des comportements problématiques : jailbreaks, injections de prompt, fuites de données, hallucinations, génération de contenus toxiques ou désinformation. Il combine des sondes statiques, dynamiques et adaptatives, puis produit un rapport détaillé indiquant le taux d'échec pour chaque type d'attaque.

Garak s'adresse aux équipes de sécurité, aux ingénieurs ML et aux développeurs qui intègrent des LLM dans leurs produits et souhaitent évaluer leur robustesse avant ou pendant la mise en production, notamment dans un pipeline de red-teaming automatisé.

L'outil suppose une certaine aisance avec la ligne de commande et Python. Il n'est pas conçu pour des utilisateurs non techniques cherchant une interface graphique ou un service clé en main.