Vérifier si un modèle de génération d'images a été entraîné sur une collection spécifique reste un défi technique majeur, notamment parce qu'un modèle peut intégrer les caractéristiques visuelles générales d'un jeu de données sans jamais reproduire exactement les images sources. Pour répondre à ce problème, une équipe de recherche présente SpectralCanary, une méthode d'audit proactif qui consiste à insérer un signal discret dans les images avant leur diffusion publique, afin de pouvoir ensuite détecter sa trace dans les sorties d'un modèle suspect.
L'approche repose sur un principe simple : un masque passe-bas vient fusionner une image "canari" fixe avec chaque image de la collection, sans toucher aux légendes associées. Contrairement à d'autres techniques existantes, SpectralCanary ne nécessite ni génération auxiliaire complexe ni optimisation individuelle par image, ce qui facilite grandement son déploiement à grande échelle. Un vérificateur léger permet ensuite de repérer la signature transférée dans les images produites par le modèle testé.
Les résultats expérimentaux montrent une efficacité notable : sur le jeu de données Pokemon et plusieurs transformations réalistes, la méthode atteint un taux de détection moyen de 91,1% pour un taux de faux positifs de seulement 1%, avec une précision de 94,8% au niveau du modèle après 30 générations. Testée sur cinq domaines variés — art, imagerie médicale, images satellites et mode — avec le modèle SD3.5, elle maintient une performance moyenne de 92,4% tout en préservant presque parfaitement la qualité des images originales (SSIM de 0,989, variation de FID quasi nulle).
Les chercheurs ont également vérifié la robustesse de leur signal basse fréquence face à des tentatives de suppression : les attaques les plus efficaces nécessitent une dégradation visuelle importante, avec plus de 25 points de variation FID, ce qui rendrait l'opération facilement détectable. Ce travail illustre une tendance croissante de la recherche en IA générative : développer des outils techniques concrets pour la traçabilité des données d'entraînement, dans un contexte où les questions de droits d'auteur et de consentement entourant les modèles génératifs restent largement non résolues sur le plan juridique.