LatentSync (ByteDance)

Faire correspondre le mouvement des lèvres d'une personne filmée à un audio différent est une tâche complexe qui produit souvent des résultats flous ou désynchronisés. LatentSync, développé par ByteDance, s'attaque à ce problème en utilisant un modèle de diffusion latente conditionné par l'audio, sans passer par une représentation intermédiaire du mouvement.

Concrètement, l'outil analyse l'audio via le modèle Whisper d'OpenAI pour en extraire des embeddings, qui sont ensuite intégrés dans un réseau U-Net par des couches de cross-attention. Le résultat est une vidéo où les lèvres du sujet sont reconstruites image par image pour correspondre à l'audio fourni. La version 1.6, sortie en juin 2025, travaille en résolution 512x512 pour réduire le flou.

Cet outil s'adresse aux créateurs de contenu, chercheurs et développeurs capables d'installer un environnement Python et disposant d'une carte graphique avec suffisamment de VRAM : au minimum 8 Go avec la version 1.5, et 18 Go avec la version 1.6.

En revanche, LatentSync n'est pas adapté aux personnes sans expérience en ligne de commande ni à celles qui cherchent une solution clé en main. L'installation requiert de configurer un environnement technique et de télécharger des modèles depuis HuggingFace.