MuseTalk

Synchroniser les lèvres d'une vidéo avec une piste audio différente demande habituellement des outils lourds, souvent en ligne, qui envoient vos données sur des serveurs tiers. MuseTalk résout ce problème en proposant un modèle de lip-sync audio-guidé qui fonctionne entièrement en local, sans connexion requise après l'installation.

Concrètement, MuseTalk analyse l'audio d'entrée via un modèle Whisper, encode les images via un VAE, puis génère le mouvement des lèvres en une seule passe grâce à une architecture UNet modifiée avec attention croisée. Le résultat est une vidéo où la région du visage (256x256 pixels) est retravaillée pour correspondre à l'audio, à plus de 30 images par seconde sur un GPU NVIDIA Tesla V100. La version 1.5, publiée en mars 2025, améliore la netteté, la cohérence d'identité et la précision de synchronisation grâce à des fonctions de perte perceptuelle, GAN et sync.

MuseTalk s'adresse aux développeurs, chercheurs et créateurs techniques capables d'installer un environnement Python avec CUDA. Il prend en charge plusieurs langues (chinois, anglais, japonais) et peut s'intégrer dans des pipelines de personnages virtuels, notamment avec MuseV. Une interface Gradio est disponible pour faciliter les tests sans écrire de code.

En revanche, MuseTalk n'est pas adapté aux utilisateurs sans expérience en ligne de commande ni aux machines sans GPU dédié : sur un GPU de 4 Go de VRAM (RTX 3050 Ti), générer 8 secondes de vidéo prend environ 5 minutes en mode fp16.