Les modèles de génération vidéo produisent aujourd'hui des mouvements visuellement convaincants, mais ce mouvement reste piégé dans les pixels : impossible, jusqu'ici, de le réutiliser pour animer un actif 3D précis et le replacer dans sa scène d'origine. Des chercheurs de NVIDIA proposent un système qui résout ce problème en co-générant, pour n'importe quel squelette fourni, à la fois la vidéo et le mouvement 3D correspondant, accompagné d'une caméra qui situe ce mouvement dans la scène.
Les approches précédentes se limitaient généralement aux squelettes humains, au prix de milliards de paramètres supplémentaires, ou tentaient de reconstruire le mouvement 3D par triangulation à partir de cartes de poses 2D générées. L'équipe de NVIDIA adopte une stratégie différente : un modèle de mouvement séparé, capable de gérer des squelettes arbitraires, est connecté à un modèle vidéo pré-entraîné via un petit ensemble de couches d'attention croisée. Cette séparation permet au modèle de mouvement d'apprendre d'abord la dynamique des squelettes à partir de données de mouvement pur, plus faciles à obtenir et à augmenter que des paires vidéo-mouvement annotées.
Le système apprend également à localiser chaque articulation directement dans les images vidéo, ce qui permet de récupérer la position de la caméra et d'ancrer le mouvement 3D dans la scène filmée. Pour entraîner le modèle sur une diversité de squelettes, les chercheurs ont utilisé un éditeur vidéo génératif afin de placer des actifs 3D animés dans des scènes adaptées à leurs actions, en vérifiant que le mouvement connu reste cohérent après édition. Cette méthode a permis de constituer près de 200 000 paires d'entraînement, combinant vidéos humaines et vidéos de robots.
Selon les évaluations présentées, le modèle anime des squelettes variés à partir de texte de manière plus fidèle que les approches vidéo-first existantes, et son mouvement s'adapte à la scène environnante. Il peut aussi convertir une vidéo en mouvement de squelette, inversement transformer un mouvement en vidéo, et permettre un contrôle par images-clés du mouvement 3D. Cette capacité à relier génération vidéo et animation 3D exploitable intéresse directement les pipelines d'animation, mais aussi la robotique, où transformer une démonstration vidéo en trajectoire articulaire réutilisable représente un enjeu concret.