Les modèles de diffusion continue bénéficient depuis plusieurs années d'un outil mathématique puissant: l'équation différentielle ordinaire de flux de probabilité (probability flow ODE), qui permet de reproduire les mêmes distributions marginales que le processus de diffusion stochastique, mais de façon déterministe. Cette propriété a ouvert la voie à des techniques d'échantillonnage accéléré et de distillation de cohérence, aujourd'hui largement utilisées dans la génération d'images. La question restait ouverte pour les modèles de diffusion discrète, qui opèrent sur des données symboliques comme le texte ou le code plutôt que sur des valeurs continues.
Cet article y répond en proposant les 'exponential residual flows' (ERF), une construction qui étend chaque token discret avec une variable résiduelle continue évoluant selon une équation différentielle par morceaux. Le changement d'état discret intervient précisément lorsque ce résidu atteint zéro, et les auteurs démontrent formellement que cette dynamique préserve les distributions marginales du processus de diffusion original. Le vecteur de champ de ces équations dépend des matrices de taux avant et arrière du modèle de diffusion prescrit, ce qui permet d'ancrer la méthode dans le cadre théorique existant des modèles discrets.
Au-delà de la preuve de concept, les auteurs dérivent une discrétisation pratique de leur échantillonneur et l'appliquent à deux variantes courantes de diffusion discrète: la diffusion masquée et la diffusion uniforme. Les trajectoires déterministes produites par les ERF se prêtent également à la distillation de cohérence, une technique qui permet de réduire drastiquement le nombre d'étapes nécessaires à la génération sans sacrifier la qualité des résultats.
Les expériences menées sur des tâches de génération de texte et de code montrent des gains mesurables par rapport aux approches d'échantillonnage existantes pour ce type de modèles. Si ce travail reste de nature fondamentale et ne concerne pas un produit déployé, il comble un vide théorique important: la diffusion discrète, pressentie comme alternative potentielle aux modèles autorégressifs pour la génération de texte, dispose désormais d'un cadre déterministe comparable à celui qui a stimulé les progrès de la diffusion continue en image.