Les méthodes d'alignement direct des préférences, comme DPO, sont largement utilisées pour ajuster les grands modèles de langage aux préférences humaines en raison de leur efficacité computationnelle. Mais elles souffrent d'un problème connu appelé « déplacement de vraisemblance » : lorsque les marges entre réponses préférées et rejetées sont faibles, l'optimisation peut dégrader la qualité globale du modèle au lieu de l'améliorer.
Pour contourner ce problème, les auteurs proposent ComPO (Comparison-based Preference Optimization), une approche d'ordre zéro qui n'optimise pas directement une fonction de perte différentiable sur les paires de préférences. À la place, la méthode extrait une information directionnelle à partir d'oracles de comparaison, une stratégie qui s'apparente aux techniques d'optimisation sans gradient explicite. Les auteurs établissent des garanties théoriques de convergence pour un schéma de base hors ligne, sous des hypothèses de régularité, de parcimonie du gradient et de compatibilité entre l'oracle et un objectif latent.
Une variante en ligne, online ComPO, est également introduite. Elle conserve le mécanisme de comparaison hors ligne tout en exploitant des générations non étiquetées de la politique courante pour contrôler la divergence KL inverse par rapport à une politique de référence. Une garantie de performance est également établie pour un schéma contraint de base, sous des conditions de couverture locale et de précision de la récompense par paire dans la distribution.
Les expériences menées sur des modèles Mistral, Llama, Gemma-2, Qwen3 et Gemma-3 montrent des améliorations par rapport aux méthodes d'alignement direct existantes, notamment sur les taux de victoire contrôlés en longueur. Des diagnostics au niveau des paires suggèrent que la méthode atténue effectivement le phénomène de déplacement de vraisemblance. Il s'agit d'une contribution technique qui s'inscrit dans un effort continu de la recherche pour affiner les techniques de RLHF au-delà de DPO, sans pour autant constituer un changement de paradigme immédiat pour les pratiques industrielles.