Une équipe de chercheurs de NVIDIA publie un article détaillant comment spécialiser des grands modèles de langage pour exceller dans les compétitions de programmation, un domaine considéré comme l'un des tests les plus exigeants du raisonnement algorithmique. Le pipeline combine une curation à grande échelle de 22 000 problèmes, la génération de traces de raisonnement synthétiques, un fine-tuning supervisé (SFT) et de l'apprentissage par renforcement (RL). Deux modèles sont entraînés : Nemotron-3-Nano-CC (30 milliards de paramètres, dont 3 milliards actifs) avec SFT et RL, et Nemotron-3-Ultra-CC, un modèle bien plus massif de 550 milliards de paramètres, entraîné uniquement par SFT.
Les résultats rapportés sont notables. Sur les problèmes de l'IOI 2025, le score de Nano-CC passe de 130 à 291 points grâce au post-entraînement, puis à 468 points avec l'ajout de GenCorrect, une stratégie de calcul au moment de l'inférence qui génère, évalue et raffine itérativement plusieurs solutions candidates. Ce score dépasse le seuil de médaille d'or fixé à 438,3 points. Le modèle Ultra-CC atteint quant à lui 502 points sur le même jeu de problèmes.
Le test le plus significatif intervient lors de l'IOI 2026, où les chercheurs évaluent une version spécialisée d'Ultra-CC dans des conditions prospectives, soumise aux mêmes contraintes de temps, d'accès internet et de soumission que les candidats humains. Le système obtient 535,4 points sur 600, dépassant à la fois le seuil de médaille d'or (361,12) et le meilleur score humain enregistré (498,27). Selon les auteurs, c'est la première fois qu'un système d'IA surpasse le meilleur candidat humain sur un jeu de problèmes de l'IOI.
Ce résultat s'inscrit dans une tendance plus large où les grands laboratoires d'IA utilisent les compétitions de programmation comme vitrine de leurs capacités de raisonnement, à l'image des annonces récentes d'OpenAI et de Google DeepMind autour de l'IMO et de l'ICPC. Il illustre aussi l'importance croissante des stratégies de calcul au moment de l'inférence, qui semblent apporter des gains substantiels au-delà du simple entraînement. Reste à voir dans quelle mesure ces performances, obtenues sur des problèmes de compétition très structurés, se traduisent en gains concrets pour des tâches d'ingénierie logicielle réelles, plus ambiguës et moins bien spécifiées.