L’une des idées les plus intuitives de la programmation assistée par l’IA est qu’un modèle devrait tirer les leçons de ses erreurs : montrez-lui la sortie des tests de son code défaillant, et il produira une meilleure correction à la tentative suivante. De nouvelles recherches suggèrent que pour les modèles plus petits, cette intuition est erronée, et que la solution consiste à faire comme si l’échec n’avait jamais eu lieu.
Un article de Yuvraj Verma, de l’université de Séoul, publié cette semaine sur arXiv, compare systématiquement différentes stratégies de nouvelle tentative pour les modèles de génération de code. Le résultat est frappant : pour les modèles de moins de 7 milliards de paramètres, le rééchantillonnage à l’aveugle (qui consiste simplement à générer une solution neuve sans voir la tentative précédente) surpasse toutes les formes d’auto-réparation fondées sur un retour d’information, tout en consommant 2,5 à 5,5 fois moins de jetons.
La cause profonde est l’ancrage. Lorsqu’un modèle reçoit sa propre production antérieure accompagnée d’un signal d’échec, il tend à produire un code presque identique : 33 à 68 % des nouvelles tentatives donnent un programme indistinguable de la première tentative. Sans ce retour d’information, dans le cadre du rééchantillonnage à l’aveugle, le taux de répétition tombe entre 2 et 14 %. Le modèle se verrouille sur sa solution initiale, et la seule sortie des tests ne suffit pas à l’en déloger.
L’expérience a testé quatre conditions de nouvelle tentative à budget égal sur le banc d’essai MBPP+ : le rééchantillonnage à l’aveugle, un avis d’échec placebo sans contenu, un retour d’exécution authentique issu du test défaillant, et une réflexion complète où le modèle rédigeait une analyse verbale de son erreur avant de réessayer. Toutes les conditions recevaient le même nombre total de tentatives, ce qui isole l’effet du type de retour plutôt que celui de tentatives supplémentaires.
Sous 7 milliards de paramètres, le rééchantillonnage à l’aveugle était la condition la plus forte. Le retour d’exécution n’ajoutait rien de mesurable par rapport au placebo. À 7 milliards de paramètres, le rééchantillonnage à l’aveugle restait statistiquement à égalité avec la meilleure condition fondée sur un retour d’information. La pénalité d’ancrage était si prévisible que son ampleur sur six configurations (couvrant deux familles de modèles et deux niveaux de précision) pouvait être prévue à partir de la seule qualité de référence, avec un coefficient de corrélation de 0,96.
Ce résultat a des implications pratiques pour la conception des agents de codage IA. L’auto-réparation est largement traitée comme un composant par défaut des pipelines d’agents de code, presque toujours évaluée par rapport à une référence qui ne réessaie pas du tout. L’article soutient que cela confond la valeur du retour d’information avec la valeur d’une tentative supplémentaire. Lorsque le nombre de tentatives est contrôlé, le retour lui-même n’apporte rien pour les petits modèles.
La réflexion (demander au modèle d’analyser son erreur) était la seule intervention qui affaiblissait mesurablement l’ancre, mais à un coût élevé en jetons. Pour les applications sensibles aux coûts où chaque appel d’API compte, la stratégie la plus simple semble être la meilleure : réessayez, et ne regardez pas en arrière.
Traduit par Lydie