Una de las ideas más intuitivas de la programación asistida por IA es que un modelo debería aprender de sus errores: si se le muestra la salida de las pruebas de su código fallido, producirá una corrección mejor en el siguiente intento. Una nueva investigación sugiere que, en el caso de los modelos pequeños, esta intuición es errónea, y la solución consiste en fingir que el fallo nunca ocurrió.
Un artículo de Yuvraj Verma, de la Universidad de Seúl, publicado esta semana en arXiv, compara sistemáticamente distintas estrategias de reintento para modelos de generación de código. El hallazgo es llamativo: para modelos de menos de 7 mil millones de parámetros, el remuestreo a ciegas (generar simplemente una solución nueva sin ver el intento anterior) supera a todas las formas de autorreparación basadas en retroalimentación, y consume entre 2,5 y 5,5 veces menos tokens.
La causa raíz es el anclaje. Cuando a un modelo se le alimenta con su propia salida anterior junto con una señal de fallo, tiende a producir casi el mismo código: entre el 33 y el 68 por ciento de los reintentos generan un programa indistinguible del primer intento. Sin esa retroalimentación, en el remuestreo a ciegas, la tasa de repetición cae a entre el 2 y el 14 por ciento. El modelo se fija en su solución inicial, y la salida de las pruebas por sí sola no basta para desalojarlo.
El experimento probó cuatro condiciones de reintento con presupuesto equivalente en el punto de referencia MBPP+: remuestreo a ciegas, un aviso de fallo placebo sin contenido, retroalimentación real de ejecución de la prueba fallida y reflexión completa, en la que el modelo escribía un análisis verbal de su error antes de reintentar. Todas las condiciones recibieron el mismo número total de intentos, lo que aísla el efecto del tipo de retroalimentación y no el de los intentos adicionales.
Por debajo de 7 mil millones de parámetros, el remuestreo a ciegas fue la condición más fuerte. La retroalimentación de ejecución no aportó nada medible frente al placebo. Con 7 mil millones de parámetros, el remuestreo a ciegas siguió estadísticamente empatado con la mejor condición basada en retroalimentación. La penalización por anclaje era tan predecible que su magnitud en seis configuraciones (que abarcan dos familias de modelos y dos niveles de precisión) podía pronosticarse solo a partir de la calidad de referencia, con un coeficiente de correlación de 0,96.
El hallazgo tiene implicaciones prácticas para el diseño de agentes de programación con IA. La autorreparación se trata ampliamente como un componente predeterminado de los flujos de trabajo de los agentes de código, y casi siempre se evalúa frente a una línea de base que no reintenta en absoluto. El artículo sostiene que esto confunde el valor de la retroalimentación con el valor de un intento adicional. Cuando el número de intentos se controla, la retroalimentación en sí no aporta nada en los modelos pequeños.
La reflexión (pedir al modelo que analice su error) fue la única intervención que debilitó de forma medible el anclaje, pero a un alto costo en tokens. Para aplicaciones sensibles al costo, donde cada llamada a la API importa, la estrategia más simple parece ser la mejor: intentarlo de nuevo y no mirar atrás.
Traducido por Alessandra