Un nuevo benchmark llamado Imaging-101 está revelando la brecha entre el rendimiento de los LLM en tareas generales de codificación y su capacidad para manejar las demandas especializadas de la imagenología computacional científica. El benchmark, publicado en arXiv por un equipo liderado por Siyi Chen, evalúa siete agentes de codificación LLM de vanguardia en 57 tareas verificadas por expertos, extraídas de seis dominios científicos.
Cada tarea en Imaging-101 se basa en un artículo revisado por pares y se canoniza en un pipeline estandarizado de cuatro etapas: preprocesamiento, modelado físico directo y solucionador inverso, y visualización. El benchmark evalúa a los agentes en tres pistas, planificación, pruebas unitarias a nivel de funciones y reconstrucción de extremo a extremo, para identificar dónde tienen éxito y dónde fallan.
Los resultados revelan debilidades sistemáticas que los benchmarks de codificación general no capturan. Los LLM tienen dificultades con la selección de algoritmos en contextos científicos, sin poder elegir el método de reconstrucción apropiado para una modalidad de imagenología determinada. Manejan incorrectamente las convenciones físicas como signos, unidades y factores de normalización. Lo más crítico es que fallan en la integración del pipeline, conectando las etapas de preprocesamiento, modelado físico, solución inversa y visualización en un sistema coherente y funcional de extremo a extremo.
No se trata de errores menores. La imagenología computacional, que recupera señales ocultas a partir de mediciones indirectas y ruidosas, sustenta el descubrimiento cuantitativo en microscopía, resonancia magnética, tomografía computarizada, astronomía y óptica. Un agente de codificación que pueda superar desafíos estándar estilo LeetCode pero no pueda implementar correctamente un modelo de física directa aún no es útil para un científico especializado.
Los autores sostienen que los hallazgos apuntan hacia agentes especializados y aumentados con habilidades como el camino práctico a seguir, en lugar de esperar que los LLM de propósito general desarrollen competencia en codificación científica solo a través de la escala. Por ahora, el benchmark proporciona un mapa estructurado de dónde están las brechas, un requisito previo para cerrarlas.
Sources: Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging (arXiv, July 2026)
Traducido por Alessandra