Un nouveau benchmark baptisé Imaging-101 met en lumière le décalage entre les performances des LLM sur les tâches de codage général et leur capacité à répondre aux exigences spécialisées de l’imagerie computationnelle scientifique. Publié sur arXiv par une équipe dirigée par Siyi Chen, le benchmark évalue sept agents de codage LLM de pointe sur 57 tâches vérifiées par des experts, issues de six domaines scientifiques.
Chaque tâche d’Imaging-101 s’appuie sur un article évalué par les pairs et est canonisée en un pipeline standardisé en quatre étapes : le prétraitement, la modélisation physique directe et le solveur inverse, ainsi que la visualisation. Le benchmark teste les agents sur trois axes, la planification, les tests unitaires au niveau fonctionnel et la reconstruction de bout en bout, afin d’identifier leurs réussites et leurs points de défaillance.
Les résultats révèlent des faiblesses systématiques que les benchmarks de codage général ne captent pas. Les LLM peinent à sélectionner les algorithmes dans des contextes scientifiques, omettant de choisir la méthode de reconstruction appropriée pour une modalité d’imagerie donnée. Ils manipulent mal les conventions physiques telles que les signes, les unités et les facteurs de normalisation. Plus critique encore, ils échouent dans l’intégration du pipeline, à savoir relier les étapes de prétraitement, de modélisation physique, de résolution inverse et de visualisation en un système cohérent et fonctionnel de bout en bout.
Il ne s’agit pas de bugs mineurs. L’imagerie computationnelle, qui reconstruit des signaux cachés à partir de mesures indirectes et bruitées, est le fondement de la découverte quantitative en microscopie, IRM, scanner, astronomie et optique. Un agent de codage capable de réussir des défis standard de type LeetCode mais incapable d’implémenter correctement un modèle de physique directe n’est pas encore utile à un chercheur scientifique.
Les auteurs soutiennent que ces résultats orientent vers des agents spécialisés et augmentés par des compétences comme voie pratique à suivre, plutôt que d’attendre des LLM généralistes qu’ils développent une compétence en codage scientifique par la seule échelle. Pour l’instant, le benchmark fournit une carte structurée des lacunes existantes, une condition préalable pour les combler.
Sources : Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging (arXiv, juillet 2026)
Traduit par Lydie