Imaging-101と呼ばれる新しいベンチマークは、LLMの一般的なコーディングタスクにおけるパフォーマンスと、科学的な計算イメージングの専門的な要求に対処する能力との間のギャップを明らかにしている。Siyi Chen氏が率いるチームがarXivで発表したこのベンチマークは、6つの科学領域から抽出された57の専門家検証済みタスクにおいて、7つの最先端LLMコーディングエージェントを評価する。
Imaging-101の各タスクは、査読付き論文に基づいており、前処理、前方物理モデリング、逆ソルバー、可視化という4段階の標準化パイプラインに体系化されている。このベンチマークは、計画、関数レベルのユニットテスト、エンドツーエンド再構成の3つのトラックでエージェントをテストし、どこで成功し、どこで失敗するかを特定する。
結果は、一般的なコーディングベンチマークでは捉えられない体系的な弱点を明らかにしている。LLMは科学的な文脈でのアルゴリズム選択に苦戦し、与えられたイメージングモダリティに適切な再構成方法を選択できない。また、符号、単位、正規化係数などの物理的な慣習を誤って処理する。最も深刻なのは、前処理、物理モデリング、逆解決、可視化の各段階を接続し、一貫した動作可能なエンドツーエンドシステムに統合するパイプライン統合で失敗することである。
これらは単なる軽微なバグではない。間接的でノイズの多い測定から隠れた信号を回復する計算イメージングは、顕微鏡、MRI、CT、天文学、光学にわたる定量的な発見を支えている。標準的なLeetCode形式の課題を通過できても、前方物理モデルを正しく実装できないコーディングエージェントは、ドメイン科学者にとってまだ有用ではない。
著者らは、この結果は、汎用LLMが規模だけを通じて科学的コーディング能力を発展させることを期待するのではなく、スキル強化されたドメイン特化型エージェントへの方向性を示していると主張する。現時点では、このベンチマークはギャップがどこにあるかを構造化されたマップとして提供しており、それらを埋めるための前提条件となる。
Sources: Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging (arXiv, July 2026)
雅子 訳