研究チームは、人間と環境の相互作用が残した物理的な痕跡から過去の行動を再構成する「時間反転イメージング」と呼ぶ新たなコンピュータビジョンの枠組みを発表した。arXivに投稿されたプレプリントでは、物理学、コンピュータビジョン、生成AIが交差する領域の問いとして、痕跡の読み取りを通じてシーンで直前に何が起きたかをモデルが推論できるかが掲げられている。
研究の前提は観測可能な物理学に立脚する。人が椅子に座れば体温が表面に伝わり徐々に放散する。手が机に触れれば皮脂や温度変化が残留する。液体がこぼれれば可視光、紫外線、熱画像それぞれに写る痕跡が時間とともに変化しながら残る。これらの痕跡は永続的ではなく、時間の経過とともに薄れ、拡散し、やがて消滅する。しかし相互作用の直後から数分間は、そこで何が起きたかを示す情報を保持している。
研究チームは「TRACE-HEI」と名付けたデータセットを構築した。これは熱画像、紫外線、可視光の三つの波長帯で同期した動画で構成され、着席、物体への接触、物品の移動、液体の流出といった行動を記録している。各行動は多様な素材上で収録され、接触後最大3分間の痕跡が捉えられた。この逆推論問題に特化したデータセットとしては初めてのものとなる。
提案された手法は二段階で動作する。第一段階では、マルチモーダル入力から検出された痕跡の構造化されたテキスト記述、例えば「机の表面にある熱手形」や「布地に付着した紫外線蛍光を示す液体残留物」をモデルが抽出する。これらの記述を条件として、視覚言語でガイドされた拡散モデルが過去のフレームの再構成を生成する。
実験の結果、痕跡からの近過去の推論は困難だが実現可能であり、熱画像、紫外線、可視光の三つのモダリティを組み合わせることで、単一のモダリティのみの場合と比較して解のあいまいさが大幅に低減されることが示された。いずれの単一波長帯もすべての情報を捉えることはできず、熱画像は体温を捉えるが化学残留物は見逃し、紫外線は肉眼では見えない汚染物質を検出する一方で熱パターンは捉えられない。
この研究は実用システムではなく概念実証として明確に位置づけられている。現時点のデータセットは限られた行動と素材のみをカバーしており、論文では静的または減衰する痕跡から厳密な時間順序や詳細な動態を推論する難しさが指摘されている。しかしこの枠組みは、瞬間的な観測を超えたシーン理解の新たな方向性、すなわち記録装置ではなく物体自体の物理的記憶から部屋の履歴を読み解く可能性を切り開くものだとしている。
応用可能性としては法医学分析、安全管理、ヒューマンコンピュータインタラクションなどが挙げられるが、実用的な展開にはマルチモーダルセンシングおよび生成モデリングの大幅な進歩が必要だとしている。
雅子 訳
出典: Time-Reversed Imaging: A Multimodal Benchmark and Framework (arXiv:2607.22352、2026年7月24日); Time-Reversed Imaging benchmark (TechRadar、2026年7月27日)