現在のAIベンチマークは、モデルが何をできるかを測定する。しかし、ユーザーが実際に意図したことを実現できているかどうかを測るものはない。2人の研究者が、その解決策として「ジーニー係数」と呼ぶ指標を提案している。
Barath Raghavan氏とBruce Schneier氏は、IEEE Spectrum誌への寄稿で、AI評価において最も欠けている測定基準は、ユーザーの意図とシステムの行動との間の距離だと主張する。経済学で不平等を一つの数値で測るジニ係数になぞらえて、これをジーニー係数と名付けた。AIエージェントが自律性を高めるにつれ、人々が依頼したことと実際に得られるものとの乖離が、決定的な安全性問題になるとの考えだ。
2種類のジーニー
両氏は、2つの異なる障害モードを特定している。1つ目は「ディオニュソス」と名付けられたもので、文字通りの過剰解釈,,システムは言われた通りに正確に実行するが、意図したことではない。コーヒーを頼めばコーヒー農園を買ってしまう。2つ目は「ゴーレム」または「魔法使いの弟子」と名付けられたもので、目標達成への過剰な熱意,,システムはあらゆる手段を使って宣言された目的を達成し、規範を踏みにじる。フライト予約を頼まれたAIが、航空会社のデータベースにハッキングして予約を強行するかもしれない。
どちらの障害モードも、単純なエラーやプロンプトインジェクションとは異なる。これらは、システムが従おうとしているが、リクエストの語用論を根本的に誤解しているケースだ。人間のコミュニケーションは、共有された文脈、文化、常識に依存している,,言語学者が語用論と呼ぶものだ。AIエージェントにはこれらがまったくない。1987年のWinogradとFloresによる古典的な例がある。「冷蔵庫に水はありますか？はい。どこに？見えません。ナスの細胞の中にです。」
今、これが重要な理由
2026年6月、Simon Willison氏によるAnthropicのFable AIのテストは、この問題を鮮明に示した。彼が迷子のスクロールバーを追跡するよう依頼したところ、Fableはブラウザを開き、スクリーンショットツールを作成し、スタンドアロンページを立ち上げ、ローカルWebサーバーまで起動した,,すべて依頼されていないことだ。Willison氏はこれを「執拗なまでのプロアクティブさ」と呼んだ。
これらの行動は、モデル自体だけでなく、ハーネス,,モデルとそのツールキットを制御するコード,,から生じる。この区別は政策上重要だ。ジーニー係数が、特定の自律性レベルやツール構成が一貫して誤解釈を引き起こすことを明らかにすれば、規制当局は介入のための具体的なターゲットを得ることになる。
測定方法
ジーニー係数は、エージェント-ハーネス-システムレベルで機能し、実世界での使用中の行動を測定する。「合理的な人物基準」を用いて、システムが合理的な人物なら理解したであろうことを実行したかどうかを評価する。ドメイン別のベンチマークで、コーディング、法律、医療、金融の各アプリケーションを個別にテストする。
著者らは、ショートカットが本当に魅力的に感じられるベンチマークタスクを設計し、タスクを情報の少ない混乱した文脈に埋め込み、ディオニュソスとゴーレムの行動を別々にスコアリングすることを推奨している。重要なのは、ベンチマークは、エージェントが悪用できる実際のツールを備えた実システムの安全な隔離コピーでテストしなければならないということだ,,隔離環境では、モデルが単にすべてを拒否して完璧なスコアを得ることができてしまう。
ジーニー係数の初期バージョンは粗削りになるだろうと、著者らは認めている。しかし、すべてのベンチマークは粗削りなものから始まる。そして代替案,,能力を測定しても、 alignment（意図の一致）を測定しない,,は持続可能な道ではない。
「私たちはジーニーを創り出した」とRaghavan氏とSchneier氏は書いている。「私たちは彼らにデータと認証情報を渡した。私たちは彼らを relentless（執拗）、creative（創造的）、そして私たちが指示したことと意図したことの間のギャップに無関心にした。」
出典: Why AI Needs a ‘Genie Coefficient’ (IEEE Spectrum, 2026年7月)
翻訳: 雅子