AIエージェント比較の約75%は「引き分け」——軌跡を比べれば約35%に減る、と主張する論文が登場

成功/失敗の採点では、4分の3が「区別不能」——という主張

冒頭の約75%という数字を、もう少し正確に押さえます。著者によれば、成功ベースの指標で2つのシステムを比べると、多様なエージェント系・対話系ベンチマークのおよそ75%のインスタンスで比較が引き分け(tied comparison)になる——つまり同じ点数がつき、どちらが優れているか判定できないと言います。この75%は論文アブストラクトの自己申告値で、対象ベンチマークの一覧や実験の詳細はアブストラクトからは確認できません。

とはいえ、構造的な理屈は分かりやすいものです。難しいタスクでは多くのシステムが揃って失敗し、易しいタスクでは揃って成功する。0点か100点かしかない採点では、その中間の「どこまで迫れたか」がすべて捨てられます。統計の言葉で言えば、引き分けはデータの有効サンプルサイズ(比較に実際に情報を与えるデータの量)を食いつぶします。100タスク走らせても75タスクが引き分けなら、優劣の判定に効いているのは実質25タスク分だけ、ということです。

同じ失敗でも、「どちらがマシだったか」は見える

提案手法の名前は「選好ベースの軌跡評価(preference-based trajectory evaluation)」。発想はシンプルで、各システムの点数を別々に出して見比べるのではなく、2つの走り(軌跡)を直接横に並べ、進捗の積み上がり方や成果に到達するまでの時間プロファイルをもとに「どちらが好ましいか」という選好で順位をつけます。

これはオフライン評価(新しく実験を回さず、記録済みの走行ログだけから判定するやり方)として機能する点も重要です。同じログでも、最後の成否だけ読めば引き分け、過程まで読めば優劣がつく。捨てていた情報を拾い直すだけなので、追加の実行コストはかからない理屈です。

ただし、この「75%→35%」という数字そのものには、立ち止まって読むべき但し書きが4つあります。次の節で見ていきます。

75%から35%へ——ただし、すべて著者の自己申告

論文の中心的な実証主張は1つです。成功ベースの指標で約75%あった引き分けが、軌跡ベースの選好評価に切り替えると約35%まで減った。差し引き約40ポイントの改善で、著者はさらに、順位づけの安定性とデータ効率も向上したと述べています。

ここから先は、数字よりも留保が重要です。第一に、現時点で確認できるのはアブストラクトだけで、どのベンチマークで測ったのか、比較対象のベースラインは何か、効果量の内訳はどうか、といった実験の中身は見えません。第二に、75%と35%はどちらもアブストラクト自身が「roughly(おおよそ)」と幅を持たせた数字です。

第三に、コードやデータの公開には一切触れられておらず、第三者が追試するための材料はまだありません。そして第四に、単著のv1プレプリントであり、査読という他人の目はまだ通っていません。つまり、この記事で紹介した数字はすべて「著者がそう主張している」段階です。

「解き尽くされたベンチマーク」は、本当に解き尽くされたのか

この論文がひときわ挑発的なのは、ベンチマーク飽和(多くのシステムが上限近くに張り付き、テストとして役に立たなくなる現象)への含みです。著者は、飽和に見える現象の一部は、データや問題の難易度ではなく「測り方」の産物かもしれない、と示唆します。引き分けだらけの採点法が差を塗りつぶしているだけなら、「もう卒業した」とされたベンチマークにも、モデルを見分ける余力が残っているかもしれない——ただしこれはアブストラクトが掲げる仮説であって、実証された結論ではありません。

実務面の意味も小さくありません。エージェントの評価は1回の実行が長く、費用もかさみます。引き分けが減って1タスクあたりの情報量が増えれば、統計的に意味のある順位づけに必要な実行数が減る。つまり、高価なエージェント同士の比較が安くなる可能性があります。評価手法の論文は地味に見えますが、「何をもって進歩と呼ぶか」を決める土台の話であり、影響範囲はベンチマークを使う全員に及びます。