数時間かかる仕事を任せると、最強のAIエージェントでも46問中5〜7問しか終わらない

「終わったか、終わってないか」では、もう何も見えない

この論文でいちばん面白いのは、実はスコアではなく採点方法のほうです。従来のベンチマークは、最後の答えが合っているかだけを見ます。研究の言葉ではこれをスパース報酬(まばらな報酬)と呼びます。

数秒のタスクならそれで構いません。ところが数時間のタスクでは、ほぼ全部が失敗します。全部0点なら、モデルAとモデルBのどちらが優れているのかも、去年から進歩したのかどうかも、まったく分かりません。信号が消えてしまうのです。

そこでこの論文は、46問それぞれを細かいサブタスクに分解し、1つずつ採点しました。8割まで進めたなら0.8点。これがデンス報酬(密な報酬)、つまり「どこまで進めたか」を残す採点です。下の図が、同じ1回の実行が2つの採点方式でどう見えるかを示しています。

ここまで丁寧に信号を残す仕組みを作ったのだから、さぞ細かい差が見えたのだろう——と思うところです。ところが実際に出てきたのは、その工夫が霞むほど低い数字でした。

最強モデルは15.2%、15モデル平均の完全完了は1.7%

著者らは15の最先端モデルを評価しました。結果は、控えめに言っても厳しいものです。以下はすべて著者らの測定値、つまり自前の採点システムで出した数字です。

読み方を整理します。pass@1とは、1回だけ挑戦させて正解した割合のこと。「0.95以上」は採点対象のサブタスクを95%以上こなした場合を合格と数えたもので、「1.0」は完璧に終えたものだけを数えたものです。

最強のモデルでも15.2%。つまり46問のうち、およそ5〜7問しか合格ラインに届いていません。15モデルを平均すると4.3%、完璧に終えたのは1.7%まで落ちます。50問に1問も終えられない、というのが最先端とされるモデルの平均的な実力です。

そして15.2%と10.9%の差(4.3ポイント)は、「あと一歩まで来たのに、最後で終われなかった」問題の割合です。言い換えれば、46問のうち2問前後は、95%まで到達しながら最後の5%で崩れています。長時間タスクの難しさは、着手できないことではなく、終われないことに寄っている——少なくともこの採点設計上は、そう読めます。

ここで大事なのは、要旨に15モデルの名前が書かれていないことです。したがって「最強のモデルが15.2%」という数字を、特定の製品に結びつけることはできません。評価は2026年7月時点のもので、その後に新しいモデルが出ていれば、この数字はすでに古い可能性もあります。

1回の失敗に990万token、85分。これが今のエージェントの原価です

スコアの低さより、私たちが注目したいのは資源の数字のほうです。著者らは実際の評価実行から、1回の試行あたりのコストを記録しています。推定値ではなく測定値です。

エピソードとは、エージェントが1手を打って、その結果を見るまでの1往復のこと。231エピソードということは、エージェントはコンピュータと数百回のやり取りを繰り返している計算になります。その間ずっと、自分が何をやったかを覚えていなければなりません。

そして重要なのは、この990万tokenと85分が、失敗したときにもかかるということです。成功率が4.3%ということは、95%以上の試行でこのコストが丸ごと消えます。長時間エージェントの問題は、失敗することだけではありません。高く失敗することです。いまエージェントに長時間の仕事を任せるのが経済的に合うかどうかは、この一点にかかっています。

ただし、この3つの平均値にも注意が要ります。15モデル×46問をまとめて平均したものなので、早々に諦めるモデルと、何時間も粘るモデルが同じ鍋に入っています。モデルごとのばらつきは、この数字からは見えません。

著者自身が批判した「合否採点」を、著者自身が見出しに使っている

数字が刺激的なぶん、留保も正直に並べておきます。以下は論文の記述と、arXivの掲載情報から確認できる範囲の話です。

いちばん効くのは、この論文自身の理屈に関わる矛盾です。著者らは「合否だけの採点では信号が失われる」と正しく批判しました。ところが見出しに使った数字は、0.95という線で切った合否率です。つまり、批判したはずのスパースさを、報告の段階で自ら持ち込んでいます。0.95という線に必然性はなく、0.9にすれば数字は上がり、1.0にすれば10.9%まで下がる——実際、そう下がっています。

そのほかにも、読む前に割り引いておくべき点があります。

さらに、一部のタスクは実際の実行ではなくシミュレーションエンジンで採点されます。そこで成功したエージェントが証明したのは、シミュレーション内での能力であって、本番環境での能力ではありません。エラーパターンの分析もしたと述べられていますが、要旨の範囲では中身は書かれていません。

「デモの真逆」を測る物差しが要る

留保を全部足したうえで、それでもこの論文には価値があります。理由は3つです。

第一に、業界が言葉を濁してきたギャップに数字がつきました。短くて明確なタスクでは有能に見えるエージェントが、数時間の仕事では崩れる。典型的な最先端モデルの完走率が2%未満というのは、「便利なアシスタント」と「自律的に働く人手」の間にある距離そのものです。

第二に、成功率だけでなく原価が見えました。何を自動化すると経済的に合うのかは、990万tokenと85分を95%以上の失敗に掛け算しないと判断できません。

第三に、部分点という設計は本物の測定問題に手をつけています。ほぼ全部が失敗する領域で合否だけを採っていたら、進歩は永遠に見えません。サブタスク採点なら、見出しの合格率がゼロ近辺に張りついたままでも、モデルが少しずつ先へ進めるようになっていることは分かります。

もしいま社内でエージェントの導入を検討しているなら、ベンダーのデモが何分のタスクだったかを聞いてみてください。この46問との距離が、そのまま導入後の落差になります。