AgentGym2：「GPT-5でさえ苦戦」——ただし要旨にスコアは1つも載っていません
- 論文の主張:GeminiもGPT-5も、実運用の要求には遠く届かない(15モデルを評価)
- ただし出典であるarXivの要旨ページに、AgentGym2のスコアは1つも載っていません
- 仕掛けは「脱・理想化」。道具の一覧を渡さず、指示もわざと曖昧にして測ります
- 確認できる事実は、論文の存在・2026年7月6日投稿・著者25名・ACL 2026採択の自己申告まで
7月6日、arXivに「わざと意地悪なベンチマーク」が現れた
「大阪の出張、いい感じにしといて」——道具の一覧も渡されず、指示もこれだけ。そんな条件で15のモデルを測ったら、GeminiもGPT-5も実運用の要求には遠く届かなかった。2026年7月6日、AgentGym2という論文がそう報告しています。ただし本稿が参照できる出典には、その根拠となるスコアが1つも載っていません。
まず、確かめられるところから。投稿は2026年7月6日14時56分(UTC)、識別子はarXiv:2607.05174、分類はComputer Science > Artificial Intelligence。著者は25名で、Zhiheng XiとDingwen Yangが筆頭、シニア著者にTao Gui、Qi Zhang、Xuanjing Huangといった名前が並びます。この顔ぶれは復旦大学のNLPグループとその共同研究者の構成と一致しており、以前のAgentGymというベンチマークの後継にあたります。ここまでは、arXivのページを開けば誰でも確かめられる事実です。
論文が問題にしているのは、エージェント(質問に答えるだけでなく、道具を呼び、結果を読み、次の一手を決める——という輪を回して仕事を終わらせるAI)の測り方です。著者の言い分はこうです。今のベンチマークは、使える道具の一覧を最初にきれいに手渡し、指示も過不足なく書かれている。それは実際の仕事とは違う。だから既存の評価は、実運用の難しさを過小評価している——と。
そこでAgentGym2は、その「便利な前提」を意図的に取り払ったと説明されます。手順を最初から最後まで実行しきれるか。環境を探り回って、そもそもどんな道具があるのかを自力で見つけられるか。見たことのないタスクのために複数の道具をつなげられるか。情報がノイズ交じりだったり、指示が言葉足らずだったりしても崩れずに動けるか。この4点を測る、というのが主張です。
「選ぶ」テストから、「探して・つないで・耐える」テストへ
AgentGym2が何をしようとしているのかは、同じ課題を2つの条件で並べてみると一番わかりやすくなります。以下は、論文が提案する設計思想を編集部が図に起こしたものです(実際のタスク例は出典に載っていないため、あくまで概念図です)。
既存のベンチマークは、工具箱を開けて「この3本から選んで、この棚を組み立てて」と言われる試験です。AgentGym2がやろうとしているのは、「部屋、なんとかしといて」とだけ言われる試験。工具がどこにあるかは自分で家中を探し、途中で見つけた道具を組み合わせ、しかも同居人の説明はちょっと間違っている——という状況です。前者は器用さを測り、後者は段取り力を測る。実際の仕事に近いのは、まあ、後者でしょう。
ここで用語を1つ整理します。「脱・理想化(de-idealized)」は著者が作った造語で、業界に合意された定義はありません。何を「現実的なノイズ」と呼び、何を「人工的な意地悪」と呼ぶかは、測定ではなく設計上の判断です。この線引きが妥当かどうかは、要旨からは判断できません。
そして、この設計思想よりもさらに確かめようがないものが、もう1つあります。この論文の見出しそのもの——「最前線のモデルでさえ苦戦する」という、あの一文です。
AgentGym2のスコアはどこにあるのか——「苦戦した」は言葉であって、まだ数字ではありません
この記事で最も大事な節です。AgentGym2の見出しは「GeminiやGPT-5のような最前線のシステムでさえ苦戦する」。ところが、この出典に載っている数字を集めると、こうなります。
お気づきの通り、この中にベンチマークのスコアは1つもありません。Geminiが何点だったのか、GPT-5が何点だったのか、15のモデルとは具体的にどれなのか——どれも出典のページには書かれていません。「苦戦する(struggle)」がどの水準を指すのか、閾値の定義もありません。数値はすべてPDFの中にあり、この要旨ページだけを読む限り、読者は1点たりとも検証できないのです。
| 論文が言っていること | この出典で確認できるか | 種別 |
|---|---|---|
| arXiv:2607.05174として2026年7月6日に投稿された | できる(投稿履歴に記載) | 事実 |
| 著者25名、cs.AI分類、PDF・HTML・TeXソースが公開 | できる(ページ上に表示) | 事実 |
| ACL 2026本会議に採択 | コメント欄の記載のみ。著者が自分で書く欄 | 自己申告 |
| 15のモデルを評価した | できない。モデル名も結果も非掲載 | 主張 |
| GeminiやGPT-5でさえ苦戦する | できない。スコアも閾値の定義もなし | 主張 |
| タスクは実世界の業務要求に基づく | できない。タスク例も構築手法も非掲載 | 主張 |
| 既存ベンチマークは実運用の難しさを過小評価 | できない。研究の動機であって測定結果ではない | 主張 |
| 現行エージェントと実運用要求の間に大きな差がある | できない。著者による結果の解釈 | 主張 |
2026年7月6日にAgentGym2という論文がarXivへ投稿され、25名の著者が名を連ね、ACL 2026本会議への採択が(著者自身の記載により)報告されている——今回の出典から確実に言えるのは、ここまでです。「最前線のモデルが苦戦した」は、現時点では検証されていない主張であり、実証済みの結果として扱うべきではありません。
誤解のないように書いておくと、これは論文が怪しいという話ではまったくありません。要旨に数表を載せないのはごく普通のことですし、ACL本会議の採択は査読を通った強いシグナルです。言いたいのは1点だけ。要旨を読んで「最前線モデルは苦戦するらしい」と記憶に残すのは、まだ早いということです。それは今のところ、著者が書いた1つの単語にすぎません。
難しい試験を作れば、点は下がります。それは発見ではありません
出典の薄さとは別に、この種の研究には構造的に注意すべき点があります。冷笑ではなく、読み方の話です。
まず、ベンチマークは主張を持った人が作ります。この著者たちの主張は「今の評価は簡単すぎる」。そして、その主張を示すために設計されたベンチマークは、当然ながらその主張を示します。
難しい試験を作れば、点は下がる。それ自体は発見ではありません。
本当に面白い問いは別のところにあります。AgentGym2の難しさは、実運用でエージェントが失敗する理由をきちんと捉えているのか、それとも単に摩擦を増やしただけなのか。この問いに、要旨は答えていません。
次に、モデル名の書き方です。「Gemini」「GPT-5」とだけ書かれていて、バージョンも評価日も示されていません。最前線のモデルは数か月で入れ替わります。バージョンなしの主張は古びるのが速く、論文が読まれる頃には既に事実と食い違っているかもしれません。
それから、コードとデータです。ページ上にリポジトリやリーダーボードへのリンクはありません。「Code, Data, Media」パネルには alphaXiv や CatalyzeX といったツールが並びますが、あれはすべてのarXivページに表示される備え付けの導線であって、AgentGym2の公開を意味しません。元のAgentGymがオープンソース化された経緯を思えば公開の可能性は高いものの、この出典はそれを証明しません。
「答え合わせができない研究に意味はあるのか」と思われるかもしれません。あります。ここで重要なのは結論ではなく、問いの立て方だからです。「道具の一覧を渡さずに測ったら、どうなるのか」という問いは、実際にエージェントを運用している人なら誰もが薄々感じている違和感を、はっきり言葉にしています。答えを受け取るのはPDFを読んでからで十分。問いだけは、今日から持ち帰れます。
それでもAgentGym2を無視できない理由
スコアが未確認でも、この論文が置きに来た場所には意味があります。エージェントを世に出すうえで最大の未解決問題は、まさにここだからです。
企業はベンチマークの数字を根拠にエージェントを導入し、そのあとで気づきます——あの数字が描いていたのは、自分のユーザーが生きている世界より、ずっと簡単な世界だった、と。点数と本番の信頼性のズレは、この分野で一番大きな、そして一番地味な穴です。
だからこそ、松葉杖を外す評価には意味があります。実際の仕事では、どんな道具があるのかを自分で調べなければいけないし、依頼してくる人が欲しいものを正確に言葉にすることはまずありません。その2つを取り払った試験は、少なくとも「仕事」に近いものを測っています。加えて、古いエージェント評価の多くは天井近くで飽和し、システム同士の差を映さなくなりました。もし最前線モデルが本当にここで苦戦するなら、それは有用な重りになります。
そして現実的な話として、元AgentGymのチームによる後継で、ACL 2026本会議に採択されたとなれば、各社が自社モデルのスコアを載せる参照点になる可能性は高い。参照点になるということは、エージェント開発者が次に何を最適化するかを、この設計が形づくるということです。だからこそ、その設計が妥当かどうかを見ておく価値があります。
AgentGym2は、最前線モデルの敗北を証明した論文ではありません。「その勝ち負けを、今のベンチマークで本当に測れているのか」を問い直す論文です。判断はPDFを読んでから、コードと環境が公開されてから、そして第三者が同じ環境で測り直してから。今日この論文から持ち帰れるのは、答えではなく問いのほうです。——道具の一覧も、明確な指示も渡さなかったら、あなたのエージェントは何点になりますか。