最強構成のAIエージェントでも約3件に1件は失敗——「研究者らしさ」を測る新ベンチマークAARRI-Bench

「完走できるか」ではなく「研究者らしいか」

著者らによれば、これまでのエージェント向けベンチマークが主に測ってきたのはマクロな実行能力——コードを書き切る、実験を最後まで走らせる、といった長程タスク(多くの手順を踏んで長時間かけて終わらせる仕事)の完走力でした。AARRが測ろうとするのは、その手前にある細粒度の「研究行動」だ、というのが著者らの整理です。

この設計思想の背景には、「AIは科学研究を自動化できるのか」という現在進行形の論争があります。エージェント(大規模言語モデルに、ファイルを読みコードを実行する機能を持たせた自律型AI)は長いタスクを完走できるようになってきました。しかし完走できることと、研究者として信頼できることは同じなのか——AARRはその問いを数字にしようとする試みです。問われているのは「最後まで走り切ったか」ではなく、「途中の細部に気づけたか」——というのが著者らの立て付けです。

最良構成でも68.3%——約3件に1件は失敗する計算

論文の要旨で示されている実験結果は、要するにこうです。複数のフロンティアモデル(現時点で最も能力の高い一群の大規模言語モデル)とエージェントフレームワークを組み合わせて試したところ、最良の構成であるMini-SWE-Agent + Claude Opus 4.7でも、AARRI-Benchの成功率は68.3%だった。

著者らはさらに、失敗の質にも触れています。いわく、エージェントは「人間の研究者には一目瞭然の細部」をしばしば見落とすのだそうです。実験ノートの小さな矛盾に気づかない、前提条件の確認を飛ばす——そうしたつまずき方だとすれば、これは能力の量ではなく質の問題で、示唆的ではあります。ただしこの描写も、失敗事例の内訳データが見えない以上、著者の実験結論として受け取っておくべきものです。

ただし、この数字には記事の核心になる留保があります。68.3%を出した試験は、出題者と採点者が同じなのです。

出題者と採点者が同じ——この数字をどこまで信じるか

aibestnewsの流儀で、確認できる事実と、著者がそう言っているだけの主張を仕分けします。今回はこの仕分けが特に重要です。なぜなら68.3%という数字は、ベンチマークを設計した本人たちが、自分の設計した試験で測った結果だからです。

誤解のないように言えば、自作ベンチマークで自分の仮説を検証すること自体は、この分野ではごく普通の手続きです。問題は、今の時点で外から確かめられる材料がほぼないことです。本ソースはarXivの要旨ページであり、試験が何問あるのか、採点は自動か人手か、難易度の設定は妥当か——どれも見えません。試験を意図的に難しく作れば、「最強のAIでも68.3%」という見出しはいくらでも作れてしまいます。そうだと言いたいのではなく、そうでないことをまだ誰も確認できていない、というのが正確な現状です。

数字より先に、「物差しの提案」として読む

それでもこの論文が議論に値するのは、「AIは研究者を代替できるか」という問いに対して、測り方そのものを変えようとしているからです。完走能力ではなく研究者らしさを測る——この視点の転換は、AIに研究を手伝わせているチームにとって実務的な意味を持ちます。エージェントは長い仕事をやり切ってくれるが、人間なら見逃さない細部を落とすかもしれない。その前提でチェック体制を組むべきだ、という警告として読めるからです。