AIは論文を査読できるのか——本格ベンチマークの答えは「83点。ただし、仕込んだエラーの約3割は見逃す」
- 最良構成(OpenAIReview + GPT-5.5)は、ICLR/NeurIPS論文の優劣当てで83.0%。一方、答えが分かっている注入エラーでも検出率は71.6%——約28%は素通り(いずれも著者報告値で、詳細な結果表は未確認)
- 出どころは2026年6月18日投稿のarXiv論文(2606.19749)。論文を読んで査読コメントを書くAIパイプライン「エージェント型査読システム」を、オープンソース2系統+非公開1系統+ゼロショットの4種類×6つのLLMで比較(ここまでは確認できる事実)
- 6モデルの検出を合算すると83.3%に伸びる。モデルごとに見つけるエラーが違う証拠だが、合算は理論上の上限であって、実在するシステムの成績ではない
- 実運用での利用者投票は賛成:反対=1.44:1と好意的。ただし投票者は自己選択で、苦情の上位は「偽陽性」と「細かすぎる指摘」。既知のエラーすら約28%見逃す現状は、「補助はできるが代替はまだ」の定量的な根拠になる
「AI査読は使い物になるか」を、モノサシで測った
答えが分かっているエラーですら、最良のAI査読システムは約28%を見逃しました——それでも、ICLR/NeurIPS論文の優劣当てでは人間側の品質シグナルと83.0%一致しています(いずれも著者報告値)。査読(ピアレビュー)パンク時代の切り札は、どこまで使い物になるのか。Dang Nguyen氏らの研究チームが2026年6月18日にarXivへ投稿した論文(2606.19749)は、この問いを感想や逸話ではなく、数字で測る方法を提案しました。
なお、見出しの「83点」は総合点ではありません。2本の論文のどちらが優れているかを当てる「ペア精度」が83.0%だった、という意味です。
測定の対象となった「エージェント型査読システム」とは、単発のプロンプトではなく、複数の手順やツールを組み合わせて論文を読み、査読コメントを生成するAIパイプラインのこと。AIの助けを借りた論文が洪水のように投稿され、学会の査読が限界に近づくなかで、その対策として注目されています。比較したのは4種類。オープンソースの2システム(OpenAIReview、coarse)、プロプライエタリ(非公開)の1システム(Reviewer3)、そして「LLMにそのまま査読を頼むだけ」のゼロショットベースラインです。これらを最前線級から軽量級まで6つのLLMと掛け合わせて試しました。論文がarXiv上に存在し、この比較設計をとっていることは確認済みの事実です。
正解のない査読を、どうやって「83.0%」と採点したのか——3つのレンズ
査読には唯一の正解がありません。そこでこの研究は、角度の違う3つのモノサシを重ねるという方法をとりました。
| レンズ | 何を測るか | 主な結果(著者報告) | 注意点 |
|---|---|---|---|
| 外部シグナルとの一致 | ICLR/NeurIPS論文2本の優劣を、引用数や採択判定を「正解」に見立てて当てる(ペア精度) | 最良構成で83.0%。全システムが偶然を上回る | 引用数も採択も、真の品質のノイズ混じりな代理指標にすぎない |
| エラー注入ベンチマーク | 4カテゴリの誤りを8分野の論文にわざと埋め込み、何%見つけられるか(検出率) | 最良の単独構成で71.6%、6モデル合算で83.3% | エラーは人工的に注入したもの。実際の論文の微妙な欠陥に通用するかは別問題 |
| 実運用の投票 | OpenAIReviewを一般公開し、AIコメントへの賛成/反対投票を集める | 賛成:反対=1.44:1 | 投票者は使いに来た人だけ(自己選択)。苦情上位は偽陽性と些末な指摘 |
2つ目のレンズは、工場の検品係を試すために、わざと不良品を何個かラインに混ぜておくようなものです。「混ぜた数」が分かっているので、「何個見つけたか」を正確に採点できます。ただし、テスト用にわざと作った不良は、現実の製品に潜む微妙な不良より見つけやすいかもしれない——その限界も込みで読む必要があります。
単一の完璧なモノサシを諦めて、癖の違う3つを併用する。この設計自体が、今後のAI査読研究に使い回せる貢献だと言えます。
1つのAIでは足りない——単独71.6%が、6モデル合算で83.3%に伸びる理由
見出しの数字を並べます。優劣当ての83.0%と、エラー検出の71.6%は、どちらもOpenAIReviewにGPT-5.5を組み合わせた最良構成の成績です(著者報告)。裏返せば、答えを知っているエラーですら約28%は素通りしたことになります。
興味深いのはここからです。この研究でいちばん実用に近いヒントは、83.0%ではなく83.3%という数字のほうにあります。6つのLLMそれぞれの検出結果を合算すると、検出率は83.3%まで伸びました。つまり、モデルによって見つけるエラーの種類が違うのです。
6人の校正者に同じ原稿を渡すと、それぞれ違う誤植を見つけてくる——そんな状況に似ています。一番優秀な1人でも7割強しか拾えないのに、6人の指摘を持ち寄れば8割を超える。だとすれば、複数モデルを束ねる「アンサンブル」設計が実用への近道かもしれません。ただし83.3%はあくまで「持ち寄れば届くはずの天井」で、それを自動でやってのけるシステムはまだ存在しません。
確認できる事実は「この論文と評価設計が存在すること」まで。83.0%も71.6%も83.3%も、著者が要旨で報告した数字であり、独立した追試はまだありません。また「全システムが偶然を上回った」という結論も、偶然の基準値がいくつなのか要旨には書かれておらず、そもそもかなり低いハードルです。
投票は好意的「1.44:1」——なのに苦情の上位は「存在しない問題の指摘」だった
3つ目のレンズは、ベンチマークの外に出ます。研究チームはOpenAIReviewを実際に一般公開し、AIが書いた査読コメントに利用者が投じた賛成・反対の票を集めました。結果は賛成:反対=1.44:1で、好意的な側に傾いています(著者報告)。
ただし、この数字は割り引いて読むべきです。投票したのは、わざわざこのツールを使いに来た人たち——つまり自己選択されたユーザーです。そして要旨自身が認めているとおり、苦情の上位を占めたのは「偽陽性」(問題ではないものを問題だと指摘すること)と、些末な揚げ足取りでした。エラーを3割見逃しながら、一方で存在しない問題を指摘してしまう。人間の駆け出し査読者にもありそうな失敗の型が、AIでもそのまま再現されているのは示唆的です。
「補助はできる、代替はまだ」を数字で言えるようになった
残る注意書きを整理します。第一に、優劣当ての「正解」に使った引用数や採択判定は、それ自体がノイズと偏りを含む代理指標です。第二に、検出テストのエラーは人工物で、現実の投稿論文に潜むもっと微妙な欠陥への通用度は未知数です。第三に、比較対象の1つ(Reviewer3)は非公開システムで、この部分の追試は難しいでしょう。
それでも、この研究の価値は揺らぎません。AI査読をめぐる議論は「使ってみたらすごかった/ひどかった」という逸話に頼りがちでした。外部シグナルとの一致、注入エラーの検出率、実利用者の投票という3本のモノサシは、今後どのシステムが出てきても使い回せます。そして「6モデル合算なら83.3%」という発見は、単一の巨大モデルを磨くのとは別の道——複数モデルの束ね方、つまりハーネス設計の改善——に伸びしろがあることを示しています。
著者の報告を額面どおり受け取っても、最良のAI査読システムは「答えを知っているエラー」の約28%を見逃します。「AI査読はまだ信用できない」という漠然とした不安が、これで具体的な数字になりました。次に見るべきは、独立した追試がこれらの数字を再現するかどうか。そこを越えるまでは、AI査読は最終判断を下す「判定者」ではなく、見逃しも誤検出もある「下読み役」として扱うのが妥当です——この論文自体が、その線引きの根拠を与えています。