採点は医師並み、でも3,800問で一度も「保留」しなかった——医療AIを裁くAI審査員の盲点
- 決定的な発見はスコアの外にある:問題が難しくなるほど医師は「判断保留」を増やしたのに、フロンティアLLM評価者は3,800問すべてに断定的なスコアをつけ、保留は一度もなかった(著者報告)
- 舞台はドイツ語の記述式臨床ベンチマーク「MedQADE」(3,800問、著者14名が2026年7月1日にarXiv投稿)。現役医師10名とLLM評価者9モデルが採点し、最良のGemini 3 Flashは医師との一致度κ=0.694で医師同士の上限κ=0.709に肉薄(著者測定値。ただし著者自身が「信頼区間が広く解釈には限界がある」と明記)
- さらに、評価者が自分と同系統のモデルの回答をひいきする「身内びいき」の傾向も報告——単一のAI審査員に頼るリーダーボード全般に関わる話です(著者の主張、未再現)
「AIがAIを採点する」時代の、足元を測った論文
医療向けAIの答えが正しいかどうか、誰が採点するのか。理想は医師ですが、医師の時間は高価で、何千問もの採点には到底つき合えません。そこで業界が頼っているのが「LLM-as-a-Judge」——別の大規模言語モデルに採点係をやらせる方法です。今回の論文は、その採点係がどこまで医師の代わりになるのかを、正面から測りました。
舞台となるのは、著者らが構築した「MedQADE」という臨床ベンチマークです。選択肢から選ぶクイズ形式ではなく、AIが自由記述で答える「記述式(open-response)」で、しかもドイツ語。著者らはこれを「ドイツ語初の標準化された記述式臨床ベンチマーク」と主張しています(「初」かどうかは著者の申告で、独立には確認されていません)。規模は3,800問。これを現役医師10名と、9つのLLM評価者モデルの両方が採点し、両者の振る舞いを突き合わせました。
ひとつ大事な断り書きがあります。今回参照できたのはarXivのアブストラクト(要旨)のみで、手法の詳細、信頼区間の数値、モデル別の成績、「難易度」や「保留」をどう定義したかは確認できていません。以下はその制約の中での読み解きです。
κ=0.694対0.709——「医師並みの一致」をどう読むか
まず統計の結果から。採点の一致度は「カッパ(κ)」という指標で測られています。κは、偶然だけでも起きる一致を差し引いたうえで「どれだけ本当に意見が合っているか」を表す数字で、1.0が完全一致、0が偶然と同レベルです。
最も成績の良かった評価者モデルGemini 3 Flashは、医師の採点との一致度がκ=0.694。比較の物差しとなる「医師同士の一致度」はκ=0.709でした。数字だけ見れば、AI審査員は人間の上限にほぼ届いています。
ただし、著者ら自身が2つのブレーキを踏んでいます。第一に、これらのκには広い信頼区間がつき、「解釈には限界がある」と明記されていること。差がわずか0.015しかない以上、統計的なゆらぎで順位が入れ替わってもおかしくありません。第二に、上限のκ=0.709という値そのものが示すのは、医師同士でさえ「中程度」にしか一致しないという現実です。物差し自体が揺れているので、「医師並み」という言葉が保証できる精度には、もともと天井があります。
ベテラン審査員たちの採点が7割方しか揃わないコンクールで、新入りの審査員が「ベテランと7割方一致した」としても、それは「ベテランと同じ目を持った」ことの証明にはなりません。揃わない3割にこそ、その競技の難しさが詰まっているからです。
ただし、本当に見るべきなのは0.015という差の小ささではありません。数字が近づくほど、かえって見落としやすくなる差がありました——この論文の主役は、その先にあります。
医師は難問で「保留」する。AIは一度も保留しなかった
この論文の本当の見どころは、一致度の数字が隠していた行動の差です。著者らの報告によれば、医師は問題が難しくなるほど「これは断定できない」と判断を保留する割合を増やしました。一方、フロンティア級のLLM評価者は、3,800問のすべてに断定的なスコアをつけ、一度も保留しませんでした。
医療の世界では、この「保留する力」には名前があります。臨床メタ認知——自分の判断がどこまで信用できるかを自覚し、「この症例は自分の手に余る」と認識する能力です。難しい患者を前に専門医へ回す、追加検査を求める、断定を避ける。どれも医療安全の根幹をなす振る舞いで、著者らはLLM評価者にこれが「ほぼ欠如している(near-absent)」と表現しています(この言い回し自体は著者らの解釈です)。
模試の自己採点が先生とほぼ一致する生徒がいたとして、その生徒に本番の採点を任せられるでしょうか。先生なら「この答案は微妙だから合議に回す」と言う場面で、その生徒は迷いなく丸かバツをつけてしまう——一致率が高いのは、迷うべき難問が全体の一部だからにすぎません。医療AIの評価で怖いのは、まさにその「合議に回すべき一部」なのです。
「医師とκ=0.694で一致」は事実(著者測定)ですが、それは「医師の代わりが務まる」ことを意味しません。医師の安全性は正答率だけでなく「いつ判断を降りるか」に宿っており、その行動はκのような一致度の統計には映りません。統計的に医師並みでも、臨床的な慎重さはゼロ——これがこの論文の一行まとめです。
そして著者らの報告には、もう一つ居心地の悪い発見が残っています。AI審査員は、どうやら「身内」に甘いのです。
AI審査員は「身内びいき」するのか——ベンチマークのもう一つの弱点
著者らの報告によれば、評価者モデルには「系統依存バイアス」——自分と同じ会社・同じモデルファミリーの出身モデルが書いた回答を、系統的に高く採点する傾向——が見られ、しかもそれは言語に依存しなかった、というのです。
これはまだ著者らの報告にとどまり、独立した再現はされていません。ただ、もし本当なら影響は広い。世の中のベンチマークやリーダーボードの多くは、単一のLLM審査員のスコアで順位を決めています。その審査員が無自覚に「身内」をひいきしているなら、順位表そのものが傾いていることになります。著者らはここから、「評価者の独立性は、仮定するのではなく明示的に検証すべきだ」と主張しています。
査読前・要旨のみ——それでも規制側には効く話
最後に、確認できる範囲と限界を整理します。
| 報告内容 | 性質 | 注意点 |
|---|---|---|
| 3,800問・医師10名・評価者9モデルという構成 | 事実(アブストラクト記載) | 詳細な手法は本文未確認 |
| κ=0.694(Gemini 3 Flash)対 0.709(医師上限) | 事実(著者測定) | 著者自身が信頼区間の広さを警告 |
| 医師は難問で保留を増やし、LLM評価者は全問断定 | 事実(著者報告) | 「難易度」「保留」の定義は未確認 |
| 「ドイツ語初の標準化記述式臨床ベンチマーク」 | 主張 | 優先権の申告で、独立検証なし |
| 系統バイアスは言語非依存 | 主張 | 未再現。コード・データ公開の言及もなし |
限界ははっきりしています。結果はドイツ語の臨床QAに限られ、他言語や他の診療環境への一般化は未検証。投稿されたばかりのプレプリントで、コードやデータの公開もアブストラクトには書かれていません。κの差も信頼区間を見ないことには確定的なことが言えません。
それでも、この論文が突きつける問いは実務的です。病院がAI製品を導入するとき、規制当局が臨床AIを審査するとき、ベンダーの「医師とX%一致するAI評価で検証済み」という説明は、どこまで信じてよいのか。この論文は「一致率だけでは足りない」という、具体的なチェック項目を差し出しています。
AI審査員は、統計上は医師にほぼ並びました。しかし「難しいときに判断を降りる」という、医師の安全性の核になる行動は一度も示しませんでした。医療AIの評価を自動化する流れ自体は止まらないでしょう。だからこそ、ベンダーの「医師とX%一致」という説明を聞いたら、次の二つを問うてください。そのAI審査員は、迷うべき場面でちゃんと迷えましたか。そして、身内の答案を採点していませんか。