「その問題、画像を見なくても解けます」——マルチモーダル試験の69%を削っても順位はほぼ変わらないと主張する新ベンチマークMMGist

3段のろ過装置:23,250問を7,262問に濃縮する

MMGistの作り方はシンプルです。18ベンチマークから集めた23,250問の元プールを、3種類のフィルタに通します。

1つ目はテキスト消去フィルタ。画像を取り除いて文章だけでも答えられるかを確かめ、答えられてしまう問題を捨てます(それは視覚の試験ではなく読解の試験だからです)。2つ目は飽和フィルタ。現行モデルのほぼ全部が正解してしまう問題を捨てます(全員100点の試験では差がつきません)。3つ目は異常検知フィルタで、問題として壊れている項目を除きます。残った7,262問が、7つの能力領域をカバーするMMGistになる——というのが論文の説明です。

ρ=0.98、−69%、+78%——検算できたのは1つだけ

論文の看板は3つの数字です。ここで重要なのは、3つが同じ強さの事実ではないことです。まず整理してから、それぞれの信頼度を見ます。

Spearman ρ(順位相関)とは、2つのランキングがどれだけ似ているかを測る指標で、0.98なら「小さい試験でも大きい試験とほぼ同じ順位が出る」ことを意味します。判別力とは、試験がモデル間の差をどれだけくっきり見せられるか。飽和した問題を捨てれば差が見えやすくなる、という理屈自体は自然です。

ただし、割り引くべき点が2つあります。第一に、ρ=0.98は削減元の同じプールとの比較です。要約版が原文と同じ順位を出すのは「圧縮がうまい」ことの証拠であって、「原文の試験が正しいものを測っていた」ことの証拠ではありません。著者ら自身が元プールの問題の多くを欠陥品だと言っているのですから、なおさらです。第二に、「判別力78%向上」は響きこそ良いものの、その計算式が要旨ページに書かれておらず、外部からは何が78%増えたのか解釈できません。

削って残ったのは、全モデル共通の「図で考える弱さ」——という主張

MMGistが面白いのは、順位表を短くしたことだけではありません。著者らは濃縮後のMMGistで主要なLVLM 27種を評価し、Visual Logic(視覚論理)が現行モデル共通の弱点として残った、と主張しています。7つの能力領域のうち要旨で名前が出ているのは2つだけですが、そこから次の主張が示されています。

特に1つ目は、もし本当なら実務的な意味が大きい発見です。順位が入れ替わったという話ではなく、「どのモデルも図で論理を組み立てるのが苦手」という共通の能力の穴を指しているからです。ただし現時点では、その根拠となる領域別スコアを確認できていません。

「大きい試験」から「濃い試験」へ——ただし賞味期限つき

最後に時間軸と、残っている注意点を並べます。

注意点は3つあります。まず、この記事はarXivの要旨ページのみに基づいており、本文・領域別の結果・27モデルのリストは未確認です。次に、MMGist自体の公開が確認できないため、外部の研究者が今すぐ検証したり使ったりできる状態かは分かりません。そして構造的な問題として、飽和フィルタは「いまのモデルたち」の成績を使って問題を選ぶため、2026年時点のモデル勢力図が試験に焼き込まれます。モデルが進歩すれば、この試験も再び飽和し、作り直しが必要になるはずです。

それでも、方向性には意味があります。評価を1回まわすだけでも、27以上のモデルに対する計算資源とAPI料金という実費がかかります。項目を69%減らして順位が保てるなら、評価は確実に安く速くなる。そして「とにかく大きいベンチマーク」から「差が見える問題だけを残した濃いベンチマーク」への流れは、この論文に限らず業界全体で進みつつあるものです。