物理法則を書き換えたら、フロンティアAIは動けなくなった——ただし、この論文自体もまだ誰も検証していない
- F=maをF=mvに変えただけの世界で、主要3モデルの複合PASS率は6/15。法則を4領域まるごと作り替えたDecay Worldでは0/15でした(いずれも単著プレプリントの自己申告)
- ただし0/15だけは採点軸が1本少なく、他の2つと同じ物差しではありません(著者自身が明記しています)。3つを並べて「難しいほど下がった」と読むのが、この論文で最大の誤読です
- もっと怖い発見はこちら。モデルは変化の向きはほとんど外さないのに、その大きさは現実世界の公式で計算してしまう。もっともらしさのチェックを堂々とすり抜ける壊れ方です(件数は論文に示されていません)
- そして、実際に誤りがあった試行の少なくとも3分の2で、モデル自身の「見直し」が誤りなしと報告した、と論文は述べています。自己批判ループやLLM-as-judgeの前提が揺らぐ話です
- 最大の注意点:2026年6月30日投稿のv1プレプリント(arXiv:2607.00276、Dong Zhang氏の単著)で査読なし、所属記載なし。「全プロンプトと判定記録を公開する」という中核の約束も、arXivページ上にリンクや成果物が見当たりません。面白い仮説として読み、事実として扱わないのが正解です
F=maのaをvに変える。たった1文字です
その1文字を変えた世界に放り込まれたとき、フロンティアモデル3つの複合PASS率は6/15だった——と、ある単著プレプリントは報告しています。物理の教科書問題なら難なく解いてみせるモデルたちが、です。
なぜ、こんな乱暴なことをするのか。AIの物理ベンチマークは、たいてい最終的な答えが合っていたかどうかで採点します。ここに落とし穴がある、というのがこの論文の出発点です。物理の教科書問題は、インターネット上に解答つきで大量に転がっています。モデルが高得点を取ったとき、それが推論の成果なのか、似た問題を訓練中に読んでいただけなのかは、点数からは分かりません。
著者のDong Zhang氏は、これを実験の設計そのもので断ち切ろうとしました。物理法則を書き換えてしまえばいいのです。存在しない世界の問題は、どんなに大規模なデータで訓練したモデルでも「読んだことがある」はずがありません。
用意された並行世界は3つ。まずF=mv世界——力が質量×加速度ではなく、質量×速度で決まる世界です。実際の公式から文字が1つ変わっただけですが、物体の動き方は根本から変わります。次にアリストテレス力学——ニュートン以前に約2000年支持された「重いものほど速く落ちる」「動き続けるには押し続ける必要がある」体系です。間違ってはいますが歴史上実在した枠組みなので、デタラメではない形で「馴染みのなさ」を試せます。そしてDecay World——1本の式をいじるのではなく、4領域にまたがって丸ごと発明された、この論文の最難関です。
答え合わせをやめて、4つの段階に分けて観察する
もう1つの工夫が、推論を4段階に分解したことです。最終的な答えだけを見るのをやめ、どこで崩れたのかを特定できるようにしました。著者の言葉を借りれば、順位表を作るのではなく診断をするための設計です。
採点は「複合PASS」方式です。全部の採点軸をクリアして初めて1件の合格になります。つまり、答えの数字が合っていても、その世界の枠組みではない考え方でたどり着いていれば不合格。手続き面では、段階ごとに新しいセッションを立ち上げて前の発言を持ち越させないこと、成功の基準を実験前にロックした事前登録、2つのAIによる採点(dual-LLM judging)と人間監査の経路——といった仕掛けが説明されています。ただし、これらはすべて著者の自己申告です。事前登録は第三者が実験前にタイムスタンプを押して初めて意味を持ちますが、アブストラクトにはレジストリもハッシュもリンクもありません。人間監査が何件を実際に見たのか、監査したのが誰なのかも書かれていません。
いつもの過去問を解かせるのではなく、ルールを差し替えたオリジナルのゲームを渡して「まず遊びながらルールを推理し、それを紙に書き、その紙を使って新しい局面を解き、最後に自分の答えを見直してごらん」と頼むようなものです。過去問集は一切役に立ちません。しかも採点は最終手だけでなく、ルールの推理から見直しまで各段階を見ます。どこで転んだのかが分かる——それがこの設計の狙いです。
では、この設計で何が見えたのか。報告された数字は3つ——そのうち1つは、他の2つと同じ物差しで測られていません。
Decay Worldで0/15——ただし、そのゼロだけ採点のルールが違います
この論文で最も引用されそうな数字ほど、最も慎重に読む必要があります。まず確認しておくと、以下の数値はすべて査読を経ていない単著プレプリントの自己申告であり、独立に再現された数字ではありません。
ここから先は、数字の読み方の話です。この論文で最もやりがちな誤読が3つあります。
第一に、15という分母が本文中で説明されていません。3モデル×5試行だろうと推測はできますが、それは推測であってテキストにある記述ではありません。1モデルあたりの試行数が分からない以上、6/15を「モデル別の成績」に変換することはできません。つまり「Geminiがゼロ点だった」という見出しは書けないのです。0/15は3モデル全体を合わせた「世界単位」の結果だからです。
第二に、0/15は他の2つと同じ物差しではありません。Decay Worldは内容軸(物理が正しいか)だけで採点され、構造軸(推論の組み立てが妥当か)は対象外だと著者が明記しています。3つの数字を1本のスケールに並べて「難易度が上がるほど成績が下がった」と読むのが、この論文をめぐる最も簡単な間違いです。なお、この不揃いは著者が自ら開示したものであって、隠されていたわけではありません。そこは公正に評価すべき点です。
第三に、2つの6/15が一致しているからといって、F=mv世界とアリストテレス世界が同じ難しさだったとは限りません。同じモデルが落ちたのか、同じ段階で落ちたのかをアブストラクトは書いていません。数字の一致は偶然かもしれないのです。
| 並行世界 | 報告された複合PASS | 採点軸 | 他と比較できるか |
|---|---|---|---|
| F=mv(単一式の反事実) | 6/15 | 内容 + 構造 | アリストテレス世界とのみ、条件つきで |
| アリストテレス力学 | 6/15 | 内容 + 構造 | F=mv世界とのみ、条件つきで |
| Decay World(4領域) | 0/15 | 内容のみ | 不可——物差しが違う |
1つの世界あたり15件という規模は、統計ではなく診断のスケールです。論文自身の狙いも「どこで推論が壊れるか」の特定であって、モデルの能力を安定して測ることではありません。加えて、モデルはバージョン名(Opus 4.7、GPT-5.5、Gemini 3.1 Pro)でしか特定されておらず、スナップショット日付も温度もサンプリング設定も書かれていません。同じ名前のままフロンティアモデルは変わります。この結果が指しているのは製品ではなく、ある一瞬です。
向きは合っている。でも数字は、こっそり現実の物理に戻っている
この論文で実務家にとって最も価値があるのは、合格率そのものではありません。「どう間違えたか」の質的な非対称です。モデルは、量がどちらに動くか(向き)はほとんど外さない。ところが、その大きさ(比)は頻繁に間違える——現実世界の公式にすべり戻ってしまうからです。
なぜこれが厄介なのか。人間がAIの出力を眺めて妥当性を確かめるとき、まず見るのは「向き」です。エネルギーが減るはずの場面で減っている。ならば大丈夫そうだ、と感じます。ところが数字の中身は、頼んでもいない現実世界の公式で計算されている。もっともらしさのチェックを堂々と通過して、そのまま本番に届く——これが、実務で一番怖い壊れ方です。
そしてここからは、リフレクションやLLM-as-judgeを自分のシステムに組み込んでいる人への警告でもあります。
もう1つ、報告された数字の中で最も広く効くのがこれです。実際に誤りが含まれていた試行のうち、少なくとも3分の2で、モデル自身の第4段階「見直し」が「誤りなし」と報告した——と論文は述べています。自己批判ループも、リフレクションも、LLM-as-judge(AIに採点させる仕組み)も、すべて「モデルは自分のミスに気づける」という前提の上に建っています。馴染みのない枠組みの中で見直しが実際の誤りの3分の2を見逃すなら、それらのループは設計図が約束するほどの安全網にはなっていません。ただしこの「3分の2以上」は下限としての言い方で、点推定でもモデル別の内訳もなく、絶対的な試行数も示されていません。
自分の測定器に刃を向けている論文を、どう扱うか
ここが一番大事です。この論文には、自分の結論の足元を掘るような発見が含まれています。著者は「LLM採点者の信頼性は、枠組みをまたぐと転移しない」と認めています。
その意味を追いかけてみてください。採点しているのは2つのAIです。そのAI採点者が、馴染みのない世界では信頼性を落とす。とすると、最も馴染みのない世界——つまりDecay World——で出た数字こそが、採点ミスに最もさらされていることになります。そして、そのDecay Worldの結果が、この論文で最も引用されやすい0/15なのです。人間監査の経路が歯止めとして挙げられていますが、それが何件をカバーしたのかは書かれていません。この指摘は、AI採点者に評価を任せている業界全体への警告でもあります。馴染みのある素材で検証した採点者は、まさにそれを測るために作った新しい素材の上で、静かに機能を止めているかもしれない。
最後の1行が効いてきます。論文は「全プロンプト、応答、判定、監査記録を公開する」と書いています。これはこの論文の看板そのものです——「監査可能(auditable)」であることが方法論上の売りなのですから。ところが現時点で、arXivページにリポジトリのURLもデータリンクもなく、Hugging FaceやCatalyzeXにも成果物が見当たりません。322 KBという投稿サイズは、記録が同梱されていないことを裏づけます(どこか別の場所にあるはずの大きさです)。監査可能性を売りにした手続きの、その記録に手が届かない。今のところ、それは主張にとどまります。
これは「ダメな論文だ」という話ではありません。ベンチマークの点数が飽和し、高得点のどこまでが推論でどこからが既視感なのか誰にも分からなくなっている——この問題は本物です。物理法則を書き換えて訓練データを無力化するというやり方は、乱暴ですが本当に賢い。単著で、所属なしで、締切ぎりぎりの23時52分に投稿されたことも、内容の正しさとは関係ありません。ただ、外部の誰もまだ確かめていない、というだけです。1本の未査読プレプリント、1人の著者、1世界あたり15試行、そして所在不明のデータ公開。これは「真剣に受け止めて検証すべき仮説」であって、「この上に何かを積み上げてよい結論」ではありません。
この論文から今日持ち帰れるものは、数字ではなく問いです。あなたのシステムが自己批判ループやAI採点者に依存しているなら、それらは「モデルは自分のミスに気づく」「採点者は未知の題材でも働く」という2つの前提の上に建っています。この論文は、どちらも馴染みのない領域では崩れるかもしれない、と示唆しました——示唆であって、証明ではありません。次に見るべきは、著者が約束した監査記録が実際に公開され、開かれるかどうか。それが確かめられた瞬間に、この論文の重みは変わります。
そのあいだに、今日できることが1つあります。自分のリフレクションループに、モデルが見たことのないルールの問題を1問だけ混ぜてみることです。見直しが「誤りなし」と答えたら、それがこの論文の言っている状態です。実務上の読み替えはシンプルで、未知の領域では「自己レビュー済み」も「AI採点済み」も、まだ「安全確認済み」を意味しません。