シフト表も配送計画も、AIにはまだ任せられない——最強エージェントの合格率35.51%が示す「動くコード」と「使える決定」の距離

提出物は「隠れた採点者」が3つの関門でふるいにかける

このベンチマークの肝は採点方法にあります。提出された解は、エージェントからは中身の見えない「隠れた検証器（hidden validator）」が自動採点します。見えなくしてあるのは、採点ルールの裏をかく小細工を防ぐためです。

検証器のチェックは3段階です。第1に、提出物が指定の形式として有効か。第2に、ハード制約——絶対に破ってはいけない運用ルール（たとえば同じ作業員が2つのシフトに同時に入ることはできない）——をすべて満たすか。第3に、解の良し悪し（コストや利益）を統一の物差しに換算した「正規化された目的品質」が基準に達しているか。3つ全部を通って、はじめて合格です。

最良の構成で35.51%、難タスクは20.59%——著者自身の測定でこの水準

著者らは14種類の「エージェントの枠組み×モデル」の組み合わせを試したと報告しています（どの14種かは抄録に書かれていません）。その中で最も成績の良かった構成でも、107タスク全体の通過率は35.51%。難しいタスクに限ると20.59%でした。いずれも著者の自己測定値で、独立した追試はまだありません。

もうひとつ見逃せないのが、著者らの次の指摘です。制約は満たしている——つまり2つ目の関門までは通った——のに、解の質が基準に届かず3つ目で落ちるケースが多かった、といいます。「一応使えるが、コストが高すぎるシフト表」を量産している状態です。実務では、それは不合格と同じです。

つまずきは文法ではなく戦略。「手順スキル」を足しても質は上がらない

著者らの失敗分析によれば、エージェントが落第する主因はコードの文法ミスではなく、戦略レベルの弱さでした。具体的には、運用ルールの見落とし、壊れやすいモデル化、実行可能な解を組み立てる力の弱さ、そして一度出した解を改善しきれないこと、の4つが挙げられています（いずれも著者の分析であり、外部からの検証はありません）。

興味深いのは、著者らが試したという処方箋の結果です。OR専用の手順スキル——問題の読み方や求解の段取りを教え込む部品——を追加すると、難タスクで「制約を満たす解」を出せる割合は上がったものの、解の質や最終的な合格率は安定して改善しなかったと報告されています。

この発見が正しければ、示唆するところは小さくありません。ボトルネックは仕事の「段取り」ではなく、最適化を深く解き切る能力そのものにある、ということになるからです。コード生成が上手になるだけでは、この壁は越えられない可能性があります。

「まだ任せられない」は妥当な読み。ただし数字は全部、著者の自己申告

最後に、この論文をどこまで信じてよいかを整理します。結論から言えば、方向性の主張は説得力がある一方、数字はすべて留保つきで受け取るべきです。

とくに注意したいのは3点です。第1に、今回の情報源はarXivの抄録ページだけで、タスクの実例も採点の詳細も各モデルの個別成績も見えていません。第2に、査読前であり、著者の所属機関の記載もないため、利害関係（たとえばソルバー企業やモデル企業との関係）の有無が判断できません。第3に、「難タスク」の定義や14構成の内訳といった、結果の解釈に効く情報が抄録には含まれていません。

それでも、この研究が投げかける問いは実務的で鋭いものです。シフト、配送、在庫——ORは企業が本物のお金を賭けている意思決定の現場であり、もしLLMエージェントが端から端まで担えるなら自動化の価値は巨大です。その問いに対してこのベンチマークが出した暫定回答は、「今はまだ遠く及ばない」。そして失敗の中身が戦略レベルだという分析が正しければ、改善は「もっと良いコード補完」からは来ない、ということになります。