Mistral OCR 4:「文字を読む」から「ページを読み解く」へ。ただし勝率72%は自社採点です

テキストの「書き起こし」から、座標・種類・信頼度つきの「構造」へ

今回の本当の新機軸は、スコアではなく出力の形です。従来のOCRは文書を一本の長いテキストに変換して終わりでした。OCR 4は、ページ上の各ブロックにバウンディングボックス(その要素がページのどこにあるかを示す矩形座標)、ブロック種類の分類(これは見出し、これは表、これは署名、というラベル)、そしてページごと・単語ごとの信頼度スコア(モデルが自分の読み取りにどれだけ自信があるかの点数)を付けて返します。これはAPIの仕様として確認できる事実です。

企業文書で重要なのは、AIが何を読んだかだけではありません。「どこを根拠にしたか」を、あとから指でさせることです。

ひとつ、仕組み上の注意があります。JSONスキーマを渡して構造化データを取り出すDocument AI層($5/1000ページ)は、実はOCRモデル本体の能力ではありません。OCRの結果をもとに、別の言語モデルmistral-small-2603が構造化出力を生成し、画像の説明にはさらに別の視覚モデルも呼ばれます(公式の技術説明で確認できる事実)。つまり「スキーマ通りのJSON」の間違い方は、OCR本体の間違い方とは別物です。読み取りは正しくても、二段目のモデルが整形で誤る可能性は残ります。

ここまでは仕様として確認できる話です。問題は、性能を裏づけるはずの数字のほう——次の表を見てください。すべての行に、同じ但し書きが付きます。

「勝率72%」の内訳:試験の主催も、問題選びも、採点者の手配もMistral

発表の目玉数字は「人間によるブラインド評価で、すべての評価対象システムに対して平均72%の勝率」。600以上の文書・12以上の言語で、評価者がどちらの出力を好むかを比べたといいます。数字は立派ですが、出所を一行ずつ確かめると、全部に同じ但し書きが付きます。

公平のために言えば、Mistralの発表文は自分の数字の弱点にかなり率直です。競合のベンチマークスコアはすべて自社の内部再現であり結果は「参考程度」だと自ら明記し、ユーザーには自分の文書で評価することを勧めています。ベンチマークでの失点の多くは「ベンチマーク側の採点欠陥(ラベル付けの誤り、等価なLaTeX表記、複数段組の読み順など)であってモデルの誤りではない」という分析も載せていますが、この監査を行ったのもMistral自身で、自社スコアに有利な物語であることは差し引いて読む必要があります。

OCR APIは1000ページ$4、Batchなら$2。ただし「8倍安い」は顧客証言です

数字の信頼度がいちばん高いのは、実は値段です。以下の3つは公式料金表でいつでも確認できます。

1000ページ$2〜4という水準は、大量の紙をデジタル化したい組織にとって「全部やってもいくら」の暗算ができる値段です。単一コンテナで自社サーバーに置けるという選択肢(企業限定)と合わせて、コストとデータ主権——文書を外部クラウドに出せない欧州企業の悩み——を同時に狙った値付けと読めます。

一方、発表に載っている顧客の証言は、割り引いて聞くべき種類の数字です。金融AIのRogoは「主流のエージェント型文書解析器と精度同等で、コストが約8分の1、遅延が約17分の1」、知財管理のAnaquaは「1ページあたり約4倍高速」と語っていますが、いずれもMistralの公式ブログに掲載された顧客コメントで、比較対象も測定条件も示されていません。「〜と顧客が述べています」以上のことは現時点では言えません。

「使ってはいけない場面」を自分から列挙した発表でもある

最後に時間軸と、この発表の読みどころを整理します。意外な見どころは、Mistralが不適用場面を公式に明記したことです。医療診断、法的判断、高リスクの金融判断、セーフティクリティカルなシステム、リアルタイムの低遅延処理、文書以外の入力——これらには使うなと、発表側がはっきり線を引いています(事実)。信頼度スコアを売りにする製品らしい、責任範囲の宣言です。