Tencent Hy3:重みは本物、成績表は自己採点

Hy3のいちばん短い説明は「21B級に計算し、295B級に保管する」

Hy3の設計上の売りは、Mixture-of-Experts(MoE、専門家混合)です。モデルの中身を多数の小さな専門家(サブネットワーク)に分け、1単語を処理するたびに、そのうちごく一部だけを起こす。Hy3は192人の専門家のうち上位8人だけを使う設定だとされています(モデルカードの仕様表)。

他の仕様も押さえておきます。層は80層(MTP層1つを除く)、投機的デコード(先読みして生成を速くする仕組み)に使うMTP層が3.8Bパラメータ、文脈長は最大256K token。推論の深さはno_think / low / highで切り替えられます。ただし、これらはいずれもモデルカードの仕様表に書かれた値で、この情報源には性能の裏づけがありません。特に256Kは「そう設計されている」という話であって、その長さで実用的な品質が出ることを示すベンチマークは示されていません。

ここまでは、ファイルを見れば確かめられる話です。ここから先は、確かめられない話になります。

8つのスコアすべてに「verified:false」の印が付いている

ここが、この発表を読むうえで一番大事な部分です。Hy3が掲げるベンチマークのスコアは、1つを除いてすべてモデルカード発の自己申告です。Hugging Faceの評価結果パネルは、それらに「verified:false」——提出者本人の申告であって、誰も再実行していない——という印を付けています。

皮肉なのは、唯一の外部由来である28.8(LHTB)が、いちばん見栄えのしない数字だという点です。しかもこの28.8には、読み違えやすい罠があります。リーダーボードの注記には「solved@0.95 = 1/46」と書かれています。つまり46タスクのうち、Hy3が完全に解ききったのは1つだけ。28.8という値は部分点を含む平均報酬を100倍したもので、成功率28.8%ではありません。長い作業を最後までやり通す力は、まだそこまで来ていない、と読むのが正直なところです。

順位の見え方にも段差があります。Hugging Faceの一覧では、HLEで全体3位・500B未満のモデルの中では1位、GPQA Diamondで全体4位。一方でSWE-bench Verifiedは9位、SWE-bench Proは8位と中位です。「500B未満で1位」という枠組みと、素の順位の間には、けっこうな開きがあります。

270人のブラインド評価と、幻覚率の改善——出典はすべて社内

Tencentが性能の裏づけとして挙げるもう1つの柱が、社内評価です。270人の専門家が自分の実務からタスクを持ち寄り、モデル名を伏せて採点したところ、Hy3は4点満点で2.67、GLM-5.1は2.51だった、と説明しています。

数字だけ見れば勝ちですが、差は0.16点です。4点満点で0.16——270人のうち何人かが気分次第で1段階違う点を付ければ、それだけで揺らぎかねない幅です。しかもこの評価は、設計も実施も報告もすべてTencent。信頼区間も、評価者間の一致度も、タスク一覧も公開されていません。この0.16という差に意味があるのかどうか、この情報源からは判断できないというのが正確な言い方です。270人という人数も自己申告で、評価手順の説明はありません。

信頼性の改善についても同じことが言えます。Tencentは、幻覚(自信満々に間違ったことを言う現象)の発生率が12.5%から5.4%へ、常識的な誤りが25.4%から12.7%へ、複数ターン対話での問題発生率が17.4%から7.9%へ下がったと述べています。半減に近い改善で、もし本当なら製品に入れる側にとっては大きな意味があります。

ただし——これらはすべて非公開の社内評価で、テストセットも公開されていません。さらに厄介なのは、「改善前」が何を指すのかが書かれていないことです。おそらく4月末に出たHy3 Previewでしょうが、情報源はそう言っていません。「問題発生率」という指標の定義もありません。エージェントの足場(scaffolding、モデルにツールを使わせるための外側のソフト)を変えてもSWE-bench Verifiedの精度が4%以内に収まるという主張も、試した3つのうち1つ(CodeBuddy)はTencent自身の製品です。

Apache 2.0でも、個人がすぐ試せるわけではありません

Apache 2.0は本物です。使用量の上限も、売上のしきい値もない、正真正銘の寛容ライセンス。大手のオープンリリースの中には独自の「オープンっぽい」ライセンスを付けるものもあるので、これは本当に価値があります。企業が交渉なしに商用製品を作れます。

しかし、現実的なハードルは高いままです。Hunyuan Hy3は295Bパラメータ、BF16で約597GB、Tencentの推奨構成はH20-3eクラスのGPU8基。個人が気軽に動かせる代物ではありません。コミュニティ製の量子化版が60個も生まれているのは、まさに素の配布物が大半の人の手に届かないからです。

ホスティングもありません。モデルページには「このモデルはどのInference Providerにもデプロイされていません」と表示されており、対応を求めているユーザーが36人。つまり、APIを叩いて主張を試す簡単な方法も、今のところ存在しないということです。第三者検証がなかなか出てこない理由の一端が、ここにあります。

効率の比率が本題で、成績表はまだ判定待ち

Hy3の話の芯は、21B / 295Bという比率です。配信コストはおおむね21Bのモデル並みなのに、品質はもっと大きなモデルの話をしている——これが部分的にでも本当なら、フロンティア級モデルを自社で動かそうとする組織のコスト計算が変わります。ベンチマークの1〜2ポイントより、この比率のほうが重要です。

もう1つ見逃せないのが、Tencentが力を入れている場所です。幻覚率、ツール呼び出しの安定性、複数ターンでの意図の追跡——スコアではなく信頼性の話です。オープンモデルの競争の焦点が「点数を取れるか」から「製品に入れて壊れないか」へ移りつつあることを示しています。皮肉なのは、この一番興味深い領域の数字が、今回のリリースで一番検証しづらいということですが。

そして、H20-3eという推奨ハードウェアが静かに語っていることもあります。H20は中国市場向けのNVIDIA製品です。輸出規制の枠内で作られたモデルが、米国のフロンティア研究所が最良の重みを閉じたまま保持しているのとは対照的に、寛容なライセンスで公開される——中国のラボが続けている戦略の、また1つのデータ点だと言えます。