1 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有
  • 同程度のサイズのモデルより高い性能を目指しており、2〜5倍多いパラメータを持つフラッグシップ級オープンソースモデルとも競争可能な水準
  • 270人の専門家による実業務ベースのブラインド評価で、Hy3は2.67/4を記録し、GLM-5.1の2.51/4を上回った。フロントエンド開発、データおよびストレージ、CI/CDで差が大きかった
  • 製品フィードバックに基づく改善により、幻覚率は12.5%→5.4%、常識エラー率は25.4%→12.7%、内部の複数ターンテストにおける問題率は17.4%→7.9%に低下
  • Apache 2.0ライセンスでGitHub、HuggingFace、ModelScope、AtomGitに公開されており、API価格は100万トークンあたり入力1 RMB、出力4 RMB、キャッシュ入力0.25 RMB
  • Tencentは4月末のHy3 preview以降、50以上の製品からのフィードバックと高品質な事後学習データを反映し、正式版Hy3を公開

Hy3の公開とエージェント性能

  • Tencentは4月末にHy3 previewをリリースした後、50以上の製品からフィードバックを集め、より高品質なデータで事後学習を拡張してHy3を公開した
  • 新モデルは同程度のサイズのモデルより高い性能を発揮し、2〜5倍のパラメータを持つフラッグシップ級オープンソースモデルと競争可能な水準と評価されている
  • preview以降、事後学習データの品質と多様性を高め、RL学習を拡張した
    • 推論、エージェント型タスク、長いコンテキストのタスクで改善された
    • より大きなフラッグシップモデル群と競争可能な水準を目標としている
  • 生産性タスクでは、コーディング、オフィス業務、金融モデリング、フロントエンドデザイン、ゲーム開発で進展があった
    • 270人の専門家が実業務の課題を用いたブラインド評価で、Hy3は2.67/4を記録した
    • GLM-5.1は2.51/4を記録した
    • Hy3の優位性は、フロントエンド開発、データおよびストレージ、CI/CD作業で最も大きかった

製品の信頼性、コスト、公開方法

  • ベンチマークだけではモデルの有用性を十分に捉えにくいと考え、実際の製品フィードバックをもとに複数の問題を修正した
  • ツール呼び出しと出力形式の安定性を改善した
    • ツール設定と出力制約全般で本番レベルの基準に合わせるため、基本的な信頼性の問題を修正した
    • ツール呼び出しエラーの復旧と全体的な効率が向上した
    • CodeBuddy、Cline、KiloCodeのような異なるエージェントスキャフォールディングで、SWE-Bench Verifiedの正解率の変動幅が4%以内に維持された
  • 知識と幻覚防止を強化した
    • 根拠がある場合に回答し、証拠がなければないと述べ、出典を混ぜたりデータを捏造したりしないという基準で、データ精製と学習制約を適用した
    • 内部の実シナリオ評価で、幻覚率は12.5%から5.4%に低下した
    • 常識エラー率は25.4%から12.7%に低下した
    • 事実の混同、捏造、論理的矛盾が減少した
  • 複雑なコンテキスト維持と複数ターンの意図追跡を改善した
    • SFTとRLの共同最適化により、指示対象の解釈、省略の復元、複数ターン制約の継承といった運用上の問題に対処した
    • 内部の総合的な複数ターンテストの問題率は17.4%から7.9%に低下した
    • MRCRのような長い対話評価でも改善された
    • 長いインタラクションでも複雑な意図が弱まったりドリフトしたりしないようにしつつ、出力はより簡潔になった
  • WorkBuddyの内部テストで、Hy3はpreview比でタスク成功率と完了時間を改善した
    • タスク成功率はHy3 previewの72%からHy3の90%へ上昇した
    • 平均完了時間は34%短縮された
    • データ処理、文書作業、リサーチレポート分析で改善された
  • GLM-5.2と比較した一部の一般タスクで、Hy3のトークン効率が高かった
    • 文書処理で47.4%少ないトークンを使用した
    • プレゼンテーション生成で49%少ないトークンを使用した
  • Hy3はApache 2.0ライセンスで公開された
  • ハードウェアとソフトウェアの共同最適化により、API価格を引き下げた
    • 100万トークンあたり入力: 1 RMB
    • 100万トークンあたり出力: 4 RMB
    • 100万トークンあたりキャッシュ入力: 0.25 RMB
  • Tencentは1月末のインフラ再構築、4月のHy3 preview、今回のHy3公開と製品展開まで、6か月以内にエンドツーエンドのモデル開発ループを経た
  • 今後も学習のスケール拡大、データ品質の改善、ユーザー体験の細部最適化を継続する計画だ

1件のコメント

 
GN⁺ 3 시간 전
Hacker News の意見
  • 数日前の Pelican の結果: https://simonwillison.net/2026/Jul/6/hy3/ — OpenRouter の無料ティアを使っていて、7月21日に期限切れになる
    41日前にはプレビューモデルで試したところ、「change pelican color」ボタン付きのペリカンが出てきた: https://static.simonwillison.net/static/2026/hy3-preview-pelican.html

    • 最近 GPT-OSS でペリカンテストをやってみたが、2025年最高のローカルモデルの一つだったように思う
      SVG ペリカンでモデルがどれほど良くなったかを見るのは本当に素晴らしい
    • TFA がなぜわざわざ「Tencent in China」と書いているのか気になる
      tencent/Hy3. New Apache 2.0 licensed model from Tencent in China とあるが、Tencent AI 研究所はほかの地域にもあるのだろうか? たとえば MiniMax は Tencent と何らかの関係がある
    • 以前、あなたの記事に過度に批判的で、悪意をもって議論し、あなたに否定的に振る舞って悪い雰囲気を作っていたと思う
      LLM はそれほど好きではないが、あなたのおかげで、自分の感情が非合理的だったこと、そして自分が楽しみを感じていた職業は以前の形では事実上終わったので、手放してお金と注目のためにやる側に加わるべきだと気づいた
      それでも自分の個人プロジェクトは、できれば自分の手でコーディングし、LLM は使わないつもりだ
      ペリカンのミームが実際にどれほど有用かは分からないが、少なくとも美的な面から始まったのは素晴らしいと思う
  • 1か月前、誰も Hy3 について話していないのに OpenRouter ランキングの上位に入っている、というブログ記事を書いた: https://news.ycombinator.com/item?id=48317294
    今日時点ではランキングが8〜9位まで下がっており、競合モデルではなくこれを使うべき理由はあまり見当たらない
    ただ価格体系は少し分かりにくく、現在 OpenRouter 経由での Hy3 の実質入力価格は、DeepSeek がホストする DeepSeek Flash V4 と同じになっている
    https://openrouter.ai/tencent/hy3-preview
    https://openrouter.ai/deepseek/deepseek-v4-flash

    • リクエスト制限が厳しすぎて、使用をやめざるを得なかった
      ランキングが下がったのもおそらくそのせいだろうし、需要をさばき切れていないように見えた
    • それはプレビューモデルだったようで、今回のモデルはずっと良さそうだ
      依然として小さなモデルではあるが、少なくともベンチマークスコアは DeepSWE を含めて大きく上がっている
      価格は Flash と同じだが、ベンチマークは Pro に近いか、一部ではそれ以上だ
      もちろんベンチマークは概してあまり意味がなく、本当のベンチマークは実際に任せる作業だ
    • OpenRouter では本当に遅く、HTTP エラーも多く経験した
    • かなり没入感のある散文を書き、ファインチューニングもうまくいき、今ではMIT ライセンスになっている
      サイズの割に世界知識も非常に良く、DS4 Flash より良いと思う
  • Novita が OpenRouter で7月21日まで Hy3 の無料利用を提供している
    https://openrouter.ai/tencent/hy3:free
    https://x.com/novita_labs/status/2074158304159510819

  • サイズがかなり近いので、DS4 Flash と比べて人々がどう感じるのか気になる
    また、強い量子化をかけたときにどれほど耐えられるのかも気になる
    DS4 Flash は現在、RAM が約96GB以上のシステムでかなりうまく動くが、Hy3 がその領域で競争できるかは分からない

    • 昨日 OpenRouter で Hy3 を使ってみた。Anthropic のサブスクを1週間前に解約してからは、DS4 Flash/Pro を主力として使っている
      DS4 Flash は Claude Code 経由で使うとかなり気まぐれだと感じた
      速度は素晴らしいが、完全に間違ったメンタルモデルを作って見当違いの方向へ突っ走ることが多く、頻繁に制御する必要があったし、履歴も圧縮しなければならず、キャッシュ価格の利点が薄れた
      Hy3 はそこまで速くはないが、今のところ DS4 Flash よりはるかに安定して方向性を保つ
      長いコンテキストでも壊れにくいようで、実際の価格はよく分からないが、非常に競争力のあるモデルだと感じる
      それとは別に LongCat 2.0 も5,000万トークンパックを買って試してみたが、無料ではないものの、実質ばらまきに近いほど安い
      これもかなり印象的で、Hy3 とおおむね似ているように見える
      最前線級の知能ではないが、コードベースをうまく探索し、指示された作業を安定してこなす信頼できる働き手に近い
    • DSV4 で表面上は見えにくい点は、DeepSeek チームが構造に多くの革新を入れていることだ
      llama.cpp が lightning indexer を完全にサポートすれば、1M コンテキスト全体に必要な RAM は約6GBだけになる
      そのためサイズが似ていても、その面では DeepSeek の方がはるかに効率的だと思う
      Hy3 が競争できるかは、量子化にどれだけ強いかに大きく左右される
      DSV4 は2ビット量子化でも使い物になる
    • それは DS4 Flash の2ビット量子化
      むしろ Qwen3.6-27B を Q8 で動かす方がよいかもしれない
    • Hy3 には DSv4 構造の KV キャッシュ効率がない
      DSv4 Flash は DGX Spark 2台で動かしながらも、KV キャッシュ 3M トークンを入れるメモリが残るが、Hy3 は FP4 に量子化しても KV キャッシュは約130Kトークン程度しか入らない
    • DS4-Flash は「かなり」小さいだけでなく、DSpark のおかげではるかに速いという速度面の利点も得られる
  • このモデルは性能の割に驚くほど小さい
    deepseekV4 flashより少し大きいが、一部のベンチマークではV4 pro並みかそれ以上に見えるので、人気のローカルモデルになっても不思議ではない

    • そこはずっと気になっていた
      GLM-5.2もDeepSeek V4 Proの半分のサイズなのに、価格はおよそ2倍
      DeepSeekの構造を少し見てみたが、主な焦点はできるだけコストを下げる方法だった
      アテンション機構でかなりコスト削減していて、そのおかげで巨大なコンテキストでも信じられないほど安い価格を提供できたが、性能の犠牲はあったように思う
      少なくとも、より小さいモデルのほうが高価で性能も高いのを見ると、「アテンションがより密なのか?」という気がする
    • 「ローカル」が数千ドルの機材を使う人たちを意味しているのでなければ、まだかなり大きいモデルだ
    • Hy3 has 295B parameters in total. To serve it on 8 GPUs, we recommend using H20-3e or other GPUs with larger memory capacity.
      自分も人気のローカルモデルになり得ると思う
  • モデルを使ってみたがかなり優秀で、~~gpt5.4~~ gpt-5.4-miniより良いように思う
    性能もsonnet 5に十分近く、大きな差は感じなかった
    gpt 5.5級ではなく、おそらくglm 5.2よりは下だろうが、自分が試したほとんどの作業では普通にうまく動き、非常に安い
    FOSSモデルが必要なら、使わない理由はない
    修正: 基本のgpt-5.4ではなくgpt-5.4-miniだった

    • Hy3 DeepSWEは28%で、GPT5.4 xhigh DeepSWEは52%
      Hy3のブログ記事には汚染されたベンチマークが多そうなので、実際のテストが必要だ
      多くの中国モデルのように、ベンチマーク最適化がかなり強く行われている感じが強い
    • モデルを見間違えたようだ
      gpt-5.4なら、それに匹敵するオープンソースモデルはなさそうで、たぶんあと1年はかかるかもしれない
  • Hy3を使うと自分がおかしくなる気がする
    極端にベンチマーク最適化されているのか、それとも自分の使い方の問題なのか分からないが、むしろdense Gemmaを使いたい
    最近の記憶では、ここまで自分の時間を無駄にしたモデルはなかった

    • Hy3プレビューは、モデルを使ったセキュリティ監査ベンチマークで平凡な性能で、Gemma 4のほうが良かった
      31Bが明確に上回っていて、MoEもQAT版で4ビット量子化を使っても少し良かった
      Qwen 3.6 27BもHy3より良かった
      プレビューを脱し、追加の事後学習が入った今、再度試す予定
      悪くはなっていないはずなので、31Bモデルと競えるくらい良くなっている可能性はある
  • Hy言語の新リリースかと思った: https://hylang.org

  • 本当に必要なのは、推論またはLLMアーキテクチャのブレークスルー
    GLM-5.2級のモデルをQwen 3.6 27b以下のサイズで、48GB Macbook Proのような消費者向けデバイス上で最低でも毎秒100トークンで動かせる必要がある
    自分の仮説は、より小さく賢さは劣るが高速なモデルを良い実行装置と組み合わせれば、より長く動かすことで、大きなモデルが一度で解く問題を力技で押し切って解決できるというものだ

    • 実行装置そのものが文字どおりLLMになる方向に、より期待している
      いろいろな機械構造物に振動ダンパーを取り付けるのと似たような方式だ
  • サイトにアクセスできない
    https://hy.tencent.com/research/hy3に接続できない