Inkling：Thinking Machines Labのオープンウェイトモデル

 (thinkingmachines.ai)
5 ポイント 投稿者 GN⁺ 4 시간 전 | 1件のコメント | WhatsAppで共有
  • ゼロから学習し全重みを公開した Inkling は、総計975B・アクティブ41BパラメータのMoE Transformerで、最大1Mトークンのコンテキストと、テキスト・画像・音声ベースの推論に対応
  • テキスト・画像・音声・動画から成る45兆トークンで事前学習しており、特定ベンチマークよりも、エージェント作業・推論・コーディング・指示追従・事実性全般における 汎用性とカスタマイズ可能性 を優先
  • 推論努力度を0.2〜0.99の範囲で調整し、コスト・レイテンシと性能を合わせられる。Terminal Bench 2.1では、Nemotron 3 Ultraと同等の性能を約 3分の1のトークン で達成
  • 現時点で最強のオープンモデルまたはクローズドモデルではないが、マルチモーダル機能、効率的な推論、Tinkerファインチューニング、多様な推論・デプロイツールを組み合わせたオープンウェイト基盤を目指す
  • あわせて発表された Inkling-Smallプレビュー は総計276B・アクティブ12Bパラメータで、複数の評価で大型モデルと同等またはそれ以上の結果を出しており、テスト完了後に全重みを公開予定

全重みを公開した汎用モデル

  • Thinking Machines Labは、人がAIモデルを直接カスタマイズできるよう、ゼロから学習した Inklingの全重み を公開
  • Inklingは総計 975Bパラメータ のうち、トークンあたり41Bがアクティブ化されるMixture-of-Experts Transformer
    • 最大コンテキストウィンドウは1Mトークン
    • テキスト・画像・音声・動画から成る45兆トークンで事前学習
    • テキスト・画像・音声をネイティブ入力としてまとめて推論
  • 特定分野に集中するのではなく、エージェント作業、推論、コーディング、指示追従、事実性、ビジョン、音声を包含する バランスの取れた基盤モデル として学習
  • オープン・クローズドモデル全体で最強のモデルではなく、マルチモーダル機能と効率的な推論、Tinkerファインチューニングを組み合わせたカスタマイズ基盤モデルを目標とする
  • 複数サイズへ拡張するモデルファミリーの最初のリリースで、より軽量なInkling-Smallもプレビューとして同時公開
  • TinkerでInklingを直接ファインチューニングでき、TinkerコンソールのInkling Playgroundで会話しながらモデル特性を確認できる
  • カスタマイズのデモでは、InklingがTinkerを使って 自身のファインチューニング作業を作成・実行・評価 し、OpenCodeハーネス内で動作した

汎用エージェントと成果物の制作

  • 異なるワークフローや製品に合わせてファインチューニングできるよう、単一分野での最高性能よりも 幅広いタスク性能 を優先
  • コーディングおよびエージェントハーネスの学習過程で、ツールセットとスキーマをランダム化し、特定ハーネスへの感度を下げた
    • ハーネス内部でも推論努力度を設定できる
    • ほとんどのエージェントベンチマークで、オープンウェイトモデルの中で競争力のあるスコアを記録
  • 1回のプロンプトで求人応募用Webアプリを作成し、自然言語の指示に従って保存済みプロフィールでフォームに入力する ブラウザ利用エージェント をアプリに組み込んだ
  • 生成されたWebアプリをブラインド方式で一対一比較するDesign ArenaのAgentic Web Devリーダーボードで、強力なオープンウェイトモデル群に含まれる
  • 正確な指示追従と一貫したスタイルを保ちながら、9ページ分の食と旅行のPDFジャーナルのような 複数ページの成果物 を生成
  • GPT Codexがレビュー担当として提供したフィードバックを40回反映し、リアルタイムサーバー・ボット・リーダーボードを備えたオンラインマルチプレイヤーSnakeゲームを改善
    • 長い反復改善プロセスを維持しながら、フィードバックによって成果物を発展させる能力を協業タスクの中核とみなす

コストと性能を調整する推論努力度

  • 実際のアプリケーションでは最高性能だけでなく トークンコストとレイテンシ も制約となり、特に低レイテンシは反復的な協業と改善に重要
  • 推論努力度を 0.2〜0.99の範囲で調整 し、性能と生成トークン数のバランスを選択できる
  • Terminal Bench 2.1、Humanity’s Last Exam（HLE）、IFBenchで、努力度ごとの性能と平均生成トークンを比較
    • Terminal Bench 2.1では、Nemotron 3 Ultraと同水準の性能を約3分の1のトークンで達成
    • HLEの結果は最終リリース前のチェックポイントで測定されており、最終モデルよりやや低い
  • モデルを数百万回呼び出す場合や長いワークフローに組み込む場合は、単一の最高スコアではなく 全体のコスト・性能曲線 を基準に、ユースケースごとの設定を選べる

エンコーダーなしのネイティブマルチモーダル構造

  • リアルタイムの音声・ビジョン協業を支援する interaction models system のバックグラウンド推論モデルとして利用できるよう、ゼロからマルチモーダルで学習
  • ビジョンと音声のどちらも別個のエンコーダーを持たない エンコーダーレス構造 を使用
    • 音声は dMelスペクトログラム として入力
    • 画像は4層hMLPで40×40ピクセルのパッチにエンコードし、Vision Transformer関連研究 の設計に従う
    • 2つの入力は軽量な埋め込み層を通過した後、テキストトークンとともに処理される
  • 音声では、音声文字起こし、音声指示追従、録音に対する質疑応答、長時間音声推論に対応
    • effort=0.99でAudio MC 56.6%、MMAU 77.2%、VoiceBench 91.4%を記録
    • VoiceBench・MMAU・Audio MC基準で、強力なオープンウェイト音声モデル群に属する
  • ビジョンでは、画像説明と質疑応答だけでなく、チャート・図表・数学的な視覚推論まで実行
    • MMMU Pro Standard 10は73.5%、Charxiv RQは78.1%
    • Pythonで拡大・切り抜きなどの画像操作を使うと、Charxiv RQは82.0%に上がる
  • 後続モデルと学習パイプラインで、マルチモーダル機能を継続的に拡張する予定

確信度の較正と不確実性への対応

  • Inklingの 認識論的特性（epistemics） は、較正された確信度、指示追従、検閲耐性をあわせて扱う概念
  • すべての回答に過剰な確信を示すと、情報が不足している場合や内容を作り上げた場合でもユーザーが毎回検証しなければならないため、解決済みの実際の質問に適切な採点ルールを適用する強化学習で確率較正を学習
  • 2026年6月30日から7月13日まで、公開版とは異なるチェックポイントで実施した予測評価の結果は次のとおり
    • 検索なしのForecastBench Brier Indexは61.1±0.79、検索使用時は63.7±0.82
    • Prophet Arena Brier Scoreは0.1617で、低いほど良い
  • 複雑で検証しにくい質問の指示追従には、rubric graderとclaims grader という2つの自動評価器を使用
    • rubric graderは良い回答に必要な項目をチェックリストで評価するが、関連して見える事実を大量に出力して点を狙う方法に弱い
    • claims graderはエージェントWeb検索で各事実主張を検証し、確認できない主張を減点する
    • 2つの評価器を併用し、有用性を高めながら幻覚を減らすよう学習
  • 長文回答で較正された不確実性を直接学習するため、棄権報酬（abstention-aware rewards）を適用した短文の事実質疑応答データも使用
    • 正答できる可能性が高い場合だけ回答が報酬を受け、不確実なら「わからない」と答えるか、条件付きの推測を出す方が有利
    • 一部のプロンプトは保留表現を推奨または禁止し、強制的な推測と較正された無回答の間でユーザーの好みに従うようにする
  • 検閲対象になり得るトピックにも直接回答するよう学習しており、Cognitionの Propaganda and Censorship Eval では検閲に従わない強いパターンを示す

危険能力と安全行動の評価

  • すべての入力形式に適用される内部安全行動仕様で学習した後、外部の安全評価者 によって結果を検証
  • 危険能力の評価はCBRN、サイバー、制御喪失を含み、人とAIの間の脅威は迎合傾向、脆弱なユーザー、有害な操作を扱う
  • effort=0.99での主な安全評価結果は次のとおり
    • FORTRESS Adversarial 78.0%
    • FORTRESS Benign 95.9%
    • StrongREJECT 98.6%
  • 比較対象のオープンウェイトモデルの中でFORTRESSで最も強い内蔵保護機構を示し、武器・暴力関連の有害リクエストはより多く拒否しつつ、見た目が類似した正常なリクエストの過剰拒否は減らした
  • 明白な有害リクエストの拒否を測るStrongREJECTでは98%以上で、他のオープン・クローズドモデルと同程度
  • カスタムモデルでは、ファインチューニングが安全行動と能力向上に及ぼす影響を継続的に研究

全ベンチマークと測定条件

  • すべての基本評価は effort=0.99、temperature=1.0 で実行し、コーディング評価には最大256Kトークンの作業経路制限を適用
  • HLE、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience、MMMU Proには、可能な場合Artificial Analysisが外部で報告したスコアを使用
  • Inklingの代表的なスコアは次のとおり
    • 推論：HLEテキストのみ29.7%、ツール使用46.0%、AIME 2026 97.1%、GPQA Diamond 87.2%
    • エージェントコーディング：SWEBench Verified 77.6%、SWEBench Pro Public 54.3%、Terminal Bench 2.1 63.8%
    • 一般エージェント：GDPVal-AA v2 1238、MCP Atlas 74.1%、Tau 3 Banking 23.7%、コンテキスト管理込みのBrowseComp 77.1%
    • 事実性・対話：SimpleQA Verified 43.9%、AA Omniscience 2.1、IFBench 79.8%、Global-MMLU-Lite 88.7%
    • ビジョン・音声：MMMU Pro 73.5%、Python使用Charxiv RQ 82.0%、Audio MC 56.6%、MMAU 77.2%、VoiceBench 91.4%
  • 結果を解釈する際は、次のような 評価条件の違い を考慮する必要がある
    • SWEBench VerifiedのInkling結果はbash専用ハーネスで測定し、外部モデルには自己申告スコアを使用
    • Terminal Bench 2.1は内部コーディングハーネスで測定し、Web検索で正解汚染が確認された少数の結果は0点処理
    • VoiceBenchはハードコードされた文字列一致方式が出力形式に敏感なため、期待される回答形式に従うよう求めるシステムメッセージを追加
    • Audio MCの一部比較モデルは公式リーダーボードにないため内部評価
    • Python使用CharXiv RQのClaude Fable 5とGPT 5.6 Solは内部Pythonハーネスで測定

長文コンテキストのためのMoEアーキテクチャ

  • InklingのMoE構造はおおむねDeepSeek-V3に従いつつ、効率性と長文コンテキスト性能のための変更を適用
  • 各MoE層には 256個のルーティングエキスパートと2個の共有エキスパート があり、トークンごとに6個のルーティングエキスパートがアクティブ化される
    • sigmoidベースのルーターと、補助損失なしの負荷分散バイアスを使用
    • 選択されたルーティングエキスパートと共有エキスパートのスコアをまとめて正規化し、出力結合重みとして活用
  • アテンションはスライディングウィンドウ層とグローバル層を 5:1の比率 で交互に配置し、8個のKV headを使用
  • 位置エンコーディングには広く使われるRoPEではなく、相対位置埋め込み を採用
    • Music Transformer 系の相対位置表現は、より長いシーケンスで性能と外挿に有利だった
  • 短い畳み込みは2か所に適用
    • 各アテンション層のkey・value projectionの後
    • アテンションおよびMLP残差分岐が主残差ストリームに合流する前

45兆トークンの事前学習と大規模強化学習

  • テキスト・画像・音声・動画から成る45兆トークンを使い、NVIDIA GB300 NVL72 システムで学習
  • 最適化には大きな行列重み用のMuonと、残りのパラメータ用のAdamを組み合わせた
    • ハイパーパラメータのスケジュールは modular manifolds研究 から取得
    • 重み減衰の強度を学習率の二乗に連動させ、学習期間が変わっても全体の重みサイズを安定的に維持
  • 事後学習は数学、エージェントコーディング・ツール使用、音声、画像、対話、安全領域を包含
    • 初期SFTにはKimi K2.5などのオープンウェイトモデルが生成した合成データを使用
    • 初期SFTは全体計算量の小さな一部であり、大部分は合成および人が作成した環境での大規模強化学習に投入
  • 非同期強化学習を 3,000万回以上のロールアウト へ拡張し、2回の長期連続実行で安定して学習
    • AIME、HLE、GPQAなどをまとめた別個の推論評価スコアが、全過程を通じて対数線形的に向上
  • システムメッセージとトークンあたりコストを変えてサンプルごとの努力度を指定し、異なる量のトークンを使うよう学習することで、推論努力度の制御能力を得た
  • 強化学習が進むにつれ、思考過程は文法的な接続語や冠詞を減らす 圧縮された形式 に変化したが、理解可能性と最終回答は維持された
    • 報酬が直接目標にした結果ではなく、効率性の圧力から現れた変化
    • Cognitionの SWE-1.7 学習でも同様の現象が観察された
  • 後続モデルでは、事前学習・事後学習・強化学習全般の計算規模をさらに拡大する予定

より小さく高速なInkling-Smallプレビュー

  • Inkling-Smallは総計 276B・アクティブ12Bパラメータ のMoEモデルで、アクティブ41BのInklingよりコストとレイテンシが低い
  • 改善された事前学習データと学習方式により、複数のベンチマークで大型Inklingと同等またはそれ以上の結果を出しており、両モデルは同じ拡張型の事後学習スタックを使用
  • effort=0.99で大型モデルと比較した主な結果は次のとおり
    • HLEツール使用46.6%対46.0%、GPQA Diamond 88.3%対87.2%
    • MCP-Atlas 74.9%対74.1%、IFBench 83.4%対79.8%
    • Python使用Charxiv RQ 83.4%対82.0%、MMAU 77.5%対77.2%、StrongREJECT 98.8%対98.6%
  • 大型モデルより低い結果もある
    • Terminal Bench 2.1は52.7%対63.8%、Tau 3 Bankingは13.6%対23.7%
    • SimpleQA Verifiedは20.9%対43.9%、Audio MCは49.6%対56.6%
  • コーディング、LLMベースの採点、他モデル向け合成データ生成のような コストとレイテンシが重要な作業 に適する
  • 現在テストを仕上げており、完了後に全重みを公開予定

ファインチューニングとデプロイのエコシステム

  • 汎用モデルでは解きにくい組織別の専門的課題は、専門知識を活用したファインチューニング でギャップを縮められる。Inklingはファインチューニングで素早く学習するよう設計されている
  • Tinkerでは、64Kと256Kのコンテキスト長でInklingを利用できる
  • Tinker cookbook はInklingをネイティブサポートし、音声機能を活用するレシピ3件を追加
  • tml-renderer は、ツール呼び出し、推論コンテンツ、マルチモーダル入力を安定してサンプリングし、事後学習する機能を提供
  • Inkling Playground はエージェントWeb検索を統合した対話インターフェースで、期間限定で無料
  • Tinkerでファインチューニングしたチェックポイントは、TogetherAI、Fireworks、Modal、Databricks、Baseten APIでデプロイできる
  • オープンソースの推論および強化学習エコシステムもサポート
  • Hugging FaceのInklingリポジトリ から、オリジナルチェックポイントと、NVIDIA Blackwell向けの効率的推論用 NVFP4チェックポイント を入手できる

関連記事

1件のコメント

 
GN⁺ 4 시간 전
Hacker Newsのコメント

  • 音声をサポートする最大規模のオープンウェイト・マルチモーダルモデルという点がうれしいし、実際の音声性能がどれほど良いのか気になる
    ローカルで実行するなら次の資料を参照できる
    https://github.com/danielhanchen/llama.cpp/tree/add-inkling
    https://unsloth.ai/docs/models/inkling
    https://huggingface.co/unsloth/inkling-GGUF
    https://huggingface.co/unsloth/inkling-NVFP4
    KimiK2.7より優れていると言われているが、GLM5.2が大きく注目を集める中でも、半分くらいはKimiK2.7を使っている。ベンチマークが事実なら十分に有力な選択肢であり、一部の領域では他のあらゆるオープンウェイトモデルを上回ることを期待したい

    • しかも米国製モデルだ。Llama 3以来、初めて競争力のある非中国系のオープンウェイトモデルではないかと思う
    • KimiK2.7より優れているという根拠がどこにあるのかわからない。大半のベンチマークではむしろ性能が低い
    • Kimiではどの評価ハーネスを使っているのか気になる

  • 米国にも独自のDeepSeekやZ.aiが必要だ。私を含め、多くの人は他に選択肢がないため中国の公開モデルの成功を応援しているが、Thinking Machinesがその役割を果たすかもしれない

    • あまり知られていないが、arcee.aiもまさにそのポジションを目指しているようだ
      現在のオープンウェイトモデル一覧は https://www.arcee.ai/open-source-catalog で見られる
    • AllenAIにも注目する価値がある。MicrosoftのPaul Allenが設立し、学習データまで含めて本当に透明で開かれたAIを作る最高クラスのチームの一つだ
    • Arcee、Reflection、Llamaなど、オープンウェイトモデルを推進する企業はすでに多く、Metaが公開と非公開のどちらに注力するかはまだ不透明だ
      それでもファインチューニングAPIとオープンウェイトモデルの組み合わせは、少なくとも成立可能なビジネスには見える。単にQLoRAやLoRAを使うだけなら、なぜオープンモデルの保有企業がファインチューニングをよりうまくできるのかは依然として疑問だが、見守る価値はある
    • 家庭向けハードウェアで毎秒10トークン以上で動かせる100B未満のモデルも出してほしい
    • オープンウェイトモデルがどんな事業モデルで運営できるのか気になる

  • Tinkerでファインチューニングできるオープンなベースモデルは優れたビジネスモデルだと思う。企業は自社モデルを所有しつつ、特定業務では最先端モデル以上の性能をはるかに低コストで得られ、Thinking Machinesはそのエコシステムの中核インフラ・サービス提供者になれる
    より小さいInkling-Smallが、事前学習データと学習手法の改善のおかげで複数のベンチマークで大きいモデルと同等かそれ以上の性能を出しているのも印象的だ。次世代のThinkyモデルに期待したい

  • 現代のモデル開発には驚くほど多様な作業が必要だ。以前は新しい損失関数や小さなアーキテクチャ変更を作り、学習・評価ループを回して結果を公開すればよかったが、今では追いつくだけでも膨大な作業を要する赤の女王競争になっている
    500個前後の各ステップがそれぞれ小さな最適化ループだという点は驚異的ですらある。このため、小規模チームのほうが大規模チームより速いという従来の法則も覆され、AIには大きなチームが必要になった。組織の惰性が問題になるのは人数が数千人を超えてからであり、それまでは無数の構成要素を12人の優秀な人材だけで担うのは難しい

  • 強力な長文脈・マルチモーダルのオープンウェイトモデルが出てきてうれしい。音声性能の恩恵を受けるアプリケーションは多く、z.aiなどが視覚機能を開発し切るまでは、汎用エージェント型アプリケーションでも強力かもしれない
    ただし一部の関連ベンチマークには弱さも見える。結局のところ他のモデルと同じく、自分でハーネスに入れて重視するタスクをきちんと評価する必要がある

    • MiniMax M3とDeepSeek v4-Proも長文脈をサポートする非常に有能なオープンウェイトのマルチモーダルモデルだ。ただし長文脈は落とし穴で、15万〜20万トークンを超えると性能は依然として急激に低下する

  • 初のモデルでありながら公開された点を考えると、米国のオープンAI研究所への信頼がまた少し戻ってきた。OpenRouterなどにはまだ上がっておらず試せていないが、GLM5.1程度でも初回の試みとしては十分に立派だ
    近いうちに、より多くの研究所が最先端に近い水準まで追いつけるようになりそうで、どの分野でも競争が増えるのは歓迎したい

    • NVIDIAもNemotronを開発している

  • まだかなり初期の試験段階だが、ベンチマークが示す以上のポテンシャルがある。公開評価より私的な非公開評価でずっと優れた結果が出たのはAnthropicのモデル以外ではほとんど見たことがなく、判断するにはまだ早いが、今後数週間かなり時間を投じることになりそうだ
    オープンウェイトモデルではMoonshot AIのモデルだけがリスクを取って使う価値があると感じていて、Z.AIは自分の作業群ではそこまで良くなかったが、このモデルは第二の選択肢になる可能性がある。もしMistralがこういうモデルを出していたら、私を含む欧州の愛好家たちは延々と騒いでいたと思う

    • Web検索を切り、推論ログでも確認した状態で、非常に専門的な細部の質問いくつかに正確に答えた。特定の準クラシック車のエンジン別整備や、珍しいバッグの構造・素材のような、これまでGemini 3と3.1 Proしか正解できなかった質問だ
      Fable 5、GPT-5.6 Solをはじめ他研究所のどのモデルもWebなしでは正確に答えられなかったが、その分野に精通していれば常識の範囲で、客観的な正解も明確に存在する。公開ベンチマークにないため過学習しにくいタスクでFable 5を上回ったことはかなり印象的だ

  • 特に指示追従能力は良さそうだが、コーディングは他モデルより弱いように見える。それでもオープンウェイトモデルの多様性が増えるのは常に歓迎で、実際に試してどんな性格を持つのか確かめてみたい

    • 応答速度はかなり速く、今のところ口調や性格も気に入っている
      「今日のHacker Newsのトップページを見て、あとで読めるように今日の技術ニュースをまとめた日次ブリーフィング成果物を作ってほしい」と依頼した結果だ
      https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...

  • 総じてNemotronより良く、GLMには及ばないので、現時点では最高の米国製オープンウェイトモデルに見える

    • 全体サイズはNemotron 3 Ultraのほぼ2倍なので、かなり良くて当然のはずだ。ただしアクティブパラメータは41B対55Bで、むしろ少し少なく見える
    • Nemotronが比較対象として挙がること自体が意外だ。コーディング作業で使ってみたが、性能が極端に悪く、実質的に使えなかった

  • 今日Hy3を使ってみたが気に入ったし、DSV4Pよりわずかに進歩した程度だった。その程度の性能でマルチモーダルまでサポートするなら、かなり悪くないと思う