- ECカタログ審査向けの9Bオープンソースモデルを約500ドルで強化学習により微調整した結果、同じツール・画像・採点器を使ったあらゆるフロンティアモデル構成より高いスコアを記録
- 17万7,767件の審査エピソードで作成したデジタルツイン上で、商品分類、ブランド確認、属性抽出、ポリシー判定を繰り返し、企業固有の分類体系と判断基準をモデル重みに学習させる
- GRPO学習モデルは到達可能な最大スコアの**87.3%**を記録し、最上位フロンティア構成の76.9%より相対的に13.5%高く、未学習ベースモデルの64.2%より36%改善
- コストは商品1,000件あたり約0.50ドルで、最も安いフロンティア構成より40倍、最も高い構成より約340倍安く、1日4,000万件規模では年間約700万ドルと5億ドルの差が出る
- 結果をルール・テスト・評価表で検証できる大量反復業務に適しており、変化する事実は検索ツール側に置き、企業固有の判断方式はモデルに学習させる構造が必要
AI投資の成果を左右する運用方式
- ChatGPTの公開以降、AI活用は文書要約やメール下書きのような低リスク業務から、ソフトウェア開発、コンテンツ生成、社内知識・データ・ツールをつなぐ**会社の頭脳(company brain)**構想へと拡大
- Rampの顧客データでは、AI支出上位25%の企業は2022年11月から2025年12月までに売上が2倍以上増えた一方、AI支出のない企業は同期間に約15%成長
- 成果を出す組織では、次の運用方式が繰り返し見られる
- 業務フローの再設計: 既存手順にモデルを追加するだけでなく、承認、レビュー、引き継ぎ、人間の介入地点を再設計する必要がある
- McKinseyの2025年生成AI利用組織調査では、業務フロー再設計がEBITへの影響と最も高い相関を示したが、実際に1つでも再設計した組織は21%にとどまった
- 実験の奨励: モデルやツール、ベストプラクティスが急速に変わるため、成功した公開だけでなく、実験や失敗の共有にも報酬が必要
- 業務に合わせた文脈: データアクセス、リクエストごとのアクセス制御、関連根拠の検索、長くなるほど利用の偏りが生じるコンテキストウィンドウ管理が独立したエンジニアリング課題になる
- 利用量と効果の測定: 自社データに対する採点評価がなければ、性能、意思決定コスト、効率への影響を証明しにくく、自己申告型の時間削減指標も不正確になりうる
- 業務フローの再設計: 既存手順にモデルを追加するだけでなく、承認、レビュー、引き継ぎ、人間の介入地点を再設計する必要がある
「知能の所有」のための展開方式
- 繰り返し現れる構成は、オープンソースモデル、企業固有の作業データ、採点可能な業務フローを用いた強化学習
- フロンティアモデルは、自動化可能性の確認と初期ベースラインの設定に活用される
- 呼び出し過程で入力、判断、修正の記録が蓄積され、後に専門モデルの学習データになる
- プロトタイプを離れて大規模運用段階に入ると、呼び出し単価と性能が優先事項になる
- フロンティアモデルと専門モデルは、互いを完全に代替する関係ではない
- ChatGPTやClaudeのような汎用モデルが、社内知識を必要とする部分を専門モデルに任せられる
- 専門モデルも、高い汎用能力が必要な作業ではフロンティアモデルを呼び出せる
- モデルは企業のツールとデータで作業し、**評価表(rubric)**が結果を採点し、報酬信号がモデルを更新する
- 数万件の作業を繰り返すと、業務判断が重みに定着する
- 価格、在庫、ポリシー文書のような変化する事実はツール側に保持する
専門モデルの実運用事例
- Bridgewater Associatesは、記事、開示資料、メールが投資論旨と関連するか、定型句がどこから始まるかを判断させるため、専門投資家のラベルでオープンソースモデルを学習
- プロンプトだけでは社内判断基準を安定的に反映できなかった
- 学習モデルは最上位フロンティアモデルより誤りが約30%少なく、推論コストも低かった
- Harveyは、取引デューデリジェンスや法務メモ作成のように複数段階で誤りが累積する業務に、オープンウェイトモデルと強化学習を適用
- 自社評価表では、法務エージェントがGPT-5.5とClaude Opus 4.8を上回った
- Intercom Fin Apexは、週約200万件の顧客問題を処理する規模で、呼び出し単価と解決率を改善するため、数十億件のカスタマーサービス対話で追加学習
- Intercomによれば、最上位フロンティアモデルより多くの問題を解決しつつ運用費も低い
- 共通する展開手順は、プロンプトとコンテキストを最適化したフロンティアモデルでベースラインを作り、その実行記録と学習内容を企業が所有する小型モデルへ移す方法
カタログ完全性とコストの問題
- ECカタログでは、すべての商品を正しい分類体系に配置し、検索・フィルタ・推薦・後続運用に使う属性を画像と説明から正確に抽出しなければならない
- 誤った判断は、商品の見つけやすさや推薦品質を下げ、ポリシー違反の見逃しにつながる
- 偽造品を見逃せば顧客とブランドが詐欺にさらされる
- 正常な商品を過剰にフラグ付けすれば、審査キューと出品者の負担が増える
- 業務規模も大きい
- eBayには約25億件のアクティブ商品がある
- Shopifyのカタログには1日1,000万件超の商品更新が入る
- Walmartは、AI支援カタログ業務を人手だけで行うと約100倍の人員が必要だったと見積もっている
- 消費者の71%は、実物が掲載情報と異なっていたため返品した経験があると回答
- 中規模マーケットプレイスが1日約1,000万件の商品作成・修正を処理する場合、フロンティアモデルベースの審査は年間約5億ドル、微調整済み専門モデルは約1,000万ドルと見積もられる
- Shopifyは、商用APIでは経済的に見合わないとして、微調整したオープンモデルを使い、1日約4,000万回の商品分類推論を実行している
カタログ審査エージェントの作業
- エージェントは商品を審査しながら、分類体系を検索し、ブランドを確認し、その分類の属性スキーマを取得したうえで、構造化された判断を確定する
- 根拠が不足するかリスクが高い場合は、人間レビューに回す
- 作業用手袋の事例は、次の順序で処理される
search_taxonomyでSafety Work Gloves分類を探すlookup_brandでAmazonBasicsが登録済みだが保護対象ではないことを確認するget_attribute_schemaでブランド、色、素材、サイズ属性を照会する- 分類・属性とともに
allowed判定を確定する
- 実際の違反見逃しコストを誤検知より7倍高く設定し、2種類の誤りを非対称に学習させる
学習用デジタルツイン
- Amazon Berkeley Objectsの実商品画像と掲載情報を使って、17万7,767件の審査エピソードを構築
- 各エピソードには画像、タイトル、説明、申告ブランド、地域を含む
- 制御されたポリシー違反、不一致画像、矛盾するブランド主張とともに、正当な主張を難しい負例として挿入
- すべてのエピソードに採点可能な正解が存在する
- モデルが使う環境は、実際のアナリスト業務を再現する
- 約1万3,000件の分類を検索する
- ブランドの登録・保護状況を確認する
- 選択した分類に必要な属性を取得する
- 最終分類、属性、ポリシー判断を確定する
- 採点器は、正解に報酬を与え、違反見逃し、根拠のない属性、誤分類、不必要なツール呼び出しにペナルティを課す
- 実業務の一覧、ツール、判定コストを再現した環境で失敗と再試行を繰り返せることが、強化学習を可能にする
フロンティアモデルのベースライン
- GPT-5.5、GPT-5.6-sol、Gemini 3.1 Pro、Claude Opus 4.8、Claude Fable 5を、階層化した検証エピソード200件で比較
- すべてのモデルに同じツール、画像、採点器、ターン予算を適用
- 基本プロンプトと、2,800字分の抽出ルール、照会手順、例を含む最適化プロンプトをそれぞれ試験
- 最上位フロンティア構成は到達可能スコアの76.9%、GRPO学習済み9Bモデルは87.3%を記録
- フロンティアモデルは各エピソードごとに、その店舗の分類体系、在庫慣行、対応属性値、例外処理方式をプロンプトから毎回再構成しなければならない
- 最適化指示で一部の知識は圧縮できるが、スコアを左右するすべての例外を列挙することはできなかった
- 最適化済みフロンティア構成同士は0.1ポイント以内に収束した
- ゼロショット抽出性能が最も高かったGeminiは、最適化指示の適用後にむしろ性能が低下した
- 追加指示は、モデルによって入力トークンコストを呼び出しごとに**28〜55%**増加させる
- プロンプトに入れた作業知識は呼び出すたびにコストがかかるが、学習済み知識は重みに保持される
500ドル規模のGRPO学習
- 学習にはRTX PRO 6000 GPUを2台レンタルし、1台はロールアウト生成、もう1台は勾配更新に使用
- インフラはオープンソースのprime-rlで構成
- 学習全体は最適化1,000ステップ、約3.5日、GPU費用約500ドルがかかった
- 約250ステップと1日程度の学習だけでフロンティアモデル帯を超えた
- 残りのステップは最大性能の引き出しに使われた
- 最終の厳格ベンチマークスコアは0.626で、到達可能上限の87.3%に相当し、最上位フロンティア構成より約10ポイント高い
- W&B学習モニタでは約0.50から、1,000ステップ時点の0.671まで上昇した
- モニタはエピソードごとにサンプルロールアウト2件を使うため、厳格なベンチマークハーネスよりスコアがやや高い
- 未学習の9Bベースモデルは最大スコアの64.2%で、微調整後は87.3%まで上がり、相対的に約36%改善した
- 専門モデルは、分類体系、ツール、ポリシーと報酬の関係を学習し、特定環境での行動に能力を集中させる代わりに、汎用能力を犠牲にする
- より強力なオープンソースベースモデルが登場すれば、同じ学習法を移植でき、運用中に記録された判断も教師あり微調整データとして蒸留し、後続の再学習に活用できる
コストと品質の比較
- 専門モデルの推論コストは商品1,000件あたり約0.50ドルで、微調整により同コストでベース9Bモデルより約23ポイント高いスコアを得た
- 比較対象とのコスト差は次の通り
- 最も安いフロンティア構成のGeminiは1,000件あたり19ドルで、専門モデルより40倍高い
- 最も高いGPT-5.5-proは1,000件あたり172ドルで、約340倍高い
- 最も高いフロンティアスコアを出した構成は1,000件あたり34ドルで、専門モデルより68倍高い
- 2,800字の指示はGPT-5.5の測定コストを約3分の1押し上げ、このプロンプト税は以後すべての呼び出しで繰り返される
- 1日約4,000万件を処理すると、1,000件あたり34ドルの構成は年間約5億ドル、0.50ドルの専門モデルは約700万ドルとなり、約98%のコスト差が出る
適用しやすい業務と避けるべき領域
- 適した業務は、情報から意思決定を作る大量反復作業
- チケットのルーティング
- 文書フィールド抽出
- ポリシーに基づく提出物検査
- 商品分類
- 取引の承認またはフラグ付け
- 中核条件は、各判断の正誤をルール、スキーマ、テスト、評価表、または専門家判断で検証できるかどうか
- 採点できる判断はモデルが練習できる
- 合意なく議論しかできない結果は、この方式では練習できない
- 頻度と検証可能性に応じてツールを選ぶ
- 頻度が高く検証可能な業務には微調整が適している
- 検証可能だがまれな業務には、プロンプト最適化済みフロンティアモデルが適している
- 検証できない結果には人間が介入すべき
- 問題の核心が判断ではなく変化する事実なら、頻度に関係なく検索拡張が適している
- 次の条件の1つ以上に当てはまれば、微調整候補になりうる
- 呼び出しコストと誤りが実コストとして積み上がるほど大量に発生する
- すべての結果を人手なしでルール、テスト、評価表で確認できる
- 専門家が正解基準に合意している
- 有能なモデルが一部成功しても、信頼できるほど一貫していない
- 正解が偶然の推測で出せない
- 推論、ツール呼び出し、最終判断の複数段階で構成される
- 独自ツール、スキーマ、ポリシー上で実行される
- 誤りの種類ごとにコストが異なる
- 機密データを管理外インフラへ送れない
- 自社境界内でモデルを実行すれば、プロンプトや記録が外部ベンダーへ渡らず、モデル・評価・データをまとめて所有し改善できる
他業界の専門モデル事例
- Cognitionの本番ソフトウェア作成・修正モデルは、標準コーディングベンチマークでGPT-5.5を上回り、毎秒1,000トークンをストリーミング
- AT&Tは、1日90万件のサポート通話を要約し、個人情報をフラグ付け
- GPT-4oより個人情報検出性能が17%高い
- GPT-4o並みの精度で不正事案を12倍速く審査し、年間数百万ドルを節約
- LinkedInの求職者・求人票マッチングモデルは、置き換えたGPTモデルより4%高精度
- GPT-4より75倍、GPT-4oより6倍安い
- Ambience Healthcareの医療請求コードモデルは、ゴールドパネル試験で専門医18人より高精度
- ベースとなったプロンプト方式o4-miniより12ポイント高い
- Phonelyの電話応対モデルは99.2%の精度を記録し、GPT-4oの94.7%を上回る
- 以前のGPT-4o構成より応答が73%速く、ある顧客は1か月で人間オペレーター350人を置き換えた
- OpenPipeのメール・サポートチケットモデルは、サポートQAで93%を記録し、OpenAI o3の50%を上回る
- o3より64倍安く、5倍速い
- Perplexity Sonarは、出典付き検索回答でブラインドユーザーテスト基準ではGPT-4oと同等
- GPT-4oより10倍速く、価格も安い
- Checkrの犯罪記録分類モデルは、最難関事例でGPT-4を上回る
- 従来のGPT-4構成より5倍安く、30倍速い
- 各数値は、各社が置き換えまたは競合対象としたフロンティアモデルを基準にした自己申告の結果
2件のコメント
案件ごとに専門家を探して業務範囲だけ任せるより、一人に渡せば勝手に全部うまく処理してくれることを望むのが人間の心理ではありますよね
LLMも、何でも適当に投げれば全部受け止めてくれるような形で報酬関数が組まれざるを得ないのではないでしょうか
Hacker Newsの意見
大手研究所が見落としている核心は、ほとんどの用途では博士50人分の知識と12言語の能力は必要なく、コスト制約のほうがはるかに重要だという点だ。
オープンウェイトモデルと低コストなファインチューニングが一般化すれば、超巨大モデルと負債で調達した大規模インフラの経済性は崩れる。
政治や中国脅威論は表向きの名分にすぎず、小型のオープンウェイトモデルが標準になれば、大手研究所は生き残りにくい。
ファインチューニングで本当に高価なのは良いデータセットの収集であり、きれいなデータがあっても評価を実行し品質を測定する能力が必要になる。
エンジニアリング・データラベリング・継続的な品質レビューのコストまで含めると、最初からうまく動く最先端研究所のモデルを使い続けるほうが安い用途も多い。
約10年前にFAANGの面接方式が公開され、皆がそのまま真似したのと似ている。
今のように重みを増やし続けてハードウェアを投入する道は行き止まりで、結局はAIの歴史で常にそうだったように目的に合ったアルゴリズムへ戻る、という主張だ。
それほど多くのパラメータが不要であることを示そうとして、TinyToTを作っている。
こうした話を見るたびに、2つ気になる点がある。
第一に、既存モデルをよりうまく活用する、あるいは何もせず待つ戦略のほうが、再学習より良い結果を出すケースを何度も見てきた。比較対象は現在の最先端モデルではなく、ファインチューニングモデルを維持している間に出る次のモデルであるべきだ。
第二に、学習費500ドルは最も安い項目で、データ生成とその後のモデル維持のほうがはるかに高い。スコア付きの17万7千件のエピソードを実際に作れる用途がどれほどあるのか疑問だ。
ここではAmazon Berkeley Objectsで合成する必要があったが、自然に存在していたなら作る必要もなかったこのデータセット自体が、ファインチューニング適用の難しさを最もよく示している。
GPUのような特化ハードウェアがCPUの進歩後も使われるように、特化モデルは汎用モデルよりコストや結果の面で引き続き優位である可能性が高い。
初期学習が500ドルなら、継続学習そのものは比較的安い。データ変化に合わせた新しい例の生成はより高くつくが、次のモデル学習に再利用でき、モデルやプロンプト変更の評価にもどうせある程度必要になる。
結局のところ、データ生成・学習コストやデータ不足のため常に妥当というわけではなく、記事の図表のような頻繁で検証可能な作業でのみ適している。数百万件の意思決定を処理する大企業でしか現実的でないかもしれない。
データセットとモデル維持のコストも、BraintrustやHugging Faceのようなスタートアップを通じて汎用サービス化しつつある。
最先端モデルは、自ら仕事をなくすのが非常にうまい。
すでにGPTでもLunaがSol用途の90%を処理している。中国が今なおモデル蒸留に力を入れている理由は、正確な学習データ生成にあり、OpenAIとAnthropicは法的問題を避けつつそれを集めるのに何年も費やしてきた。
モデルが賢くなるほど、十分に仕事をこなせる安価な代替へ移っていく。精度がすでに99%なら、最先端モデルを使う実利はほとんどなく、これが米国研究所にとって最大のリスクに見える。
それ以外の作業には、より安いモデルで十分だ。
2018年ごろに買ったLCD TVを買い替えるつもりがないのと同じように、他の技術も似ている。
技術は新しい技術を置き換えるか空白領域に入り込む傾向があるが、人間の相互作用のような非技術領域を置き換えることはまれだ。画面の前で行う余暇活動も、おおむね準社会的関係へ向かっている。
オープンモデルのファインチューニングに強い関心があり、自分で勧められる資料を探しているところで、この記事も詳しく読もうと保存してある。
Nemotron-3-Nano 30Bをローカルで動かしており、300億〜1,200億パラメータモデルを目標にしている。ベースモデルだけでも実用的な価値を出すには十分だが、特化タスクでは学習によって最後のギャップを埋められると見ている。
著者がプロセス全体を考えている点が特によく、同じ用途と価値創出戦略を確認できた。長期プロジェクトなので、ファインチューニング用ハードウェアも購入する予定だ。
Ramp の記事は読んでいないが、事後的な誤謬のように見える。売上が2倍の会社にはAIに使う資金があり、1.15倍の会社にはそれがないだけかもしれない
小型LLMやBERTのような、より小さな言語モデルをファインチューニングする方法は、LLM登場初期から推奨されていた。実行が速く、技術スタック全体を制御でき、特化ドメインにもより適しているという利点は明確である
ただし、大規模言語モデルAPIはいまも安価で十分に高速であり、改善も続いているため、実際のファインチューニングはそれほど多くない。時間と費用をかけて特化モデルをリリースしても、すぐに新しい汎用モデルがそれを上回る可能性があるためだ
いつかLLMの進歩が鈍化するか、API価格が負担しきれなくなれば、ファインチューニングと小型モデル の時代が再び来るだろう
モデルをいつファインチューニングし、いつ最先端モデルを使うべきかを示す 2×2グリッド が気に入った
ただし、評価器が各エピソードの点数をどう付けたのかは不明瞭だ。最先端モデルが採点していたなら、ファインチューニング済みモデルがそのモデルよりもうまく作業できるようになった後でも、その評価が有効なのか気になる
まず Kimi K3 のような、より大きいオープンモデルで、ドメイン特化のワークフローの 全確率分布を蒸留 し、その後で結果に自前の非公開強化学習パイプラインを適用すると役に立つ。私たちは GLM 5.2 を使って英語→SQL向けの非公開27Bモデルを作り、Fable より良い結果を得たが、説明能力は失われた
高度に特化された領域では、ごく一部のコストで最先端モデルを上回るのは難しくない。自前の強化学習パイプラインがなくても、蒸留だけで大きなコスト削減ができ、27Bモデルがそのタスクでは3Tモデルに近づくこともありうる
ただし、エキスパートモデルに収まらないほど野心的なタスクには通用しない可能性が高い
最近は Apple の 3B Foundation Model を非常に具体的なタスクで Sonnet 4.6 レベルまで引き上げる自動研究に夢中だった
ファインチューニングアダプタと決定論的な1ステップを組み合わせて、90%水準まで合わせ込めた
質問と回答、96件の実験および系譜を含む全過程は https://alexisrondeau.me/tada/research/FMDiscovery/dashboard... にまとめてある
ボトルネックはモデルサイズではなく、問題を本当に理解している人が 報酬関数 を定義するところにあった
解法を定義する優れたプログラミング言語はたくさんあるが、問題を明確に定義する言語 はどこにあるのだろうか