OpenAIの新しいオープンソースモデルは実質的にPhi-5
(seangoedecke.com)- OpenAIが初のオープンソース 大規模言語モデル
gpt-oss-120bとgpt-oss-20bを公開しており、いくつかのベンチマークでは優れた結果を示すが、実運用では限界がある - これらのモデルは 汎用知識 を備えているが、大衆文化など特定領域の知識が不足しているという評価を受けている
- Microsoftの Phiシリーズ のように、合成データ中心学習によってベンチマーク性能は高い一方、実利用では期待を下回る傾向がある
- 合成データ学習には、安全性を高め、オープンソース公開時に発生しうる 悪用リスク を減らす利点がある
- OpenAIは中国産オープンソースモデルに対してベンチマーク優位を保ちながら安全性を維持するため、Phiスタイルのアプローチを選択したと見られる
OpenAIの初オープンソースLLM公開
- OpenAIは
gpt-oss-120bとgpt-oss-20bという 初のオープンソース大規模言語モデル を発表し、Web上で直接対話可能 - 一部のベンチマークでは優れた性能を示すが、SimpleQA のような特定テストでは性能が低い
- 科学分野などの 一般知識 は豊富だが、大衆文化知識は不足しているという評価がある
- 実用性は6か月ほどで明確になると見込まれ、ベンチマークと比較して実戦性能が低い可能性が高い
Phiモデルと合成データ学習
- 2024年、MicrosoftのSebastien Bubeckが主導した Phiシリーズ は、完全に合成データで学習されたモデル
- 合成データは、他の言語モデルが生成したり、人間が選別した教科書ベースのテキストであり、品質管理とコントロールが容易だが生成コストが高い
- この手法はベンチマーク性能を向上させる一方で、実環境では期待に達しない結果を示す傾向がある
- 合成データはベンチマークの問題形式に合わせて容易に作成できるため、試験対策型学習 が可能だが、汎用性は低下する
Sebastien BubeckのOpenAI合流と gpt-oss
- 2024年末、BubeckはMicrosoftを離れOpenAIに加わった
gpt-ossモデルの事前学習データの詳細は公開されていないが、強くフィルタリングされたデータあるいは合成データを使用した可能性が高い- このアプローチはPhi-5およびPhi-5-miniに似た性質を持つ可能性がある
合成データの安全性の利点
- オープンソースモデルは公開後に無制限で ファインチューニング が可能なため、安全性の問題が生じうる
- 特に小型言語モデルの主要な非公式利用先のひとつがアダルトロールプレイであり、したがって安全性管理が重要である
- 合成データまたは教科書ベースデータで学習すれば、危険コンテンツを含まず、安全性を高めることができる
- OpenAIは、中国製オープンソースモデルよりベンチマークで優位を保ちながら安全性も維持する戦略を選択したように見える
結論: 実質的にPhi-5系
gpt-ossモデルは、合成データを基盤とした安全中心設計により、実戦性能より ベンチマークスコア と安全性を優先したと推定される- 結果的にこれらのモデルは実質的にPhi-5およびPhi-5-miniに相当する性質を持つ
1件のコメント
Hacker News の意見
任意のSF小説の章を翻訳させてテストしていたところ、このモデルは未成年者と性的文脈を扱うことに対して拒否反応を示した。問題の箇所を探すために小説の一部を切り取って確認した結果、完全に純粋でロマンチックな17歳の脇役二人の短い会話の一行が原因だった。別の問題として、時々会話で普通の雑談をしようとしても、段落全体が検閲文字に変わったり、突然拒否反応が起こったりする。これほどの検閲では、このモデルは創作や翻訳、現実的なタスク（数学／コーディングを除く）に全く使えない。120B MoEとしては知識レベルも低すぎる。実際には「推論」しているふりをしても、ほとんどがポリシー違反かどうかだけをチェックしている感じだった。後学習工程で危険発言だけを過剰に抑えようとして鈍くなったのだと思ったが、根本的には合成データベースの事前学習が原因という点もある程度理解した
これは本当におもしろい経験だった。私も似たことを経験したことがある。編集されていないポッドキャスト原稿から重要な文を抽出しようとしてLLMに入れたら、「ベッドに縛られる」という刺激的な表現がすべて婉曲語に変換されてしまった。以前の翻訳結果を再確認したいのだが、今回はスペイン語に翻訳して戻しても、実際の文がほぼそのままでおかしな繰り返しは起きなかった
このモデルに『氷と炎の歌』のような小説を扱わせたらどう反応するか気になる
そもそも一般消費者向けに公開されるモデルだから、別に驚くほどではない。望むものを得たいなら、検閲の少ないオープンモデルを探して使うのが正しい
Twitterで、GPT-OSSがカスタマイズされておらず「魂」がないと不満を言う人を見たが、実際には何をしたいのか明らかにしないケースがほとんどだった。結局、「小型LLMファインチューニングの主な目的はエロティックロールプレイで、実際の需要が多い」という回答を見て、少し理解できた
単にエロティックロールプレイだけが問題なのではない。日常の会話パターンで性的なやり取りがよく起こる自分の場合、普段の会話要約、メール編集、翻訳作業でもモデルがすぐにブロックする。Google翻訳は言い回しが直訳ぎみなので、LLMで自然な表現を探すことが多いが、現在はabliterated llama 3.1を使っている。ビジョン機能は不要で、保存されたメモリを文脈にもっと使いたいからだ。gpt-ossがアンセンサリング（uncensoring）されていないと使い物にならない。ただし訓練データにエロティックな内容が一切ないなら当然突破することもできず、実際にはerotic roleplayで使うことに興味はない。本物の人間が相手でないと面白みがないからだ
必ずしもロールプレイ目的ではなく、単に自分の言語習慣にもう少し合っていてほしいというだけ
エロティックなロールプレイは使わないが、AIでNetHackを実装したい。ダンジョン構造生成、NPCの会話、NetHackが有名な数多くの細かな相互作用もAIに任せたい。こうした作業には「魂」と背景知識、ツール利用能力が必須
ポルノはいつもクリエイティブなフロンティアだった。ビジネスモデルもシンプルで、メディアそれ自体が商品であることが多い。1980年代、家庭でポルノを楽しむことは新鮮な体験で、1-900電話、インターネット、果てはスマートフォンの普及にも大きく影響を与えた領域だった。ざっと80%のアダルトコンテンツ消費がモバイルで行われている。AIベース、カスタマイズ可能、マルチメディア対話型のオンデマンド体験がこの分野の核心だ。そして、実在の被害者なしにタブーなロールプレイをできる点が独特だ。「AIと話していたら…」というフィクションも十分に使える素材になる
それが何が問題なのか分からない。何千年もの昔から、エロティック文学は人類が文字を使い始めた頃から存在してきた。Istanbul 2461
記事抜粋: 「MicrosoftがPhiスタイルのモデルを訓練し続けたのは安全性のためだ。オープンソースとして公開すれば、ずっと自社名が付きまとい、研究者たちが安全装置を取り除こうと目一杯努力するからだ。」だが実際問題にはならないと思う。Llama 2、3も1週間でアンセンサリングされ、論争も起きなかった。むしろ、会社の評判を実際に傷つけるのは質の低いモデルだ。Llama 4の失敗はmetaのAI評判をはるかに損なった
Llamaを思い浮かべると、まずアンセンサリングモデルが先に頭に浮かぶ。自分では使ったことがないが、検閲済みのモデルを使うより良いモデルは他にもたくさんあった
「研究者たちが安全装置解除を血眼で狙っている」というのは言い訳にすぎないと思う。実際は、的外れな検閲でネタにされるほうが大きなリスクだ。1985年にBill GatesがMS Paintをリリースしなかったのが『誰かが不快な絵を描けてしまうから』という理由だったら、どれほど滑稽かという比喩を思い出す
自宅でPhi-4をかなりよく使ってきたし、GPT-OSS 20B版も他の複数モデル（Devstral 24B、Falcon 3 7B、Qwen2.5-coder 14B、Phi 4 14B）と比べても非常に印象的だった。どのモデルも失敗した点をGPT-OSSはよく捉え、妥当な推測をしてくれる。コード説明もずっと丁寧にしてくれるので、見落としやすい細部までカバーしてくれる。GPUの性能があれば、本当によいものになるはず
Strix PointやStrix Halo、128GB DDR5 RAMを搭載すればgpt-oss 120Bも10-20+ TPSで回せる
どのSQL問題なのか共有できるか気になる。あるいは、訓練データ流出を防ぐためにあえて隠しているのか？
合成データがどのように作られるのかが気になる。最初に無作為に始めてサンプルを引くだけなのか、プロンプトの自動生成・フィルタリング手法、訓練中のフィードバックメカニズムを活用するのか
Phi-5は分からないが、以前のPhiモデルはほぼ、OpenAI GPTシリーズのような大規模モデルが実データを使って書いた話を学習データに使ったと知っている
meta/FAIRで直接実験しており、Llama 3論文にも詳しく載っている。任意に選んだウェブサイト／コード／画像／目次／ユーザーデータをシードとして使い、関連するデータをモデルに生成させる。生成されたデータは一連の検証器（Verifiers）を経て品質検査を受ける
ランダムサンプルを作るひとつの方法は、「PPがXXでGGをする」のようなテンプレートに、アルゴリズムで人物／行動／場所を入れてリクエストすることだ。同じプロンプトでも生成しても全くランダムではないため、temperatureを上げても大きな差がなかった。結果としてデータと技術がモデルの実質的差を作る要素なので、合成方法の詳細はほぼ秘密にされている
たいていはリジェクション・サンプリングを用いる。モデルに複数回サンプルを出させ、一定基準（正確な回答、大規模モデルによる判定など）に達しないサンプルは捨てる
「科学関連知識は広範だが、大衆文化はよく知らない」という評価があったが、このアプローチは良い方向性だと思う。公開情報は一朝一夕で変わることがあるため、大衆文化のリストを一つずつ暗記するより、全体的な理解力と最新情報検索能力、ツール活用により焦点を当てるのが望ましい
内容が変わる理由があるだろうか。世界のほぼすべての文を学習すれば、2025年の大衆文化が2026年になって大きく変わることはない。まるで1980年代の大衆文化が時がたっても固定されているのと同じ
AIがハリー・ポッター、ポケモン、Redditミームなどの百科事典的な大衆知識にモデル容量を割いている現実が少し切ない
Phi-3 miniの目的はデバイス内蔵実行と速度で、128Kコンテキストと3Bパラメータでかなり実用的だった。昨年はプロジェクトで直接使ってみたが、最後は性能でOpen weightsとして有名だったMistral系モデルを選んだ
モデルが合成データだけで訓練されたとして、このような結果が出るのか気になる
原則として、モデルのどこかの訓練データに情報がなければ「知っている」とは言えない。もちろんツールを使って外部情報を取り込めるが、実際は良い性能を出すためには世の中に公開されているテキストの大半を学習データに含める必要がある
理論的には可能だ。参考リンク。合成データにLSDやVX製法のような特定でセンシティブな情報が混ざる確率は高くないが、合成データ内に意図しない情報が一部入る可能性はある
Table 9（GPT-OSSモデルカード）に基づくと、GPT-OSS-20b／120bの正答率はそれぞれ0.067／0.168、ハルシネーション率は0.914／0.782。o4-miniは正答率0.234、ハルシネーション率0.750。まとめるとGPT-OSSは実世界知識がほとんどなく、ハルシネーションが深刻。Phi-LLMシリーズ全体の特徴でもある。Table 4（OpenAI o3/o4-mini）資料を見るとo3の正答率0.49、o4-mini0.20、ハルシネーション率はそれぞれ0.51と0.79。要するに、o3とo4-mini、o4-miniとGPT-OSSの間で実世界の知識力の差は大きい。GPT-OSSの実世界知識不足は、むしろこのシリーズの特性であり、大企業向けの「安全装置」または利用者基準の「検閲」のせいだ
モデルカード参考1
モデルカード参考2
「小型LLMファインチューニングの主要需要はエロティックRPで、実際小規模コミュニティの半分はこの関心層」という意見には本当に驚いた