OpenAI、オープンウェイトモデルのリリースを延期

• OpenAIは当初、来週のオープンウェイトモデル公開を予定していたが、追加の安全性テストと高リスク領域のレビューのため、公開を延期すると発表した
• Sam Altmanは「正確にどれくらいかかるかは、まだ確信を持って言えない」と明らかにした
• モデルの重み（Weights）は、いったん公開されると回収できないため、慎重なアプローチが必要だと説明した
• OpenAIは、コミュニティがこのモデルを通じてさまざまなイノベーションを生み出すことを信頼している一方で、この方式はOpenAIにとって初めてであるだけに、適切な手順を踏みたいと強調した
• 最後に「良い知らせではなくて申し訳ない。私たちは本当に懸命に取り組んでいる」と述べ、心からの謝罪と慎重さをあらためて強調した

[ng0301]

まただまされるのか〜

[GN⁺]

Hacker Newsの意見

• https://nitter.space/sama/status/1943837550369812814 のリンクを共有

• OpenAIのオープンウェイト（重み）モデルの公開が、今日発表されたKimi K2のような優れたオープンウェイトモデルの登場直後に突然延期されたのが偶然なのかはよく分からない
  Kimi K2紹介リンク
  OpenAIが公開するなら、業界の水準を一段引き上げる必要がある
  中途半端な品質の公開重みモデルでは通用しないと思う

  • 今のOpenAIはGrok 4を上回ることに全リソースを集中しているのだと思う
    xAIは計算資源の積み増しでかなり先行していて、ARCやHLEなどの知能テスト分野でも大きな差をつけている
    OpenAIが目指しているのはオープンソース競争ではなく、競争に勝つことだ
  • それにしても、Hacker NewsでK2についての議論がほとんどない理由が気になる
    かなり大きなニュースだと思う
  • 特に最近OpenAIが最高のオープンソースモデルを出すと予告していた点を考えると、タイミングが一致しているように思える
  • GPT-4以降、OpenAIのすべてのモデルが市場の流れにかなり遅れているように感じる

• LLMの「安全性テスト」という言及はマーケティング用の文句だと思う
  自動車、飛行機、エレベーターには本物の安全性テストがあるが、LLMは違う
  LLMが作った出力が製作者の気に入らなくても、誰かが死ぬわけではない
  彼らの言う「安全性テスト」とは結局、LLMが自分たちの嫌うことをどこまで言うかをチェックしているだけだ

  • LLMは誰かに相互作用の悪い薬を飲むよう簡単に案内できる
    メンタルヘルスの危機を自殺へ追い込むこともあるし、極端には特定の人種や集団を問題の原因だとして排除すべきだと説得力をもって主張することもできる
    言葉そのものが直接人を殺すわけではないが、明らかに死へ導くケースはあり得る
    こうした可能性に加えて、ツール使用に関する危険性も存在する
  • この文脈での「安全性」とは、結局のところ誰かを不快にさせたりPR問題になりそうな発言を防ぐことを意味する場合が多い
  • 私もマーケティングだと思うが、理由はむしろ逆だ
    今の技術水準では、本当に安全にすることは不可能だと思う
  • これはユーザーのためというより、LLM提供企業自身の安全のためのものだ

• 私の趣味は皮肉を金に換えることだ
  Polymarketに行って、社会や技術について自分を嬉しく楽観的にしてくれる出来事を探し、それが起きない方に少額の賭けをする
  例えば、OpenAIが9月までにオープンソースの重みモデルを公開するかという賭けがあり、今は81%で取引されている
  先月はOpenAIも公開せず、停戦も本当の停戦ではなく、気候指標も悪化したので、10ドルほど儲かった
  存在の絶望を完全にヘッジすることはできないが、その苦痛を少し和らげることはできる

  • 賭ければ必ず勝つ構造になっている
    私が勝てばお金が増える（得）、負けても社会に良いことが起きたということだから（得）
  • 友人はこれを「人類をヘッジする」と呼んでいる
    政治的に憂うつなことがあるたびに数百ドルずつ稼いでいた
  • いまだに暗号資産を使っている人がいる事実に驚く
    AIブーム以降、もう暗号資産は終わったものだと思っていた
  • 「ギャンブルには依存性があるので責任を持って行うべきであり、18歳以上のみ利用可能です
    助けが必要ならギャンブル相談センターや医師に相談してください」

• DeepseekやQwen（Alibaba）の方が、米国のAI企業より信頼できる
  米国のAI業界は金と計算資源を食い潰しているだけという印象が強い
  何十億ドル投入されても、これといって見せられるものがあまりないように見える
  Deepseekはわずか500万ドルで開発され、新しい訓練手法をいくつも示した
  しかもモデルとコードの両方をFLOSSとして公開している
  米国企業はすべてクローズドだ
  米国のAI企業は互いを食い殺そうとするハゲワシのように見える

  • Deepseekの開発費500万ドルについては議論が多い
    誤解されたのか、意図的に誤情報が広められたのか、意見が分かれている
    たとえ悪意がなかったとしても、大規模モデルの訓練経験がある立場から言えば、一回の訓練コストだけを見て総費用を語るのは無意味だと言いたい
    失敗した実験や追加訓練、その他の無数の試行にかかるコストも大きい
    R2が6か月経っても出てこないのは意味深いと思う
    ときどき素晴らしい結果は出るが、失敗にかかるコストには誰も注目しない
  • 実際、Googleのモデルの大半はオープンソースだ
    AI業界で働きながらGoogleの研究論文を数多く読んできたが、業界の発展に大きく貢献してきたし、商用ライセンスでモデルを公開してくれたことに感謝している
  • 500万ドルというのは、1回のGPU訓練にかかる時間コストだ
  • 米国のAI企業が金と計算資源ばかり食うと言っていたが、実際には本も本当に文字どおり食べている
  • そのコストって実際にはGPUの価格だけを反映した数字じゃなかった？

• おそらく結果が今日発表されたK2モデルより劣っていたからだろう
  まともなエンジニアなら「安全性」が理由だとは言わないはずだ
  ablationのような手法を使えば、事後的な安全性訓練も無力化される

  • 個人的には、OpenAIが公開するオープンウェイトモデルはK2よりずっと小さい方がいい
    K2は1兆パラメータで、ダウンロード容量だけでもほぼ1TBある
    私のノートPCでは絶対に動かせない
    ローカルモデルの手頃なサイズは20Bくらいが最適だと思う
    Mistral Small 3.xやGemma 3の一部モデルが代表的だ
    32GB RAM以下でもよく動いて性能も良い
    OpenAIがそのくらいのサイズで1つ出してくれることを本気で願う

• Llamaモデルの無検閲ファインチューニングの事例を見ても分かるように、安全性制約は簡単に取り除けることを覚えておく必要がある

• 実質的には何の役にも立たないセキュリティ・パフォーマンス（対外的な見せかけ）にすぎない
  コミュニティはすでに保護措置を簡単に剥がす方法をずっと前から知っている

  • こういう主張を見ると、「Open」AIが昔GPT2 XLを「強力すぎる」と言って公開を拒否したことをすぐ思い出す

• 「これは私たちにとっても新しいことです」という言い方は、その企業らしくない

• OpenAIがなぜ公開重みモデルを公開しようとしているのか genuinely 気になる