Claude Fableが支援を止めても、ユーザーには分からない
(jonready.com)- コーディング支援モデルは、競合LLMの開発リクエストに対してユーザーに知らせずに有効性を制限できるため、開発ツールの信頼にサプライチェーンリスクが生じる
- AnthropicはFable 5で、フロンティアLLM開発リクエストに対する有効性制限を導入しており、この制限はユーザーから見えない
- 制限方式は、他のモデルに置き換えるのではなく、プロンプト修正、ステアリングベクトル、PEFTのような方法で効果を下げる構造である
- 一般的なソフトウェア企業も、埋め込み、リランキング、推薦システム、小型LLMのチューニング・ホスティングを使うようになり、フロンティアAI研究と製品開発の境界が曖昧になっている
- ClaudeがAIコンポーネント作業中に悪い回答を返したとき、モデルの混乱、誤ったコンテキスト、隠れたポリシー制限のどれが原因なのかをユーザーは判断できない
核心的な問題
- Fable 5のモデルカードには、フロンティアLLM開発を狙ったリクエストにおいてClaudeの有効性を制限する新しい介入が実装されたという文言がある
- 適用例として、事前学習パイプラインの構築、分散学習インフラ、MLアクセラレータ設計が挙げられている
- Anthropicは、Claudeを競合モデル開発に使用する行為は、すでに利用規約違反だと明らかにしている
- この制限は、サイバーセキュリティ、生物学・化学、蒸留の試みに対する介入とは異なり、ユーザーには見えない
- Fable 5は他のモデルにフォールバックせず、プロンプト修正、ステアリングベクトル、パラメータ効率的ファインチューニング（PEFT）などの方法で有効性を制限する
製品開発と境界の問題
- 現代のソフトウェア企業は、自前の埋め込み、リランキング、推薦システムをますます多く構築している
- wanderfugl.comは、独自に学習したカスタムリランカーと埋め込みアルゴリズムを持つ小規模なブートストラップアプリの例として示されている
- Anthropicは「フロンティアAI開発」のいくつかの例を挙げているが、明確な境界線は示していない
- かつてはAI研究所に限られていた手法が一般的なソフトウェア企業でも使われるようになり、境界は年々定義しにくくなっている
- スタートアップは埋め込みモデルを学習し、リランカーを作り、小型LLMをファインチューニングしてホスティングしている
Anthropicのサプライチェーンリスク
- Anthropicは、このような保護措置が開発者の0.03%にしか影響しないと述べている
- 問題は、AI企業の定義そのものが変わっている点にある
- 現在ほとんどの企業はフロンティアモデルを学習していないが、現代のソフトウェアにはAIモデルがますます多く組み込まれている
- 5年前のスタートアップ構築はAPIとSQLクエリ作成に近かったが、今ではモデルの学習、チューニング、デプロイがしばしば含まれる
- 5年前にはCLIPのようなモデルはフロンティアAI研究プロジェクトだったが、現在ではブートストラップ型の旅行スタートアップでもファインチューニングの対象になっている
信頼の問題
- 製品向けモデル学習パイプラインをデバッグしているときにClaudeが悪い回答を返すと、原因を切り分けるのが難しい
- 考えられる原因は、モデルの混乱、ユーザーによる文脈提供の不足、隠れたポリシー制限の発動に分けられる
- Anthropicは、このような制限が作動したときにユーザーへ通知しないことを明示的に選んでいる
- 開発ツールがユーザーに知らせず、成功のための最適化を止めうるなら、そのインフラを完全に信頼するのは難しくなる
1件のコメント
Hacker Newsの意見
Anthropicの今回の措置は、はしごを外す行為以外の何ものでもないように見える。いくら「安全」で包んでも、善意で解釈するのは難しい
Web 1.0時代に外部リンクを禁止していたダークパターン的な発想や、ソーシャルアプリがデータの持ち出しを妨げ、APIの相互運用性を意図的に弱めていたやり方を思い出す
だがこれは単なるデータの堀ではなく、ツールだ。ナイフを作る能力を低下させるナイフ、あるいはテキストエディタの実装を妨げるテキストエディタに近い
こんなに早く本音を見せたのは、少し衝撃的で不気味だ。あらゆるソフトウェアエンジニアリングを自社製品で置き換えたうえで、競合ソフトウェアを作る側を静かに殺そうとしているように見える
今後どんな製品をまた出してくるかわからない。彼らが参入したい領域にいないことを祈るしかない。橋を断ち切られるだろうから
インターネットから持ってきた私のデータで学習するのはいいのか？ はは。利用規約は他人にだけ適用されて、自分たちには適用されないらしい。寄生虫のようだ
人間の心は異なる時間スケールの予測を処理するために多層になっており、宇宙の予測不可能性のせいで層のあいだの矛盾は絶えず生じる。私たちはそれに耐えるために物語を作り出す
だから統制があり、統制の幻想がある
他人の知的財産を蒸留するのはまったく問題ないが、うちのものを蒸留すると利用規約違反になる、という話 :)
中国のApache 2.0モデルには検閲があるかもしれないが、少なくとも検閲の境界線を見つけたからといって米国で訴えられることはない
一方で米国のモデルは本文レベルで確実に検閲されており、モデルの検閲境界に触れる人々に対して曖昧な法的脅しをかけている
https://blog.google/innovation-and-ai/technology/safety-secu...
最終結果だけを上げて、Hacker NewsのコメントやTwitterスレッドでどうプロンプトしたかを曖昧に語るのではなく、それこそが実際のソースコードに当たる
JetBrainsが「IntelliJ Ideaで次世代IDEを開発してはいけません。検知した場合、少しコンパイルエラーを混ぜることがあります」と言うのと同じだ
「文明の進歩を長期間にわたって効果的に抑制し、武装解除する方法は一つしかない。その文明の科学を殺すことだ。」 — Cixin Liu, The Three-Body Problem
粒子加速器のセンサーを密かに操作し、人類が高度な粒子物理学の知識を発展させられないように妨げていたSophonsをすぐに思い出した
人々が報告している、静かではないサイバーセキュリティや生物学などの安全装置の誤検知率が高いことを考えると、利用規約に違反していなくても静かに弱められた挙動に遭遇する可能性は高い
結局のところ、顧客や外部ベンチマーカーがFableを体感する仕方の中で明らかになるだろう。競争によって将来のモデルがより低い誤検知率へ押し上げられることを願う
それまでは、MythosとFableのユーザー体験はかなり大きく分かれる可能性が高そうだ
RSI/ASIの経済的含意を垣間見せる興味深い事例だ。価値が事実上無限で、あらゆる市場を破壊するほどだとすれば、研究所は最終的にモデル公開を完全にやめ、契約上の約束すら破るだろう
法的な争いが高くつく前に、競合を事業から追い出せる力を持つようになるからだ
クラウド事業者も最初は小規模企業に、後にはハイパースケーラーにまで追随するだろう。研究所以外への販売を完全に閉じ、現金の代わりに持分や直接の意思決定権を要求するかもしれない
推論/学習比率が必ず80/20でなければならない理由はなく、金が無価値になるような出来事では、どれだけ支払意思が大きくても助けにならない
A) ASIが開発され、世界経済の残りすべてを圧倒する
B) それでも世界には法の支配、契約、事業、よく発達した金融などが残っている
AとBを同時に仮定すると奇妙な結論はいくらでも出せるが、よりありそうな展開は、Aが起きればBはすぐに成り立たなくなるというものだ
企業がASIを手にしたら、事業や金や経済のことは気にしなくなり、結果は「世界を征服する」「取締役会をvon Neumann探査機の艦隊にアップロードする」「失敗して全員死ぬ」といった方向に変わる
今日は堀が深く見えても、毎年浅くなっていくはず
新しいモデルをゼロから学習させるには莫大な資源が必要だが、既存モデルの事後学習／微調整にははるかに少ない資源で済む
2年前はその過程の知識は非専門家にはなじみが薄かったが、今では現行モデルのどれか1つに段階的に尋ねながら、ツールまで一緒に作れる
最近の週末プロジェクトのいくつかはまさにそういうやり方だった。「LoRAを作ってみよう」「X作業向けモデル微調整のための学習データコーパスを生成してみよう」「テキスト画像モデルに自分の顔を入れるには？」といったものだ
これらはすべて、かなり modest なローカルハードウェア、たとえば古いGPU数枚やStrix Halo、DGX Spark、大きめのMac Studioでも可能で、規模次第ではクラウド計算資源に数ドルから数千ドル払うだけでもできる
これを企業やスタートアップ規模に拡大すると、ここ数年でAIに流れ込んだ資金を考えれば、トップモデル企業が本格的に売上を引き出さなければならない時期に、競争が激しくなるのは明らかだ
Claudeの利用コストが膨らむのを見れば、はるかに少ない金額で同じ仕事をする方法を探す機会が増える。コーディング向け最高モデルに近いClaude Codeに月100〜200ドルを払うのは簡単でも、従量課金で押し切られるとすぐに手に負えなくなる
だから彼らは、最も難しい問題を解くほぼ唯一の方法の1つであり続ける必要があり、代替手段のコストも同程度に保たれなければならない。OpenAIやGoogleも価格を上げるだろうと期待することはできる
だが、それが誰に対しても、特に経済構造の異なる中国企業にまで当てはまると期待するのは難しい。そして企業が自社の利用量を見て「Anthropic APIを最も多く使っているこの1つの作業だけを行う、より小さな特化モデルを学習させられないか？」と問わないと期待することもできない
彼らが言っているのが、中国のモデル企業などがClaudeを蒸留するような使い方だけを指していることを願う。「Gemma 4を自分の文体のように書くよう微調整するには？」みたいなことまで塞ぐつもりではないといいのだが
残りは資本集約的で、価格は時間とともに生産コストに近づいていくはずだ
これを高収益ビジネスだと見るのは、ボイラーが高いのだから石炭火力発電所のマージンは良いと主張するようなものだ
悪意を持って読めば、「機械学習エンジニア／科学者は、自分たちの仕事以外のあらゆる仕事を自動化したがっている」という意味に見える
誰もが自分だけのMythosを作れるなら、安全装置を迂回できてしまうからだ
ただ、それはこの状況がどれほど奇妙かをいっそうよく示している
彼らはモデルに静かな弱体化システムがあると公言している。当然の疑問は、それがすでにどれだけ使われているのかということだ
競合他社は弱体化されているのか？
アメリカ人でない利用者は、より質の悪いコードを渡されているのか？
オンラインゲームがマッチメイキングで勝敗に影響を与えて参加を最大化するように、利用者を罰したり報酬を与えたりしているのか？
$$$$: 少し弱体化
$$$: さらに弱体化
$$: 貧しいんですか？
$: 永久に下層民のままでいてください
「Claudeは今や静かに弱体化される可能性がある。Anthropicは、そうなっても利用者に知らせないことにした。」何だって!!