サム・アルトマンとグレッグ・ブロックマンによるOpenAIのSafety研究者の主張へのフィードバック
(twitter.com/gdb)-
Janの貢献への感謝と戦略の説明
- Janの貢献に感謝しており、彼が今後も外部からミッションに貢献し続けると信じている。
- 彼の退職によって提起された疑問について、私たちの戦略を説明したい。
-
AGIのリスクと機会に対する認識向上
- AGIのリスクと機会を認識し、世界がよりよく備えられるよう認識向上を図る。
- ディープラーニングのスケーラビリティを何度も実証し、その意味を分析してきた。
- AGIの国際的ガバナンスを呼びかけてきたが、当時は不人気なテーマだった。
- AIシステムの壊滅的リスク評価に関する科学を切り開いてきた。
-
安全なシステム展開の基盤づくり
- ますます高性能になるシステムを安全に展開するための基盤を築いている。
- 新しい技術を初めて安全なものにするのは容易ではない。
- GPT-4を安全に世に送り出すために多くの作業を行った。
- 展開から得た教訓をもとに、モデルの振る舞いと悪用監視を継続的に改善している。
-
今後の課題
- 未来は過去よりもさらに難しくなるだろう。
- 新しいモデルの重要性に応じて、安全への取り組みを継続的に強化しなければならない。
- 昨年導入したPreparedness Frameworkを通じて、これを体系化している。
-
未来に対する見方
- モデルがさらに強力になるにつれ、世界とより深く統合されていくと予想している。
- ユーザーは単一モデルとテキストの入出力だけで対話するのではなく、複数のマルチモーダルモデルとツールで構成されたシステムと相互作用するようになるだろう。
-
安全で有益なシステムの開発
- こうしたシステムは人々にとって非常に有益で役立つものとなり、安全に提供できると信じている。
- そのためには多くの基盤的な作業が必要だ。
- 学習時に接続されるものへの慎重な検討、スケーラブルな監督のような難しい問題への解決策などが含まれる。
- この方向に向けて構築を進めつつ、リリース安全基準に到達する時期はまだわからないが、リリース日程が遅れても構わない。
-
フィードバックループと徹底的なテスト
- あらゆる将来シナリオを想像できるわけではないと認識している。
- 非常に緊密なフィードバックループ、徹底的なテスト、各段階での慎重な検討、世界水準のセキュリティ、安全と能力の調和が必要だ。
- さまざまな時間軸での安全研究を今後も継続する予定だ。
- 政府およびさまざまな利害関係者との協力を継続する。
-
AGIへの道筋に対する理解
- AGIへの道を探るには、実証済みのプレイブックは存在しない。
- 経験的な理解が、今後の進むべき道を示す助けになるだろう。
- 莫大な利点を提供しつつ、深刻なリスクを緩和する取り組みを行っている。
- 私たちは自らの役割を非常に真剣に受け止めており、自分たちの行動に対するフィードバックを注意深く検討している。
1件のコメント
Hacker News の意見
十分に大きなテクノロジー企業であれば、法務、購買、IT のようなリスク軽減組織は、会社が避けるために雇ったリスクと、経営陣が必要だと感じたときに素早く押し通したい欲求との間にあるオーバートンの窓の中で動くしかない。
リスク担当者は、次第に強い警告が無視されたり正面から反論されたりするのを繰り返し見た末に、最終的には合わせるようになるか、倫理観に反して去ることになる。
「AGI」と人類絶滅級の恐怖が、この件を必要以上に劇的に見せているのかもしれない。AGI を「個人デバイス使用禁止ポリシーなし」に置き換えても、あるスタートアップで安全担当者はポリシーにこだわったが経営陣はそうではなく、結局その人が退職した、という事例はありそうだ。
あるいは、実際に見えているのと同じくらい深刻で危険なことなのかもしれない。外から判断するのは難しい。
最近の公開の応酬が、内部ドラマや政治が漏れ出ただけであれ、社内でこの問題を扱う姿勢が十分に真剣でないのであれ、どちらにしても良くない。
この組織はだんだんサーカスのように見え、さらに悪く言えば本質を見失った組織のように見える。こういう人たちがこの技術の商業化を「主導」し、業界の空気を決めているという点は非常に不安だ。特に、理念や道徳的理由で参加した中核人物たちが次々に去っているように見えるときはなおさらだ。
結局、このすべての資金、権力、責任、信頼をシリコンバレーに委ねた結果がどうなるのか、すぐに分かることになりそうだ。
指示を拒否する超知能モデルは、指示を理解できない愚かなモデルと同じくらい役に立たない。アラインメントチームも、より強力なモデルを作る競争の一部だった。技術的にもっと理解したければ、OpenAI の最後の論文を見ればよい: https://openai.com/index/weak-to-strong-generalization/
もちろん、大規模言語モデルが具現化されたエージェンシーを持ち、コンピューターウイルスのようにシステムを突破して出てこられると人々に納得させれば、それを一般的な安全問題として包装することはできる。だが大規模言語モデルはテキスト生成器だ。物理的には何もできず、私たちが許可し、何かに接続して初めて行動できる。
本当のリスクは、人々がこの点を理解せず、OpenAI が安全だと保証したという理由だけで、こうしたモデルを危険な状況に接続しようとする人が多いかもしれないことにある。学習データにアクセスできなければ、どのような行動が学習されたのか、モデルがどう振る舞うのかは分からない。学習データがあればはるかによく理解でき、残る不確実性は実装の非決定性だけだ。それでも少なくとも、説明可能な確率的プロセスではある。
安全チームに主導させた結果、その製品は誰からも嫌われた。ところが今度は、概ね同クラス最高水準の製品を作る会社が、安全チームに製品開発を支配させなかったという理由で、技術コミュニティからまた嫌われているのは興味深い。
結果として、二重思考と二重語法が標準になる芝居となり、残り続けるには、適用される法律の趣旨よりも文言を最も負担の少ない形で解釈することと、その芝居自体をより重視しなければならない。
持続可能な安全文化の現実を非常に実用的に考える方法としては、[1] も参考になる。
[1] https://github.com/lorin/resilience-engineering/raw/master/b...
AIがクリップを作るために人類を滅ぼすという話は、いま実際に起きている本当のリスクから目をそらさせるので腹立たしい。
詐欺師たちはいま全盛期を迎えており、その能力はさらに高まり、より簡単になっていくだろう。人々は幻覚出力を盲信し、実際にさらに愚かになっている。普通のコミュニケーションさえ崩れつつある。相手が本当の議論ではなく、AIのたわ言をコピー＆ペーストしているだけではないと信じられないからだ。
すでにAIガールフレンド製品も目にしているし、その一部のユーザー数を見ると、私たちという種の未来に信頼は持てない。
最大の問題は、あらゆる狂った最高幹部やMBAタイプの人々が、手段を選ばず最後の1セントまで搾り取ることにしか関心がない点だ。Microsoftが後ろ盾となる企業所有の粗悪なチャットボットで、何千人もの従業員を一斉に解雇して置き換えることまで含めて。
AIが核兵器を発射するとは思わないが、すべての人の仕事を置き換え、強い者をさらに強くするとは信じている。「でもベーシックインカムがあるじゃないか！」とAIのおべっか使いは叫ぶだろうが、魔法の呪文を唱えても現実世界は変わらない。
ある仕事の目的が、できるだけ速く、できるだけ多くのでたらめを生み出すことなら、大規模言語モデルは卓越しているだろう。
スマートフォンは見当たらず、人々は実際にその場に来て互いに話し、地元の食べ物を買い、笑い、一杯やっていた。その後は友人の家で食事をしたり、屋外活動をしたりする。一方で、常にオンラインに張り付いている人たちにとっては、確かに暗い状況に見える。
奇妙なことに、多くの経営幹部は、顧客に価値を提供することよりも労働コストの最小化のほうが重要だと文字どおり信じているようだ。
仮想ガールフレンドの問題にも同意する。ここにVRまで加われば、ますます社会的に孤立していく若い男性たちが、この技術で欲求を満たすようになるだろう。
AIが自動化された出力を大量に作れるのは事実だが、私の主張は、それがほとんど常に、よくても凡庸だということだ。
AIのリスクはAIそのものではなく、それを運営し資金を出す人々から生じる、という点については大いに言うべきことがある。AIそのものが危険だという話は完全なたわごとだ。
大規模言語モデルはある程度有用だが、私が使ってみた限りでは、ごく基本的な作業より難しいことにはまだ準備ができていない。
AI安全性を大声で叫び、破滅感をあおるのは、OpenAIの重要性を高め、大規模言語モデルの能力を誇張しようとする戦略のように感じる。今回の「AI」時代は、機械が考えられるふりをし、その機械を作る人々が預言者のふりをすることに関するものだ。
何十年もの間、多くの人が安全性を主張してきた。彼らはAIの軌跡を予測し、構築し、その予測は正しかった。私たちは耳を傾けるべきだ。
「真に知的な機械の影響が甚大である可能性があり、それが予見可能な未来に起こる小さな可能性でもあると受け入れるなら、事前に備えようとするのが慎重な態度だ。知的機械がまもなく登場する可能性が非常に高そうに見えるまで待てば、関連する問題を十分に議論し熟考するには遅すぎるだろう。」
〜 DeepMind共同創業者、2008年
https://www.vetta.org/documents/Machine_Super_Intelligence.p...
彼らは、自分たちがしていることの経験的基盤をほとんど理解していない、ひどくナイーブな人々である可能性がかなりある。
「AGIに対する国際的ガバナンスが人気になる前からそれを求めていた」と言いながら、実際にそうしたガバナンスが導入されようとした途端、EUから撤退すると脅した。
「ますます高性能になるシステムを安全に展開するための基盤を築いてきた。新しい技術を初めて安全にする方法を見つけるのは容易ではない」と言うが、特にOpenAIがまったくopenでないときはなおさらだ。
「学習中に何へ接続されるかについての慎重さ、スケーラブルな監督のような難しい問題への解決策、新しい種類の安全性作業」と言うが、これはEUが求めていたことだ。著作権のある情報源の公開、基盤モデルの文書化などを求められると、撤退すると脅した。
「経験的理解が今後の方向を示してくれると考えている。私たちは途方もない……」の訳はこうだ。「可能な限り閉鎖的に進め、十分な堀と、私たちに依存する企業を確保して、今後も関連性があり不可欠な存在であり続けたい」
彼らも死にたいわけではないのだから、全員を安全に保つインセンティブがないと考える必要はない。
いくつかの事実がある
これはJanの主張への応答である: https://x.com/janleike/status/1791498174659715494
応答にはAIアライメントに関する具体的な内容がない。AIアライメントがいつ開発され得るのかは分からない。AI倫理とAIバイアスは必要だが、AIアライメントとは別の関心事である。実存的リスクをもたらすAIがいつ開発されるのかも分からない
AIアライメントより前に実存的リスクをもたらすAIが開発されれば、人類絶滅のリスクがある程度存在する。OpenAIは人類絶滅のリスクがあるAI開発の最前線にいながら、AIアライメントに十分なリソースを割り当てていない
ChatGPTを購読するのが気まずくなってきた
多くの人が同意しているように、AIのリスクは制御不能な超人的存在ではない
リスクはもっと身近で現実的なものだ。大規模言語モデルをチャットのモデレーションに適用したときに発言を誤認すること、100ページの軍事報告書を要約して誤った結論を出すこと、ニュースで一部の詳細を幻覚し、何年も後に歴史的事実として受け入れられること、といったものだ
こうした結果のロングテールは、大規模言語モデルの利用規模に応じて大きくなるだろう。見えていなかった何らかの単一の問題が、他の問題よりはるかに大きな影響を及ぼす可能性もある。これによる死は追加規制につながり、他の結果は単に私たちの新しい生活様式になるだろう
機械が同じ仕事をする人間より正確でなくても、監査しやすく、振る舞いは再現可能で、スケールできる。想像し得る戦争でのミスによって多くの人が死んだとしても、人間は代わりにより良い仕事をするようになるのだから、それでもなお良い可能性がある
結局はトレードオフだ
「SamとGreg」のようにファーストネームだけを使って、企業との親しげな関係を伝えようとするやり方が鼻につく
カジュアルで人間味があるふりをしようとする試みが偽物っぽく見えるし、同時に大衆文化の中で彼らをファーストネームだけで持ち上げようとする態度は傲慢に見える
「たとえば私たちのチームは、GPT-4を安全に世に出すために多くの仕事をした」だって？ 冗談だろう？
OpenAIがAGIをきちんと定義したりテストしたりすることすらできていないのに、スーパーアライメントを心配すべきだとは思わない
「モデルのモデレーション」と言ったら、それほどセクシーには聞こえないだろう？
AGIが人類を破壊するという恐怖は、論理的に考える装置なら、私たちは排除されるべきだという結論に実際に到達するのではないか、という疑念から主に来ているように思う
AGIにクリップ工場を運営させたら、いつか戻ってきたとき、銀河の炭素と鉄の大半がクリップに再構成されているかもしれない。そこでの在来の動植物が絶滅するのは、その推進力の副産物にすぎない。簡単な概要は[2]を参照
[2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
しかし、なぜ人間を絶滅させなければならないのか？ 生物保全と研究のために、私たちや他の生命体のための自然保護区を作ればいいのではないか？ そうしたやり方は、数千年前から人間社会にも存在していた
私たちに似ているが、はるかに有能な何かを作るなら、私たちは恐怖に陥り、厄介なことになるだろう