OpenAIの研究者たち、CEO解任を前にAIの革新について取締役会へ警告書簡を送付

• OpenAIの研究チームは、サム・アルトマンの件の4日前に、強力な人工知能の発見について取締役会へ警告する書簡を送った
• 書簡の内容は確認されていないが、研究チームはAIの能力と潜在的なリスクを指摘した

Q*プロジェクトの進展

• OpenAIはQ*というプロジェクトで、人工汎用知能（AGI）に向けた突破口を達成したと社内で考えていた
• Q*は小学生レベルの数学の問題を解く能力を示し、研究チームの大きな期待を集めた
• AGIは、限られた計算しかこなせない計算機とは異なり、汎化、学習、理解の能力を持つ

SUPERINTELLIGENCE

• 数学は生成AIの発展の最前線であり、現在のAIは次の単語を統計的に予測することで、文章作成や言語翻訳に長けている
• 数学の問題を解く能力は、AIが人間の知能に似た推論能力を持ちうることを示唆している
• こうした能力は新しい科学研究に応用される可能性がある

GN⁺の意見

• この記事で最も重要なのは、OpenAIの研究チームが取締役会にAIの潜在的なリスクを警告した事実と、Q*プロジェクトの進展である。
• 人工汎用知能（AGI）に一歩近づいたように見えるこの発見は、AI技術の未来と人類に及ぼす影響について興味深い議論を引き起こす可能性がある。
• AIの発展がもたらす前向きな可能性とともに、潜在的な危険性への認識を高めるきっかけにもなりうるため、人々にとって魅力的なテーマである。

[cosine20]

でも、こういうのって時間の問題じゃないですか？ いくら先行開発したOpenAIが公開を遅らせたり中止したりしても、他の競合他社やオープンソースコミュニティから、いずれ似たようなものが出てくる気がしますが……

[GN⁺]

Hacker Newsの意見

• 数日前に4chanに投稿された説に関連して、あるバージョンが正式にAGI（汎用人工知能）だと宣言された場合、Microsoftなどに商業的利益のためのライセンスを供与できなくなる、という話がある。これを踏まえ、AltmanはAGIと呼ばれることを望んでいない一方、他の取締役会メンバーはそれを望んでいる、という主張が出ている。
• Qという新しいモデルが、与えられた膨大な計算資源を用いて、ある程度の数学の問題を解けたという発見への言及がある。このモデルは小学生レベルの数学の問題を解くことに成功しており、研究者たちはQの将来の成功について非常に楽観的である。
• Sam Altmanが最近のQ*の発見に関連して述べた2つのコメントがある。1つはAPECで11月18日にしたコメントで、もう1つは9月22日にTwitterへ投稿した内容である。どちらもOpenAIの進歩と発見の瞬間に言及している。
• 個人の富と権力に限界を設けるのは良い考えだ、という意見がある。石油会社が利益のために地球を破壊し、テック企業が利益のためにプライバシーを侵害するのを見てきたので、Sam Altmanが利益のために何をするのか、あるいは何をしないのか、という疑問が提起されている。
• 約1か月前、Sam Altmanは、AIが一般知能から超人的な説得力を持つようになる前に、非常に奇妙な結果をもたらす可能性があるとコメントしていた。取締役会は最近のブレークスルーに驚いて非常ボタンを押した可能性があり、選挙サイクルの前に「超人的な説得力」を持つものが誤った手に渡れば、とてつもない結果を招き得る。
• いつかAIが仕事の50%をこなし、主要な意思決定を行い、AIが運転する車に乗って移動し、人々がAIと恋愛関係を結ぶ日が来るだろう。しかしその時になっても、私たちは作られたものが本当にAGIなのかどうかを議論しているはずだ。AGIは常に次の段階のものと見なされ、ある日、実は数年前にすでにその一線を越えていたことに気づくのだろう。
• OpenAIの取締役会がSam Altmanを信用できず、その技術を探求するよりも会社を爆破するほうがましだと考えた理由を説明する助けになる内容がある。
• 取締役会がSam Altmanを解任したことに関する書簡の内容のほうがより整合的であり、重大な発見が報告されず、従業員の書簡を通じて初めて知ったのであれば、それは「率直さを欠く」と見なされ得る。また、終末シナリオを想定するなら、そのような秘密が悪人の手に渡らないように、どれだけ長く秘密を保てるのかという疑問もある。
• OpenAIはマーケティング戦略において先駆的なアプローチを取っている、という意見がある。「このキャビネットの中に強力なAGIがあり、あまりに強力なので解放したくない。だから安全を保つために資金を出してほしい」といったメッセージで人々から金を集めようとしている、というものだ。
• ある親が12歳の息子と、数学の退屈な部分について会話したところ、息子は絶対値はとても簡単で退屈だと思うと話した。複素数を使えばもっと面白くなるかもしれないという息子の意見を聞いて、その親は、息子が複素平面における絶対値が実部と虚部からなる直角三角形の斜辺だと理解していることに気づいた。こうした理解は、単に大量の類義語辞典を持っていることの結果ではなく、根本的な仕組みへの理解から生まれるものだ。大規模言語モデルがどのような過程でこのような結論に到達し得るのか、という疑問が提起されている。