- 安全で強力なAIシステム製品である「Safe Superintelligence（安全な超知能）」の実現を目標とする企業
- 安全性と性能を同時に考慮し、革新的なエンジニアリングと科学的ブレークスルーを通じて課題を解決
- 性能を可能な限り迅速に向上させつつ、常に安全性を最優先にする計画
- SSIのみに集中することで、管理上のオーバーヘッド、製品サイクル、商業的圧力などから保護
- 共同創業者
- Ilya Sutskever : OpenAIの共同創業者であり元チーフサイエンティスト
- Daniel Gross : Appleに買収された検索エンジンCueの共同創業者。買収後はAppleでAI/検索を担当。
- 主にGitHubのCEOだったNat Friedmanとともに、Instacart、Coinbase、Airtable、Figma、Notion など多様なスタートアップに投資
- Daniel Levy : OpenAIの元Optimizationチームリード
1件のコメント
Hacker Newsの意見
IlyaがAIの発展に貢献できるようになってうれしい。しかし、商業的により有利な企業のように高い報酬をどう提供するのか気になる。理念に動機づけられた人や、すでに経済的に自立している人を見つけられるのかもしれない。また、他社が数十億を投じて巨大なGPUデータセンターを構築している状況では、十分な計算資源を確保するのも難しい。
「スーパーインテリジェンス」が人類を脅かしうるという懸念は理解できる。しかし、より大きな心配は「スーパーインテリジェンス」が脱走することではなく、特定の人間がそれを支配する状況だ。歴史的に大きな権力を持った人間が何をしてきたかを見ればわかる。冷戦期の核兵器競争はその好例だ。
ビジネス上のインセンティブが安全でないAIを生み出すという指摘に同意する。ソーシャルメディアの推薦アルゴリズムは、すでに社会、とりわけ若者にとって非常に危険だ。負の外部性が存在するなら、政府が適切な規制を整備すべきだ。
Ilyaの問題は、安全なAIを開発することではなく、安全なビジネスを開発することだ。今日、安全なAIを作ることはできても、次の経営陣がそれをどう扱うかはわからない。安全なビジネスの問題を解決できれば、多くの社会的害悪を取り除ける。
もしスーパーインテリジェンスが達成可能だとしても、安全性については悲観的だ。自分より高い知能をサンドボックス化するのは不可能に思える。スーパーインテリジェンスは新たな攻撃ベクトルを思いつけるかもしれない。映画『トランセンデンス』のように、新たな物理学的発見によって魔法のようなことができるかもしれない。
ビジネスモデルはSSLに似た外部プロトコルになるのではないかという予測。さまざまなアプローチが存在する状況で、定義されたプロトコルや標準がなければ、「安全性」が製品レイヤーとして実装される可能性はない。Ilyaはそれを実行できる信頼性と技術力を備えた人物に見える。
Ilyaは、その名前だけでもほぼ無制限に資金を集められそうだ。「成功するまで製品なし」という方針には同意しない。現実世界からのフィードバックは、スーパーインテリジェンスを開発するうえで重要になるはずだ。しかし、スーパーインテリジェンスが到達可能だという点には同意する。
「単一の集中」がプロダクトサイクルや管理上のオーバーヘッドをなくす、という説明には補足が必要だ。
安全なスーパーインテリジェンスが、制約のないスーパーインテリジェンスと競争できるのか気になる。ほかの企業が安全性に時間を割かずに同じ目標を追うなら、競争できるのか疑問だ。
Yann LeCunが、LLMを使って「真の」知能を構築するという考えを退けるインタビューを見た。彼は博士課程の学生たちに、この技術ではなく次の技術を研究するよう勧めている。これをIlyaが今やっていることとどう整合させられるのか気になる。Ilyaが別の技術を使うつもりなのかも気になる。