- OpenAI CEOのSam Altmanは、ChatGPTを生み出した研究戦略はもはや有効ではなく、人工知能の今後の発展には新しいアイデアが必要だと述べた
- OpenAIは既存の機械学習アルゴリズムを拡張してGPT-4のような言語モデルを作り上げたが、今後はモデルの規模をさらに大きくするだけでは発展が難しいとしている
- GPT-4の開発には1億ドル以上が投じられ、物理的な限界によりデータセンター拡張にも制約がある
- GPT-4以後のAI研究の方向性
- Cohereの共同創業者Nick Frosstも、モデルの規模拡大だけでは限界があるという点に同意している
- 新しいAIモデル設計（アーキテクチャ）や、人間のフィードバックを通じたファインチューニングなどが有望な研究の方向性になり得る
- GPTシリーズモデルの発展過程
- 2019年に発表されたGPT-2は、15億個のパラメータを持つ大規模モデルだった
- 2020年のGPT-3は1,750億個のパラメータへと大幅に拡大し、これをきっかけに他社や研究機関も同規模モデルの開発を推進するようになった
- GPT-4の正確な規模は公開されていないが、単純なスケール拡大に加えて、人間のフィードバックによる強化学習などの手法が使われたと推測される
- GPT-4の登場による社会的影響と論争
- GPT-4の驚異的な能力は専門家たちを驚かせ、AIが経済を変え、雇用を奪う可能性があるという懸念を生んでいる
- イーロン・マスクなど一部の専門家や起業家は、GPT-4より強力なAIの開発を6か月間停止するよう求める公開書簡を発表した
- Altman CEOは、現在OpenAIはGPT-5を開発しておらず、当面は開発する計画もないと明らかにした
GN⁺の見解
- GPT-4のような大規模言語モデルの開発には莫大な費用と計算資源が必要なため、これを継続的に拡張していくのは現実的に難しい。したがって、Altman CEOの発言のように新たな研究の方向性を模索する必要がありそうだ
- 人間のフィードバックによる強化学習など、モデル性能を高めるさまざまな手法が研究されているため、単なるモデル規模の拡大ではなく、アルゴリズムそのものの革新を通じてAIの発展が進むと予想される
- GPT-4のような強力なAIモデルの登場により、社会全体に大きな変化が予想されるため、技術開発とあわせて、それに伴う倫理的・法的問題について社会的合意を模索する努力も必要になりそうだ
- AI技術が急速に発展する中で、雇用代替などの副作用への懸念が提起されている一方、新たな雇用創出や生産性向上の機会もあるため、長期的な視点で対応策を模索する必要がある
- 大規模AIモデル開発で中小スタートアップが競争力を持つのは容易ではないため、特化分野でのイノベーションや開発プラットフォームの提供など、新たなビジネスモデルを模索する必要がありそうだ
2件のコメント
昨年4月のインタビュー記事です。実に1年前のものなので、合っていない部分もかなりあります
要約を読んでいて、いつの話をしているんだろうと思ったら、1年前の記事でしたね（笑）