超大型AI NLPモデルはどこへ向かっているのか？

現状

• Google I/Oで発表されたLaMDA、MSが独占ライセンスを購入したGPT-3、Facebookが翻訳およびコンテンツ管理向けに独自開発したLLM（Large Language Model）など、巨大企業がそれぞれ独自の超大型NLPモデルを開発中

• それぞれ非公開で作られているモデルが実生活で活用される際、LLMの欠陥が人々にどのような影響を与えるのか、どのような問題があり、それを解決できるのかについての研究はほとんど存在しない状況。

• 昨年12月、Googleは倫理的AI（Ethical AI）部門の共同責任者ティムニット・ゲブル（Timnit Gebru）を解雇し、問題はさらに深刻化した

新たな試み

• Hugging Faceが主導するBigScienceプロジェクトには、世界中から500人を超える研究者が集まり、オープンソースLLMの構築に向けて取り組みを加速させている。

• スーパーコンピュータのライフサイクルコスト（life-cycle costs）を考慮し、モデルの訓練と運用に伴うカーボンフットプリントを含め、LLMの環境への影響を測定する作業部会

• どのようにすれば責任ある形で訓練データを確保できるかを検討する作業部会

---

要約が難しくてうまくまとめられなかったのですが、

技術に対する不安と希望から「ベーシックインカム」というアジェンダが出てきたように、昨年登場したGPT-3への期待と懸念を受けて、「閉鎖的なAI開発への懸念」というアジェンダが表面化してきているようです。2050年ごろにこの文章をもう一度読み返してみたくなります。