State of GPT［42分動画］

• Andrej KarpathyがBuild 2023で発表した内容
• 2つのパートで構成
  • (Chat)GPTアシスタントを訓練する方法
  • このアシスタントを自分のアプリケーションに適用する方法
• Tokenization、Pretraining、Supervised Finetuning、Reinforcement Learning from Human Feedback などについて幅広く説明し、
  プロンプト戦略やさまざまなエコシステムツール、将来的な拡張まで紹介

[kuroneko]

要約すると、こうなりますね。

• GPTのような大規模言語モデルは、大量のテキストデータに対する事前学習段階と、特定のタスクに対するファインチューニングによって学習されます。
• 事前学習では、一般的な言語表現を学習するために、シーケンス内の次の単語を予測します。ファインチューニングでは、モデルを特定のタスクに適応させます。
• プロンプティング(prompting)は、モデルに応答を生成させるためのプロンプト(prompt)を与えることで、ファインチューニングなしに言語モデルをタスクへ適用するためにも使えます。
• 教師ありファインチューニングでは、プロンプトと理想的な応答のラベル付きデータを用いて、アシスタントモデルを学習させます。
• 人間のフィードバックによる強化学習を行い、人間が高く評価する応答を生成するようアシスタントモデルを学習させることで、性能をさらに改善できます。
• モデルの作業過程を段階的に示したり、例を与えたりするプロンプトエンジニアリングの手法は、言語モデルの性能を向上させることができます。
• 言語モデルには、人間が持つ内部モノローグや推論能力が不足しているため、プロンプティングがそれを補う必要があります。
• 言語モデルに外部ツール、計算機、知識ベースへのアクセス権を与えると、性能を向上させることができます。
• 特定のタスクのために言語モデルの一部をファインチューニングすることは性能向上につながりますが、より複雑です。
• バイアス、推論エラー、攻撃に脆弱であるといった、言語モデルのさまざまな制約は依然として存在します。

[xguru]

https://www.youtube.com/watch?v=bZQun8Y4L2A
同じ動画は YouTube にもありますが、Microsoft のサイトでは AI による日本語字幕が提供されているため、そちらを掲載します。