NumPy 60行でGPTを実装する

xguru · 2023-02-13T10:03:02+09:00

Python と NumPy に慣れていることを前提に、シンプルに GPT を実装し、OpenAI が公開した GPT-2 モデルをロードしてテキスト生成を試すチュートリアル目次 GPT とは何かセットアップ : Encoder、Hyperparameters、Parameters Basic Layers : GeLU、Softmax、Layer Normalization、Linear GPT アーキテクチャ Embeddings Decoder Stack Vocab への射影 Decoder Block Position-wise Feed Forward Network Multi-Head Causal Self Attention すべてを組み合わせる What's Next? GPU/TPU Support Backpropagation Batching Inference Optimization Training Evaluation Architecture Improvements

(jaykmody.com)

32 ポイント投稿者 xguru 2023-02-13 | まだコメントはありません。 | WhatsAppで共有

Python と NumPy に慣れていることを前提に、シンプルに GPT を実装し、OpenAI が公開した GPT-2 モデルをロードしてテキスト生成を試すチュートリアル

GPT とは何か
セットアップ : Encoder、Hyperparameters、Parameters
Basic Layers : GeLU、Softmax、Layer Normalization、Linear
GPT アーキテクチャ
- Embeddings
- Decoder Stack
- Vocab への射影
- Decoder Block
- Position-wise Feed Forward Network
- Multi-Head Causal Self Attention
すべてを組み合わせる
What's Next?
- GPU/TPU Support
- Backpropagation
- Batching
- Inference Optimization
- Training
- Evaluation
- Architecture Improvements

NumPy 60行でGPTを実装する

目次

関連記事

まだコメントはありません。