CS 886: ファウンデーションモデルの最新研究動向

• 「カナダのMIT」と呼ばれるウォータールー大学のAI講義の一つ
• 各チャプターに説明スライド、YouTube講義動画、参考リンクを含む
• トピックと参考文献リストだけでも良い参考資料になりそう

講義目次

Introduction to Foundation Models

1. Foundation Model の紹介
2. 授業案内
3. RNN & CNN
4. NLP & CV

Transformer Architecture

5. Self-Attention & Transformer
6. Efficient Transformer
7. Parameter-Efficient Tuning
8. Language Model Pretraining

Large Language Models

9. Large Language Model
10. Scaling Law
11. Instruction Tuning & RLHF
12. Efficient LLM Training
13. Efficient LLM Inference
14. Compress and Sparsify LLM
15. LLM Prompting

(Large) Multimodal Models

16. Vision Transformer
17. Diffusion Model
18. Image Generation
19. Multimodal Model Pre-training
20. Large Multimodal Model

Augmenting Foundation Models

21. Tool Augmentation
22. Retrieval Augmentation