- カーネギーメロン大学（CMU） が開講するこの講義は、現代の人工知能システムの動作原理を扱う入門コース
- 機械学習と大規模言語モデル（LLM） を中心に、ChatGPT・Gemini・Claude のようなシステムの基盤技術を学ぶ
- 受講者は 基礎的な教師あり学習、ニューラルネットワーク、トランスフォーマー、事後学習（post-training） を習得し、オープンソース LLM を自ら実装できる
- オンライン版は 無料で提供され、CMU の授業より 2 週間遅れのスケジュールで講義動画と課題が公開される
- AI ツールの利用は許可されるが、最終提出物は自分で作成することを推奨しており、これは学習理解度を高めるための方針
講義概要
- 本講義は 現代的な意味での人工知能（AI）、すなわち 機械学習と大規模言語モデル（LLM） を中心に構成されている
- ChatGPT、Gemini、Claude などのシステムの基盤技術を扱う
- LLM の基本実装は少数の機械学習手法と構造から成り、数百行のコードで記述できる
- 受講者は 教師あり学習、LLM、事後学習（post-training） の基本原理を学び、AI チャットボットを自ら実装できる
- 主なトピックは以下のとおり
- AI の簡単な歴史
- 教師あり学習: 線形モデル、損失関数、最適化、ニューラルネットワーク
- 大規模言語モデル: 自己アテンション、トランスフォーマー、トークナイザー、効率的推論
- 事後学習: 教師あり微調整、アラインメントと命令チューニング、推論モデル、安全性とセキュリティ
オンラインコース
- 無料オンライン版が CMU の授業と同時に開設され、CMU の日程より 2 週間遅れのコンテンツが提供される
- 講義動画、課題（mugrade システム）、Colab ノートブックなどが含まれる
- 小テスト、中間・期末試験はオンライン版には含まれない
- Enroll here から、講義や課題の公開時にメール通知を受け取れる
- TA、オフィスアワー、成績評価などは CMU の授業にのみ適用される
評価と履修要件
- 成績構成
- 課題およびプログラミング 20%
- 課題小テスト 40%
- 中間・期末試験 40%（各中間 10%、期末 20%）
- 必須履修要件
- プログラミング: Python ベースのオブジェクト指向プログラミングに習熟していること（15-112 または 15-122）
- 数学: 微分計算を含む基礎微積分（21-111 または 21-120）、線形代数・確率の基礎を推奨
課題とプログラミング
- 主な課題は AI チャットボットの段階的な実装を目標とする
- mugrade システムを通じて提出し、Colab および Marimo ノートブック版が提供される
- 一部の課題は前の課題の結果を基に進められる
- 課題一覧
- HW0: 自動採点とプログラミング基礎
- HW1: 線形代数と PyTorch
- HW2: 自動微分と線形モデル学習
- HW3: ニューラルネットワーク学習
- HW4: トランスフォーマー実装
- HW5: 最小構成の LLM 実装
- HW6: 教師あり微調整とチャットボット学習
- HW7: 強化学習
- 各課題の後には 15 分の小テストがあり、課題コードや概念に基づいて出題される
試験と講義日程
- 中間試験 2 回、期末試験 1 回で構成され、すべてオフラインのクローズドブック試験
- 中間 1: 教師あり学習
- 中間 2: 大規模言語モデル
- 期末: 累積評価（後半の比重が高い）
- 講義日程は学期中に更新され、オンライン版は 2 週間後に公開される
- 例: 1/12「AI の歴史」、1/28「線形モデル」、2/16「中間試験 1」、3/18「中間試験 2」、4/20「HW7 締切」など
AI ツール使用ポリシー
- AI アシスタントの使用を許可: 課題やプログラミング時に AI ツールを参考として利用できる
- ただし、最終提出物は自分で作成することを強く推奨する
- 授業中の評価（小テスト・試験）では AI および外部資料の使用は禁止
- ポリシーの目的は学習効率の向上にある
- AI は学習補助として有用だが、過度な依存は理解度の低下につながる可能性がある
- 自力で課題を解いた学生のほうが、小テストや試験でより良い成果を出す傾向がある
1件のコメント
Hacker Newsのコメント
AI科目のポリシーを見ると、課題やプログラミング宿題ではAIアシスタントの利用を認めているが、最終提出物は自分で作成することを推奨している
授業中の小テストや試験では、AIや外部資料の使用は禁止されている
理由は、AIは学習ツールとしては有用だが、過度な依存は学習を妨げる可能性があるため
自力で問題を解決した学生のほうが、試験ではるかに良い成績を収めるという経験的根拠がある
学生がどうせAIを使うことは分かっているが、学ぶ意志と自己成長を信じるという点が核心
以前、似たようなコースを手伝ったことがあるが、AIがデバッグを手伝ってくれていれば、学生たちはより多くの内容を扱い、CUDA実装のような面白い部分に集中できただろう
今回の新しい授業は本当に興味深そうで、Zico教授は素晴らしい教師だ
AIで理解の速度を上げ、最後はAIなしで評価される構成は、学習を定着させるのに良い
当時は不公平だと感じたが、今思えばとても公平な方法だった
今の時代により適したアプローチだと思う
この科目の講師はOpenAIの取締役会メンバー
関連記事: Zico Kolter joins OpenAI’s board of directors
「modern AI」がLLMだけを指しているのは残念
現代AIはもっと広い分野を含むのに、タイトルだけ見てもっと多様なSOTAモデルを期待していた
それでもCMUの講義はたいてい素晴らしいので、良いコースだとは思う
もし他の分野まで扱う資料があるなら、ぜひ知りたい
数日前から無料版で受講しているが、課題システムが本当に素晴らしい
ローカルで直接テストを実行できるので、ただ講義を聞くだけよりもずっと学習しやすい
10点満点で10点のおすすめ
個人のコンピュータで行うのか、それともクラスターへのアクセス権が提供されるのか知りたい
この講義が良いコースなのか気になる
あるいは、LLMの仕組みを体系的に学ぶための他のおすすめコースがあるのか聞きたい
実際にすべての課題をこなしながら授業を追っている人に聞きたい
現実的に、完走するには週に何時間くらい必要なのか気になる
ポストモダンAIが出てくるのを待っている
記号的推論(symbolic reasoning) に関する内容がないのは残念
講義と一緒に読める教科書の出版を期待している
出たらすぐ買うつもり
LispとPrologの復活を見ることになってうれしい
それでもLispとPrologは今なお有用だ
ニューラルネットワークをゼロから実装するならCが適していて、Pythonでサブシステムをつなげば十分に複雑なシステムを作れる
ずっと独自の領域で静かに存在し続けてきた