Hugging Face共同創業者が勧めるAI分野の入門書

 (thomwolf.io)
52 ポイント 投稿者 xguru 2024-05-21 | 4件のコメント | WhatsAppで共有
  • 共同創業者でありCSOでもあるThomas Wolfは、物理学と法学を専攻
  • 彼が2016〜17年にNLP/AI/ML分野に入る際に読んだ読書リスト
    • つまり、ChatGPT/Transformer/Diffusionの革新以前である点に注意
  • "Deep Learning（深層学習）" は、現在のツールの概要を素早くつかむのに良い資料
  • "Artificial Intelligence: A Modern Approach（人工知能: 第4版 - 現代的アプローチ）" は、ニューラルネットワーク以前のあらゆるツールと手法についての優れた資料
  • "Machine Learning: A Probabilistic Perspective（マシンラーニング）" は、確率的アプローチをより深く掘り下げ、ベイズ的ツールにしっかり触れるのに優れた資料
  • "Information Theory, Inference and Learning Algorithms" は、確率と情報理論をほとんど信じられないほど明快に説明する珠玉の一冊
  • "The Book of Why: The New Science of Cause and Effect" は、因果関係への良い入門書
  • "Reinforcement Learning: An Introduction(しっかり学ぶ強化学習)" は、強化学習の入門的な紹介を得るのに優れた資料
  • 自然言語処理についての3つの優れた資料も興味深かった
  • いくつかのオンラインコースでこれを補完
  • Transformerと大規模学習の革命以後にこの分野へ入るなら、おそらく別の道筋をたどりたくなるはず
    • 2024年時点でのいくつかの助言:
      • NLPとTransformerに関する私たちの本 Natural Language Processing with Transformers を読むこと。ChatGPT以前の本だが、今でも非常に関連性が高く、最後にはLLMの学習まで扱っている
      • 著名な研究者たちによるディープラーニングのオンライン授業をいくつか受けること
      • 今でも上のリストから一般教養のために数冊読む価値があり、特に "Information Theory, Inference and Learning Algorithms" は今なお珠玉の一冊だと思う
      • 実践を通じて学ぶためにHugging Faceに参加すること :)

関連記事

4件のコメント

 
ninebow 2024-05-22

名前にどこか見覚えがあると思って調べてみたら、3月末ごろにLLMモデル開発トレンドの動画を公開していたのを見たことがありましたね。（まだ最後までは見られていません…）

A Little guide to building Large Language Models in 2024というタイトルのYouTube動画で、LLM開発のためのデータ準備から学習・評価方法まで、幅広く扱っている動画です。
 
nuthatch 2024-05-21

<深層学習> - Ian Goodfellow、Yoshua Bengio、Aaron Courville http://aladin.kr/p/OLwph

<人工知能 1~2 - 全2巻> - Stuart Russell、Peter Norvig http://aladin.kr/p/g4yZY

<Machine Learning マシンラーニング> - Kevin Murphy http://aladin.kr/p/RGGL8

<Information Theory, Inference and Learning Algorithms (Hardcover)> - David MacKay http://aladin.kr/p/LFEp0

<The Book of Why: The New Science of Cause and Effect (Paperback)> - Dana Mackenzie、Judea Pearl http://aladin.kr/p/cLywB

<堅牢な強化学習> - Richard Sutton、Andrew Barto http://aladin.kr/p/3NQoU

Natural Language Processing with Representation Learning - Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…

<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R

<自然言語処理の定石> - Jacob Eisenstein http://aladin.kr/p/rPoLB
 
ninebow 2024-05-22

まとめてくださってありがとうございます！！
文章を転載しつつ、整理してくださった一覧もあわせて転載したのですが、もしご希望でなければ削除いたします。🙇‍♂️

https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439/2
 
nottiger 2024-05-22

ありがとうございます（泣）