イリヤ・サツケバー: 「これらをすべて学べば、重要なことの90%は理解できるでしょう」

 (reddit.com)
6 ポイント 投稿者 GN⁺ 2024-05-19 | 3件のコメント | WhatsAppで共有

イリヤ・サツケバーが機械学習/AI関連で推薦したリーディングリスト

  • The Annotated Transformer
  • The First Law of Complexodynamics
  • The Unreasonable Effectiveness of RNNs
  • Understanding LSTM Networks
  • Recurrent Neural Network Regularization
  • Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
  • Pointer Networks
  • ImageNet Classification with Deep CNNs
  • Order Matters: Sequence to sequence for sets
  • GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
  • Deep Residual Learning for Image Recognition
  • Multi-Scale Context Aggregation by Dilated Convolutions
  • Neural Quantum Chemistry
  • Attention Is All You Need
  • Neural Machine Translation by Jointly Learning to Align and Translate
  • Identity Mappings in Deep Residual Networks
  • A Simple NN Module for Relational Reasoning
  • Variational Lossy Autoencoder
  • Relational RNNs
  • Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
  • Neural Turing Machines
  • Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
  • Scaling Laws for Neural LMs
  • A Tutorial Introduction to the Minimum Description Length Principle
  • Machine Super Intelligence Dissertation
  • PAGE 434 onwards: Komogrov Complexity
  • CS231n Convolutional Neural Networks for Visual Recognition

リンク集: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

関連記事

3件のコメント

 
lemonmint 2024-05-19

Neoのボットクローリング問題があるようですね。
 
xguru 2024-05-20

Redditでブロックされているようです。手作業で入れておきました ;)
 
GN⁺ 2024-05-19
Hacker Newsの意見

Hacker Newsコメントまとめ要約

  • 見出しはこの作業の範囲を実態より小さく見せている。中身を見に行くと、次のようなものが含まれている:

    • 1つは畳み込みニューラルネットワークに関するフルコース リンク
    • 1つは500ページの教科書 リンク
    • 別の1つは80ページの教科書 リンク
    • この一覧を専業で1年ほど勉強すれば可能かもしれない。優先順位次第では価値があるかもしれない。

  • 少し前に自分もこの一覧を リンク にコピーしたので、wget しやすくなっている（たとえば arXiv の PDF をまとめて取得できる）

    • wget コマンドを使ってすべての arXiv PDF をダウンロードできる。
    • 友人と一緒に pdfunite を使って1つの PDF に結合し、印刷所でスパイラル製本してもらった。仕上がりはとても良かった。

  • これは実際の一覧だという確認が取れていない点に注意。

    • この一覧が本物の一覧かどうかは確認されていない。
    • これは1年前に Ilya が John Carmack に渡した一覧だと言われている。

  • すでに CS のバックグラウンドがない場合、これらを学ぶ前提知識を身につけるのにどれくらいかかるのか？

    • 一覧を読んでみたが、半分くらいのタイトルは理解するのも難しかった。
    • この一覧を始めれば理解できるようになるのか、それとも別のところから始めるべきなのか気になる。

  • 人々が忘れがちなのは、適切で具体的な目標がなければ、どれだけ重要な論文や面白い論文を読んでも結局何も覚えていないということだ。

    • 明確で具体的な目標がなければ、いくら多くの論文を読んでも記憶に残らない。

  • 2022年10月までさかのぼる過去の議論がいくつかある。この一覧が今ではどれほど古くなっているのか気になる。

    • この一覧がどれくらい古いのか気になる。2022年10月からいくつか議論があった。

  • これは単なる誰かのブックマークフォルダでは？ これが Ilya に推薦されたものだという証拠はどこにある？

    • この一覧が Ilya の推薦だという証拠はない。単に誰かのブックマークフォルダかもしれない。

  • これが ML で重要なことの90%だという主張は、少し大胆すぎるように思える。

    • この一覧が機械学習で重要なことの90%を占めるという主張は大胆だ。強化学習やグラフニューラルネットワークのような重要なトピックが抜けている。

  • ここには LLM について何もなく、in-context learning、retrieval augmentation、tool using、multi-modality のように本当に最前線で盛り上がっている分野が抜けている。

    • 一覧には大規模言語モデル（LLM）に関する内容がない。インコンテキスト学習、検索拡張、ツール使用、マルチモダリティのような重要なトピックが抜けている。

  • 30本の研究を読んだからといって「学び、理解した」ことにはならない。特にゼロから始めるならなおさらだ。

    • 30本の論文を読んだからといって「学んで理解した」という意味ではない。特にゼロから始める場合はなおさらだ。