30 Papers - イリヤ・サツケヴァー推薦のAI重要論文リスト要約

 (30papers.com)
21 ポイント 投稿者 baeba 4 시간 전 | 2件のコメント | WhatsAppで共有
  • イリヤ・サツケヴァーがジョン・カーマックに推薦したとされるAIの重要論文リストをもとに、機械学習の主要論文を初心者でも追いやすくまとめたサイト
  • リストはディープラーニング、コンピュータビジョン、系列モデリング、アテンション、Transformer、グラフニューラルネットワーク、スケーリング則、情報理論、複雑性理論など、現代AIの主な発展の流れをたどる
  • 論文を列挙するだけでなく、講義ノートや解説記事、コードベースの説明もあわせてまとめ、原論文に入るハードルを下げている
  • 現代の大規模言語モデルとディープラーニングシステムを理解したい読者は、アーキテクチャ・学習手法・複雑性理論の出発点を一か所で概観できる
  • もともとは30本の論文リストとして知られているが、現在のWebサイトには27項目のみが整理されている

はじめに

AI発展の重要資料を整理したリスト

  • このWebサイトは、AI研究の主要な転換点を生み出した論文と学習資料を集めたプロジェクトである。
  • リストは、イリヤ・サツケヴァーがジョン・カーマックに推薦したという噂をもとに構成されている。
  • Webサイトの作者は、全30本の論文のうち現在27本だけを確保していると述べている。
  • 各項目には、論文タイトル、要点の要約、主な貢献者の情報が含まれる。
  • 資料の目的は、現代AI技術の基盤となったアイデアを一目で把握できるよう整理することにある。

本文

コンピュータビジョンと畳み込みニューラルネットワークの発展

  • CS231n: Convolutional Neural Networks for Visual Recognition

    • 畳み込みニューラルネットワークを基礎から説明する教育資料である。
    • 線形分類器から深層画像認識モデルまで段階的に扱う。
    • コンピュータビジョン分野でCNNを学ぶための入門資料として機能する。

  • ImageNet Classification with Deep Convolutional Neural Networks

    • AlexNetの論文で、ImageNetコンペティションで大きな性能差をつけて優勝した。
    • 大規模画像分類における深層畳み込みニューラルネットワークの有効性を実証した。
    • 現代ディープラーニング時代を切り開いた代表的な論文と評価されている。

  • Deep Residual Learning for Image Recognition

    • ResNetの論文で、残差接続を導入した。
    • ネットワークが全体の変換ではなく、入力に対する変化量を学習するよう設計した。
    • 数百層規模の深いニューラルネットワークの学習を可能にした。

  • Identity Mappings in Deep Residual Networks

    • ResNetの後続研究で、恒等shortcutが有効な理由を分析した。
    • pre-activation residual blockを提案し、残差ネットワーク構造を改善した。
    • 深いネットワークの最適化の安定性と性能向上に貢献した。

  • Multi-Scale Context Aggregation by Dilated Convolutions

    • dilated convolutionによって解像度を失わずに受容野を拡大する方法を提示した。
    • 画像セグメンテーションなどのdense predictionタスクで文脈情報をより広く活用できるようにした。
    • 細かな空間情報を保ちながら、広範囲の特徴を反映することに貢献した。

系列モデルと長期依存性問題の解決

  • The Unreasonable Effectiveness of Recurrent Neural Networks

    • 文字単位RNNでテキスト生成を実験した実践的なブログ記事である。
    • RNNがデータ内の構造とパターンをかなり捉えられることを事例で示している。
    • 系列データモデリングの可能性を直感的に説明している。

  • Understanding LSTM Networks

    • LSTMのゲート構造と情報伝達の仕組みを視覚的に説明した資料である。
    • 長いシーケンスで情報を保持する原理を理解することに焦点を当てている。
    • LSTMを初めて学ぶ人に広く利用される入門資料である。

  • Recurrent Neural Network Regularization

    • LSTMにdropoutを適用する適切な方法を提示する。
    • recurrent connectionではなくnon-recurrent connectionにdropoutを適用すべきだと説明する。
    • 大規模なリカレントニューラルネットワークの過学習を減らすことに貢献した。

  • Order Matters: Sequence to Sequence for Sets

    • sequence-to-sequenceモデルにおいて、入力と出力の順序が性能に与える影響を分析した。
    • 本質的には集合であるデータを系列モデルで処理する際に生じる問題を扱う。
    • 順序を持たないデータ構造をモデル化する方法についての議論を提供している。

アテンションとTransformerへつながる構造的転換

  • Neural Machine Translation by Jointly Learning to Align and Translate

    • 機械翻訳でアテンション機構を導入した重要論文である。
    • モデルが1つの固定要約ベクトルに依存せず、関連する原文の単語を直接参照できるようにした。
    • その後の自然言語処理モデル構造の変化における重要な基盤となった。

  • Pointer Networks

    • 出力が入力の特定位置を指すように設計されたsequenceモデルである。
    • 正解が入力要素の選択や整列として表される問題に適している。
    • 組合せ最適化と構造的予測問題に活用できるモデル構造を提示した。

  • Attention Is All You Need

    • Transformerアーキテクチャを提案した論文である。
    • recurrenceを取り除き、self-attentionだけで系列データを処理した。
    • 現代の大規模言語モデルの中核的な構造基盤となった。

  • The Annotated Transformer

    • Transformer論文を、実行可能なコードとともに行単位で説明した資料である。
    • 原論文の構造を実装の観点から理解できるよう支援する。
    • 研究論文と実務実装の間のギャップを縮める学習資料として機能する。

メモリ、関係推論、グラフ構造学習

  • Neural Turing Machines

    • ニューラルネットワークに読み書き可能な外部メモリを結合したモデルである。
    • 微分可能なattentionを通じてメモリを制御する。
    • 例示データから単純なアルゴリズムを学習できる可能性を提示した。

  • A Simple Neural Network Module for Relational Reasoning

    • relation networkを提案した論文である。
    • オブジェクトのペア間の関係を推論できるモジュールをニューラルネットワークに追加する。
    • 視覚的推論と関係ベースの問題解決に有用な構造を提示した。

  • Relational Recurrent Neural Networks

    • recurrent networkにself-attentionベースのメモリを結合した。
    • 保存されたメモリ同士が相互作用できるよう設計した。
    • 時間に沿った関係推論が必要なタスクでの性能向上を目指している。

  • Neural Message Passing for Quantum Chemistry

    • グラフニューラルネットワークをmessage passing frameworkとして統合的に説明した。
    • 分子構造の性質予測にグラフベースの学習を適用した。
    • グラフニューラルネットワーク研究の構造的基盤を整理した論文と見なせる。

大規模モデル学習とスケーリング則

  • Scaling Laws for Neural Language Models

    • 言語モデルの損失が、モデルサイズ、データ、計算量に応じて一定のpower lawの形で減少することを測定した。
    • 大規模モデルを構築する経験的根拠を提供した。
    • その後の大規模言語モデル開発戦略における重要な基準となった。

  • GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism

    • 巨大ニューラルネットワークを複数のデバイスに分割して学習するpipeline parallelismの方法を提示した。
    • デバイス間の作業を効率よく分散し、大規模モデル学習を実用化した。
    • モデルサイズ拡大に必要な学習インフラ面の解決策を提供した。

  • Deep Speech 2: End-to-End Speech Recognition in English and Mandarin

    • 英語と中国語の音声認識をend-to-end方式で処理したシステムである。
    • connectionist temporal classificationを活用して音声シーケンスを学習した。
    • 異なる言語環境でも拡張可能な音声認識モデルの可能性を示した。

情報理論、圧縮、複雑性の観点からの学習理解

  • Keeping Neural Networks Simple by Minimizing the Description Length of the Weights

    • ニューラルネットワークの汎化を重みの記述長と結びつけて解釈した初期研究である。
    • 良いモデルは少ないビットで説明可能な重みを持つという観点を提示した。
    • 圧縮と汎化の関係を情報理論的に説明している。

  • A Tutorial Introduction to the Minimum Description Length Principle

    • 最小記述長原理を紹介するチュートリアル資料である。
    • 学習を、データを最も短く説明するモデルを探す過程として解釈する。
    • モデル選択と圧縮ベースの学習理解に必要な基本概念を提供する。

  • Kolmogorov Complexity

    • 文字列を生成する最短プログラムの長さを扱う理論である。
    • description lengthとalgorithmic randomnessの形式的基盤を提供する。
    • AIモデルの圧縮、汎化、複雑性に関する議論と結びつく。

  • The First Law of Complexodynamics

    • 閉じたシステムで複雑性がなぜ増加した後に減少するのかを説明する法則を探究した文章である。
    • 複雑性を単にエントロピーと同一視せず、別の動力学的特性として扱う。
    • 複雑なシステムの時間的変化に関する概念的な問いを提起している。

  • Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton

    • コーヒーとクリームが混ざる過程をセル・オートマトンでモデル化した研究である。
    • システムが平衡状態へ移行する過程で、複雑性が増加してから減少する現象を分析する。
    • 複雑性の時間的変化を定量化しようとする試みを示している。

生成モデルと普遍的知能の概念

  • Variational Lossy Autoencoder

    • 変分オートエンコーダとautoregressive decoderを結合したモデルである。
    • latent codeがどの情報を保持すべきかを制御する方法を提示する。
    • 生成モデルにおける表現学習と情報保持のバランスを扱う。

  • Machine Super Intelligence

    • 機械知能の普遍的な測定方法を提案した博士論文である。
    • 非常に強力なエージェントの性質と帰結を理論的に探究する。
    • 汎用人工知能と超知能に関する議論の形式的基盤の一つと見なせる。

まとめ

現代AIの主要な発展経路を圧縮した参考リスト

  • このリストは、現代AIの発展を牽引した主要な概念を技術の流れごとに整理している。
  • 初期のコンピュータビジョンモデルから始まり、RNN、LSTM、attention、Transformer、scaling lawsへと続く構造的変化を示している。
  • ニューラルネットワークの最適化、大規模学習、グラフ構造学習、情報理論、複雑性理論まで幅広く含んでいる。
  • 単一分野の論文リストではなく、現代AIを理解するための多層的な学習経路に近い。
  • AI研究者や開発者にとって、技術の歴史的文脈、基本原理、研究の方向性をあわせて把握できる基礎資料として活用できる。

関連記事

2件のコメント

 
GN⁺ 2 시간 전
Hacker News の意見

  • この記事がここまで注目されるとは思っておらず、もともとは友人たちが研究論文を読むことに入門できるよう手助けする小さなプロジェクトのつもりだった。
    背景とアニメーションが強すぎるというフィードバックが多く、使いやすさより見た目の格好よさに寄りすぎていたのだと思う。
    そこで、ページの動きと論文の背景をそれぞれオフにできるトグルを追加した。
    各論文についてもっと個人的な感想がほしいという意見もあったが、人気のある論文の一部についてはすでに X の @notmcrowley に書いてある。
    役に立つならサイトに追加できるが、ML や AI を正式に学んだわけではないので、解釈はあくまで個人的なもので、間違っている可能性もある。
    もっと経験のある人が貢献したいなら連絡してくれてよい。

    • Twitter を使ったこともなく、今後もアカウントを作るつもりがない人のために、そうした個人的な感想をサイトに追加してくれるとありがたい。
      友人たちと同じように研究論文を読むことに入門しようとしているところなので、このまとめは今まさにぴったりの資料だ。

  • 誰かが X に「これが Ilya の30本の論文だ」と投稿したが、出典もなく、どこから持ってきたのかも明かしておらず、Ilya や Carmack とつながりのある人物でもない。
    それを基に誰かがバイブコーディングで、かろうじて使えるウェブサイトを作り、それが HN のトップページに載った、という状況で合っているのか？

    • コンピュータサイエンス1年生があるトピックに興味を持ち、論文まとめサイトを小さく作って、他の人と共有しようと HN に投稿したということ。
      そして誰かが、あまり感じのよくないコメントを付けている状況で合っている。
    • ギーク向けの資料まとめなんて、ほとんど釣りみたいなものだ。
      ブックマークして推薦を押して、そのまま二度と見なくなるやつだ :)
    • サイトには出典がある程度書かれている。
      「Ilya Sutskever が John Carmack に渡したとうわさされている論文リスト」となっている。
      Manning にも Ilya リストという本がある。
      https://www.manning.com/books/sutskevers-list
    • また別の反対論者が現れたね。もう十分足りているのに。

  • 作者です。Trinity College Dublin のコンピュータサイエンス1年生で、研究論文を読むことに入門したとき、他の人もすでに尋ねていそうな質問をするために Claude の使用量を大量に消費した経験があったので作った。
    サイトは単なるサイドプロジェクトで、確かにまだ進行中の作業だ。
    質問に答えたり、GitHub で PR を受け付けたりできる。

    • アニメーションをオフにして論文リンクをシンプルな一覧で表示するオプションがあると便利そう。
    • サイトの目的が何なのか聞けると興味深い。
      単にリストを再ホストし、論文を新しい形式に移しただけなのか気になる。
      少なくとも各論文について学んだことを注釈として付けているものだと思っていた。

  • 推奨される、あるいは論理的な読む順序で整理されているとよい。
    例えばアテンション機構を紹介した論文は “Attention Is All You Need” より前に来るべきだと思う。

    • 同意。論文が論理的な読む順序になっているなら、そのことを一番上に明記しておくと非常に役立つ。

  • このリストを有名にした元の X 投稿かもしれない。2024年に投稿され、87.6万ビューを得ている。
    https://x.com/keshavchan/status/1787861946173186062
    実際に Ilya が作ったリストかどうかは、大きく論じる価値はないと思う。
    多くの論文は教材として広く認められており、例えば annotated transformer、unreasonable effectiveness of RNNs、understanding LSTM networks がある。
    ほかのものは、この分野に関心がある人なら読めば得るものがある代表的な論文だ。Krizhevsky et al. (2012) は AlexNet を、Bahdanau et al. (2014) はアテンションを、He et al. (2015) は ResNet を、Vaswani et al. (2017) は Transformer を紹介した。
    残りの論文はより専門的だが、その中では OpenAI の Kaplan et al. (2020) がたぶん最も重要だと思う。

  • 初心者で論文を読むことに慣れていないなら、Welch Labs Illustrated Guide To AI を勧める。
    美しい本で、読んでいて楽しかった。
    その後でこれらの論文を読むと、より深く理解できると思う。

  • 最初は「Ilya が書いた上位30本の論文」だと思い、「Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton」がなぜリストにあるのか少し混乱した。
    「ウェブサイト版を最初から最後まですべて読んだわけではない」という文言についても、ウェブサイト版というのが実際の本文なのか「解説」なのか不明だ。
    どちらにせよ大きな危険信号に見える。

  • このリストを初めて見た後、これらの論文を聴くために PdfToMp3 を作った。
    今では ListenDock に発展している。
    面白いのは、PdfToMp3 は NotebookLM より前からあり、すでに「概要」もあったが、当時は教師による説明と呼んでいたことだ。
    「Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton」という論文の “Teacher Explanation” の例はこちら。
    https://listendock.com/e/quantifying_the_rise_and_fall_of_co...

    • ここに何か投稿するたびに、なぜダウンボートされるのか分からない。
      あまりにもスパムっぽいからなのか、AI だからなのか、自分を追いかけているダウンボートボットがいるのか気になる。

  • コルモゴロフ複雑性に関する理論論文が目立つ。
    なじみのない人のために言うと、Ilya は、ニューラルネットワークが汎化する理由、つまりそもそも機能する理由は、学習データを単純に説明する方法を実質的に見つけ出し、コルモゴロフ複雑性の限界に収束するからだと主張している [1]。
    [1] https://www.youtube.com/watch?v=AKMuA_TVz3A

    • それはあらゆる統計モデルに当てはまる話であって、ニューラルネットワークだけの魔法のような性質ではない。

  • リストの見せ方がよい。
    これらの論文を読む前、または読んでいる途中で Ilya の講演やポッドキャストをいくつか見ると、全体像と各研究がどうつながっているのかを把握する助けになりそう。
    https://www.dwarkesh.com/p/ilya-sutskever
    https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
    https://www.dwarkesh.com/p/ilya-sutskever-2
 
jung5966 2 시간 전

現代のLLM/AIに入門するうえで学べる資料のリストを提供していただき、ありがとうございます。

-> CNNは空間を読み取る方法を、RNN/LSTMは時間を記憶する方法を、attentionは必要な情報を探し出す方法を、Transformerはそのプロセスを並列化する方法を、GNN/Relation/Memory系はオブジェクト間の関係を計算する方法を、scaling/infrastructure論文はそれを大規模に訓練する方法を、MDL/Kolmogorov/complexity系は、なぜ学習が圧縮と汎化の問題なのかを考える方法を示してくれます。

つまり、この27本の論文リストは、「知的システムは、優れたinductive bias、安定した情報フロー、選択的記憶、関係計算、大規模学習、そして圧縮可能な構造の発見が組み合わさったときに強くなる」という観点を、さまざまな角度から示す資料群です。