イリヤ・サツケバーのNeurIPS講演 [ビデオ]

[GN⁺]

Hacker News の意見

• あるユーザーは、この発表には新しい点や有用な点が見当たらなかったと感じた。内容が宗教的で空虚だと考えている

• Ilya が Quoc Le の写真で発表を始めた点を肯定的に評価している。Quoc Le は 2012 年のニューラルネットワークのスケーリング論文の筆頭著者であり、このユーザーがディープラーニングに興味を持つきっかけになった

• Ilya の発言は謙虚で、公共の先行研究に基づいている一方、現在は大きなプロジェクトに取り組んでおり、想像力に富んでいると評価している

• 「推論のほうがより予測不可能だ」という Ilya の発言を重要だと考えている。有用な推論は本質的に予測不可能だと主張している

• パイプライン並列処理がなぜ悪いアイデアだったのかという疑問を呈している

• 発表の多くの部分が不要な内容で埋められていると感じた。過去 10 年の要約、スケーリング則の限界、エージェント、合成データ、計算資源の改善などが言及された

• Sutskever が「事前学習は終わるだろう」と述べた点を強調している。データの限界により、モデルの訓練方法が変化すると予測している

• インターネットデータの代わりに訓練に使う代替データとして、キュレーションされた合成データセットを提案している。著作権問題により大規模な独自データセットの利用は制限されるが、所有者自身が使う場合は法的問題を解決できる可能性があると説明している

• DeepMind のポッドキャストが今回の発表と似たテーマを扱っていたが、より興味深かったと評価している

• インターネットデータを有限資源になぞらえた点を肯定的に評価している。資源の限界を認識し、それに対処すべきだと主張している

• Transformer の「ニューロン」を実際の生物学的ニューロンと比較するのは驚きだと言及している。実際のニューロンは複雑な生化学的過程を含むが、Transformer は単純な線形層と非線形性を用いている

• LLM が Gemini Flash 8B を使って YouTube の元のトランスクリプトを修正した点に触れている