基礎原理から学ぶ学習理論 [PDF] (di.ens.fr) 1 ポイント 投稿者 GN⁺ 2024-03-04 | 1件のコメント | WhatsAppで共有 関連記事 コンピュータサイエンスと機械学習のための数学の基礎 [pdf] 3 ポイント · 3件のコメント · 2019-08-01 機械学習の視覚的入門（2015） 6 ポイント · 1件のコメント · 2026-03-16 数学とともに学ぶAI基礎 19 ポイント · 0件のコメント · 2020-09-17 ディープラーニングに関する科学的理論が現れるだろう 24 ポイント · 2件のコメント · 2026-04-26 Mathematics for Machine Learning [pdf] 3 ポイント · 0件のコメント · 2019-10-20 1件のコメント GN⁺ 2024-03-04 Hacker Newsの意見 ノーフリーランチ定理に触れるときは、実際にはそれほど障害にならないという但し書きも添えるべき データが現実世界から来ると仮定するだけでも、この定理が邪魔にならない程度には十分 この本はその点をまったく扱っていないが、ここでいう「すべての分布」とは、コイン投げで生成される可能なあらゆるビット列のようなものを、不連続関数の高次元空間へ一般化したものに近く、連続関数はそのごく小さな部分集合にすぎない、と説明してくれたらよかった 結局、データが「あらゆる可能性」の一様ランダム分布から来るなら、次のコイン投げの結果のようなものは学習して予測できない、という意味に近い その通り。この種のノーフリーランチ定理や、過度に一般的な仮定を置いた結果は、たいてい悲観的に見えすぎる たとえば多くの人は、停止問題やRiceの定理のせいで静的プログラム解析は不可能だと素朴に考えがち Humeの帰納の問題に似ている。仮定なしには、過去の観察を未来の予測に結びつけられない 太陽が千回朝に昇ったからといって、明日も昇る可能性が自動的に高くなったり低くなったりするわけではなく、時間が経っても出来事はおおむね似た形で続く、というような仮定を置く必要がある そうした仮定はデータから取り出せない。過去に似た形で続いていたとしても、未来については何も教えてくれない それでも科学はこの問題にもかかわらずうまく回っているし、機械学習も、人々がアルゴリズムを設計するときに経験と事前知識を使うため、うまく機能し続けている こうした仮定は帰納バイアスと呼ばれ、学習を「近いものはおおむね似ている」といった特定のパターンへ傾ける その但し書きがどう適用されるのかよく分からない。ノーフリーランチ定理は、ある問題が学習不可能だという意味ではなく、すべての問題クラスでうまく機能する単一のアルゴリズムはない、という意味だと理解している 証明に出てくる例は人工的かもしれないが、実際には追加の仮定に応じて別のアルゴリズムを選ぶ、ということではないのか？ 学習理論は、自然科学を意思決定まで形式化しようとする試み。自然科学の隠れた仮定は、十分に精巧なアルゴリズム的世界モデルによって、過去の観察から未来の観察を予測できるというもの これはSolomonoffが帰納推論を証明するときに置いた仮定と同じなので、Rissanenのいわゆる「普遍」符号化ではなく、チューリング完全な符号化から出発すべき 下位理論を作るときにその出発点から外れるのは構わないが、そこから始めなければ、過去50年にわたる「最小記述長原理」が正確に何を意味するのかをめぐる混乱のような、ろくでもない結果につながる ただし因果モデルを作ろうとしている場合は別。力学系をモデル化するには、チューリング完全なコードから離れることはできない 力学系を、非常に多くの状態を持つ有限状態機械と見ることはできるが、最適に圧縮されたコードを作るには、非常に大きいが有限個のフリップフロップやNOR、NANDのような汎用ゲートからなる有向循環グラフ上で実行される、チューリング完全な意味論が必要になる 二重降下の原因はもう分かったのか？ 一般化された結果なのかは分からないが、AnthropicのCircuitsチームがかなり説得力のある仮説を出している。最初の降下局面はモデルがデータポイントを丸暗記する段階で、2回目の降下局面は幾何学的に特徴を学習する方向へ移る段階だというもの ここでいう特徴は、抽象的で非常に高次元のベクトル空間と見なせる このチームは、1つのニューロンが複数の概念をエンコードする重ね合わせという考えを深く調べている 潜在特徴を明示的に表現したうえで小さなデータ次元集合へ圧縮するトイモデルとデータセットを実験し、重ね合わせを強制的に作り、学習データのサイズに応じてその重ね合わせがどう見えるかを示している 明らかにトイモデルだが、少なくとも重ね合わせを経験するモデルについては説得力のある考え方 https://transformer-circuits.pub/2023/toy-double-descent/ind... ごく最近、統計力学で二重降下を説明できると主張するブログ記事があった https://calculatedcontent.com/2024/03/01/describing-double-d... さらに詳しい内容はこちら: https://calculatedcontent.com/2019/12/03/towards-a-new-theor... 専門家ではないが、この論文は単純なモデルで二重降下を探っている 解釈はこう。過剰パラメータ領域へ拡張すると、小さいノルムの重みへ最適化でき、こうした重みはまた汎化性能が高い これが二重降下を一般に説明するのか、深層ニューラルネットワークのような他のモデルにも適用されるのかは、また別の問題 https://arxiv.org/pdf/2303.14151.pdf まだ分からない。個人的に好きな仮説は、確率的勾配降下法が文字どおり確率的だという点 学習コーパス全体ではなく、ごく小さな部分集合に対して最適化するので、勾配は正確ではない 過剰な学習が局所最適解を押し進め、局所的な過学習のくぼみを迂回する代わりに、実際の分布の方へ再帰的に進ませてくれる、という考え インターネットには、学界、教育者、エンジニアが書いた優れた数学PDFが無料で本当にたくさんある。問題は、内容の重複も非常に多いこと 重なり合う資料群を、重複なく一貫した1つのPDFへうまく統合してくれるAIモデルを作れるのか気になる その大学の講義で使われている本を選べば済むかもしれない AIモデルまでは必要ない。MurphyのProbabilistic Machine Learningは優れた参考書であり資料でもある 些細な揚げ足取りだが、タイトルが紛らわしい。最初の単語はMachine-LearningかStatistical-Learningに変えたほうが適切 できれば著者がいつかそう直してくれるといい 読むのはかなり難しい。たとえば第1章の最初のページで二次形式の最小化について述べ、線形最小二乗法の公式のように見えるものを示しているが、それが正しいのかどうかについての説明がまったくない 解説がもう少しあると助かりそう 練習問題が多い点は気に入った この記事は、ある程度の数学的背景がある人が学習理論を理解しようとするときに読むものとして想定されているように見える しかもその章は復習だとはっきり書かれているので、その内容はどこか別のところですでに学んでいる、またはこれから学ぶものだと仮定しているわけだ 第一原理から始めるからといって、読みやすいという意味ではない 兄弟コメントが言うように、この資料が初学者を対象にしていないのは明らか それでも直感は合っている。通常の最小二乗法の目的関数を書いてみると二次形式になる ここで「二次」という言葉の選択は偶然ではなく、二次関数を行列に一般化したもの その節は、二次関数を最小化することのベクトル版を扱っている 確かに第一原理から始まっているようには見えない 最小二乗法は二次式だ 二次とは、二乗項があるという意味 興味深い。このテーマについて良い本はある？ 面白い。時間がもっとあるときにざっと見てみたい ざっと見た感じでは、この本 [1] とかなり多くの内容を共通して扱っているように思える。両者がどう違うのか気になる [1]: https://www.cambridge.org/core/books/understanding-machine-l... 2014年に出た機械学習の本だなんて、今となっては古風で歴史的な感じがする GPT-5に「試してみたいアイデアがあるんだけど、この本を読んで、それをよりうまく動かすのに関係する内容があるか教えて」と言える日が楽しみ LLMが新しいアイデアを生み出したという話は聞いたことがない。すでに誰かが試したことのあるアイデアの場合にだけ可能なのでは？ $this に関するコンテキスト伝達が難しい部分なのだと気づきつつある ユーザーとしての自分のコンテキストを、少数の低次元の変数で説明するのはとても難しいし、自分自身も宇宙の中での自分の状況をAIに説明できるほど理解していない AIと共有している語彙も足りない。インターネットは、HTTPという共有プロトコルを通じて、合意された状態を一貫してやり取りすることに成功したように感じる たとえばUberの中では、電話番号、車両、GPS、現在時刻、決済といった狭いリクエスト・レスポンスの世界で状態を伝えられる しかし、アルゴリズムを学ぼうとする学生としての自分の年齢、インターネット利用環境、住んでいる場所、図解を好むこと、分厚い本に怯んできた履歴、CS50のようなマイルストーン、Pythonの習熟度といった複雑な情報をどう渡せばいいのかわからない スタートアップのアイデアも、「トラクションが低い」という言葉だけでは足りず、VC・開発者・営業ネットワーク、成功したパートナーシップの証拠、参加者数、売上といった状態を伝える必要がある 現実世界でも各自のコンテキストがあまりに異なるため、こうした語彙は小さなポケットの中にしか存在しない 知識がグローバルで永続的な変数のように存在すると仮定することも問題だ。地域によっては電気もなく、基本的な携帯電話すら持たない人が多く、AIが推薦したPDFが役に立つかどうかさえ、地域の権力構造やガバナンスに左右される 今後どう進化するかはわからないが、可能性を考えるだけでも面白い。コンピューターは私たちと簡単に会話でき、初日から賢い赤ちゃんのようだが、結局のところ、十分で適切かつ安価なデータを投入できないことが、有用性をさらに引き出すうえで本当のボトルネックなのかもしれない その本を自分で読めば、アイデアはもっと良くなるはず。その過程で新しく学ぶこともあるかもしれない
1件のコメント
Hacker Newsの意見
ノーフリーランチ定理に触れるときは、実際にはそれほど障害にならないという但し書きも添えるべき
データが現実世界から来ると仮定するだけでも、この定理が邪魔にならない程度には十分
この本はその点をまったく扱っていないが、ここでいう「すべての分布」とは、コイン投げで生成される可能なあらゆるビット列のようなものを、不連続関数の高次元空間へ一般化したものに近く、連続関数はそのごく小さな部分集合にすぎない、と説明してくれたらよかった
結局、データが「あらゆる可能性」の一様ランダム分布から来るなら、次のコイン投げの結果のようなものは学習して予測できない、という意味に近い
たとえば多くの人は、停止問題やRiceの定理のせいで静的プログラム解析は不可能だと素朴に考えがち
太陽が千回朝に昇ったからといって、明日も昇る可能性が自動的に高くなったり低くなったりするわけではなく、時間が経っても出来事はおおむね似た形で続く、というような仮定を置く必要がある
そうした仮定はデータから取り出せない。過去に似た形で続いていたとしても、未来については何も教えてくれない
それでも科学はこの問題にもかかわらずうまく回っているし、機械学習も、人々がアルゴリズムを設計するときに経験と事前知識を使うため、うまく機能し続けている
こうした仮定は帰納バイアスと呼ばれ、学習を「近いものはおおむね似ている」といった特定のパターンへ傾ける
証明に出てくる例は人工的かもしれないが、実際には追加の仮定に応じて別のアルゴリズムを選ぶ、ということではないのか？
学習理論は、自然科学を意思決定まで形式化しようとする試み。自然科学の隠れた仮定は、十分に精巧なアルゴリズム的世界モデルによって、過去の観察から未来の観察を予測できるというもの
これはSolomonoffが帰納推論を証明するときに置いた仮定と同じなので、Rissanenのいわゆる「普遍」符号化ではなく、チューリング完全な符号化から出発すべき
下位理論を作るときにその出発点から外れるのは構わないが、そこから始めなければ、過去50年にわたる「最小記述長原理」が正確に何を意味するのかをめぐる混乱のような、ろくでもない結果につながる
ただし因果モデルを作ろうとしている場合は別。力学系をモデル化するには、チューリング完全なコードから離れることはできない
力学系を、非常に多くの状態を持つ有限状態機械と見ることはできるが、最適に圧縮されたコードを作るには、非常に大きいが有限個のフリップフロップやNOR、NANDのような汎用ゲートからなる有向循環グラフ上で実行される、チューリング完全な意味論が必要になる
二重降下の原因はもう分かったのか？
ここでいう特徴は、抽象的で非常に高次元のベクトル空間と見なせる
このチームは、1つのニューロンが複数の概念をエンコードする重ね合わせという考えを深く調べている
潜在特徴を明示的に表現したうえで小さなデータ次元集合へ圧縮するトイモデルとデータセットを実験し、重ね合わせを強制的に作り、学習データのサイズに応じてその重ね合わせがどう見えるかを示している
明らかにトイモデルだが、少なくとも重ね合わせを経験するモデルについては説得力のある考え方
https://transformer-circuits.pub/2023/toy-double-descent/ind...
さらに詳しい内容はこちら: https://calculatedcontent.com/2019/12/03/towards-a-new-theor...
解釈はこう。過剰パラメータ領域へ拡張すると、小さいノルムの重みへ最適化でき、こうした重みはまた汎化性能が高い
これが二重降下を一般に説明するのか、深層ニューラルネットワークのような他のモデルにも適用されるのかは、また別の問題
https://arxiv.org/pdf/2303.14151.pdf
学習コーパス全体ではなく、ごく小さな部分集合に対して最適化するので、勾配は正確ではない
過剰な学習が局所最適解を押し進め、局所的な過学習のくぼみを迂回する代わりに、実際の分布の方へ再帰的に進ませてくれる、という考え
インターネットには、学界、教育者、エンジニアが書いた優れた数学PDFが無料で本当にたくさんある。問題は、内容の重複も非常に多いこと
重なり合う資料群を、重複なく一貫した1つのPDFへうまく統合してくれるAIモデルを作れるのか気になる
些細な揚げ足取りだが、タイトルが紛らわしい。最初の単語はMachine-LearningかStatistical-Learningに変えたほうが適切
できれば著者がいつかそう直してくれるといい
読むのはかなり難しい。たとえば第1章の最初のページで二次形式の最小化について述べ、線形最小二乗法の公式のように見えるものを示しているが、それが正しいのかどうかについての説明がまったくない
解説がもう少しあると助かりそう
練習問題が多い点は気に入った
しかもその章は復習だとはっきり書かれているので、その内容はどこか別のところですでに学んでいる、またはこれから学ぶものだと仮定しているわけだ
それでも直感は合っている。通常の最小二乗法の目的関数を書いてみると二次形式になる
ここで「二次」という言葉の選択は偶然ではなく、二次関数を行列に一般化したもの
その節は、二次関数を最小化することのベクトル版を扱っている
二次とは、二乗項があるという意味
興味深い。このテーマについて良い本はある？
面白い。時間がもっとあるときにざっと見てみたい
ざっと見た感じでは、この本 [1] とかなり多くの内容を共通して扱っているように思える。両者がどう違うのか気になる
[1]: https://www.cambridge.org/core/books/understanding-machine-l...
GPT-5に「試してみたいアイデアがあるんだけど、この本を読んで、それをよりうまく動かすのに関係する内容があるか教えて」と言える日が楽しみ
$thisに関するコンテキスト伝達が難しい部分なのだと気づきつつあるユーザーとしての自分のコンテキストを、少数の低次元の変数で説明するのはとても難しいし、自分自身も宇宙の中での自分の状況をAIに説明できるほど理解していない
AIと共有している語彙も足りない。インターネットは、HTTPという共有プロトコルを通じて、合意された状態を一貫してやり取りすることに成功したように感じる
たとえばUberの中では、電話番号、車両、GPS、現在時刻、決済といった狭いリクエスト・レスポンスの世界で状態を伝えられる
しかし、アルゴリズムを学ぼうとする学生としての自分の年齢、インターネット利用環境、住んでいる場所、図解を好むこと、分厚い本に怯んできた履歴、CS50のようなマイルストーン、Pythonの習熟度といった複雑な情報をどう渡せばいいのかわからない
スタートアップのアイデアも、「トラクションが低い」という言葉だけでは足りず、VC・開発者・営業ネットワーク、成功したパートナーシップの証拠、参加者数、売上といった状態を伝える必要がある
現実世界でも各自のコンテキストがあまりに異なるため、こうした語彙は小さなポケットの中にしか存在しない
知識がグローバルで永続的な変数のように存在すると仮定することも問題だ。地域によっては電気もなく、基本的な携帯電話すら持たない人が多く、AIが推薦したPDFが役に立つかどうかさえ、地域の権力構造やガバナンスに左右される
今後どう進化するかはわからないが、可能性を考えるだけでも面白い。コンピューターは私たちと簡単に会話でき、初日から賢い赤ちゃんのようだが、結局のところ、十分で適切かつ安価なデータを投入できないことが、有用性をさらに引き出すうえで本当のボトルネックなのかもしれない