機械学習におけるPen and Paper演習（2022）
(arxiv.org)- Pen & Paperは、機械学習の理論と概念にすでに触れた読者が、問題演習を通じて理解を深められるように作られた、詳細解説付きの演習問題集
- 教材や講義の演習問題の解説が短すぎたり、存在しなかったりすると、学習機会が挫折に変わりやすいため、解法の過程を追えるだけの解説の詳細さを目標としている
- コーディングとシミュレーションも重要だが、ほとんどの問題をペンと紙で解けるように構成し、数学的思考を強化することに重点を置いている
- 問題は主にUniversity of Helsinkiの「Unsupervised Machine Learning」とUniversity of Edinburghの「Probabilistic Modelling and Reasoning」の講義問題を組み合わせたもので、範囲は教師なし手法・推論・学習に集中している
- Michael Gutmannは問題集が継続的に拡張されることを望んでおり、LaTeXソースの公開、GitHub Issueベースの誤り報告、より大きな貢献のための直接連絡を案内している
演習問題で理解を深める本
- 「use it or lose it」という表現のように、スキルは練習しなければ錆びつき、新しいスキルを身につける際にも反復的な適用が必要
- 多くの教材や講義は演習問題を提供しているが、解説が短すぎたり、なかったりすると、問題演習が挫折の原因となり、飛ばされやすい
- この本は詳細な解答付きの演習問題集
- 読者が解答を追いながら、使われている手法を理解できる程度の詳細さを目指している
- 機械学習の教科書や講義を置き換えるものではない
- 関連する理論と概念をすでに学んだ後、問題演習で理解を固める状況に合わせている
ペンと紙中心の構成
- 機械学習においてコーディングとコンピュータシミュレーションは非常に重要
- ただし、この本の問題はほとんどがペンと紙で解ける
- ペンと紙中心の構成は分量を抑え、説明を単純化する
- 数学的能力の強化に役立つ
- コンピュータ実習と併用すれば、概念理解をさらに深められる
扱うトピックと範囲
- 問題は主に2つの講義で開発された資料を組み合わせたもの
- University of Helsinkiの「Unsupervised Machine Learning」
- University of Edinburghの「Probabilistic Modelling and Reasoning」
- 機械学習全体を網羅しているわけではない
- 焦点は教師なし手法、推論、学習に強く当てられている
- 提供された本文には、第1章Linear Algebraの例としてGram–Schmidt直交化の問題が含まれている
- 2つのベクトルから作った
u1、u2が互いに直交することを内積で確認する a2がa1の倍数であれば、直交化の過程でu2は零ベクトルになる- 線形独立な
a1、a2の任意の線形結合をu1、u2で書き直せることを示す
- 2つのベクトルから作った
拡張と貢献方法
- 問題集は時間とともに新しい問題の追加によって大きくなることを目指している
- LaTeXソースコードはGitHubリポジトリで公開されている
- 誤りやタイポはGitHub Issueで報告できる
- より大きな貢献を望む場合は、直接連絡する方法が案内されている
1件のコメント
Hacker News のコメント
良さそうに見えるけれど、機械学習を学ぶときにいちばんもどかしいのは、理論をどれだけ深掘りしても実際の選択とどう結びつくのかがよく見えないこと
たとえば、ある層のニューロン数、層数、活性化関数、ニューラルネットワークを使うのか別の手法を使うのかといった判断に、理論がどう役立つのかを知りたい
ただいろいろランダムに試して、うまくいくものを見つけ、互いにアイデアをまねしながら、ぼんやりした指針ができていく分野
論理的で説明可能なものを求めるなら最悪に近い分野で、たいていはデータセットにラベルを付け、計算コストを払い、うまくいくことを願う作業
機械学習では、すべてを理論から導くことはできない。それが可能なら、本当に大きな大規模言語モデルの性能にあれほど驚かなかったはず
同時に、関連する数学を推論できなければ、なぜうまくいかないのか、どんな選択肢があるのかを把握しにくくなる。構造、損失関数、活性化関数、最適化手法、ハイパーパラメータ、学習時間とリソースなど、数多くの要素が絡み合っている
理論の価値は、一般的な概念の枠組みを提供することにあると思う。今日のアルゴリズムの漸近理論が、どのアルゴリズムを使うべきかをぴたりと言ってくれるわけではないが、大まかな方向は示してくれるのと似ている
妥当な正則化項を考慮すれば過学習のリスクは大きくないが、残念ながらその最小値に関するルールはなく、試行錯誤が必要。逆にネットワークをやみくもに大きくすると非効率で、結局遅くなる
活性化関数は、出力層の場合はたいてい解こうとしている問題によって決まり、内部層は通常 ReLU から始めて、問題に合ったヒューリスティックで一般的な変種を試すことになる
似た問題で成功した他のモデルを出発点にすることも、当然検討すべき
本当にすっきりしている。Tom Yeh の AI By Hand の練習問題を思い出す: https://www.byhand.ai/
資料自体は、すでにその内容を知っている人には素晴らしい
すっきりして見える。ただ、問題のすぐ次に解答があるので、自分で考えてみる前に次の問題の答えを読まずにいられない点が惜しい
本当に良い。機械学習の仕事をしているが、数学の基礎、とくに線形代数と行列／テンソル演算にはまだインポスター症候群がある
ディープラーニングの基礎力に焦点を当てた問題集がもっとあれば知りたい。毎日少しずつ自分で手を動かすやり方と、複数の先生の視点から学ぶやり方がいちばん合っている
今「有用な」機械学習を作っている現場の実務者のうち、この問題の一部を解ける人はどれくらいいるのだろうか？ そして、そうであるべきなのだろうか？
こうした練習問題は、新しいアルゴリズムや低レベル最適化を開発するのに必要な直感につながる数学的成熟度に役立つ
既存の機械学習アルゴリズムを学習させてデプロイして使う一般的な場合には必要ない
どちらのアプローチも貢献でき、成功につながり得るが、やり方は異なる
文書をざっと見るとほとんどは見覚えがあったが、文脈なしに質問されたら多くのトピックは思い出せなさそう。一時期はできたかもしれない
みんながこういう内容をどの程度覚えているのか気になる。自分がもともと数学が苦手なペテン師なのか、それとも定期的に使わなければ時間とともに忘れるのが当然なのか分からない
解答まで含まれていて美しい。他のテーマでもこういう紙とペンの練習問題がもっとあれば興味がある
他の数学寄りのパズルなら、「The colossal book of short puzzles and problems」と「The art and craft of problem solving」を見ればよい
以前にも議論されたことがある: Pen and paper exercises in machine learning (2021) - https://news.ycombinator.com/item?id=31913057 - 2022年6月、コメント55件
数学者たちがいつも線形代数と行列理論を機械学習にこっそり差し込もうとするのが面白い。よく知らなければ、学界が大規模言語モデルを発明し、助言を求めるべき専門家だと思ってしまいそう
むしろ学界と理論家たちは機械学習を遅らせ、計算手法をあまりに低く見て、何世代もの大学院生にこの例のような記号的証明を強いてきたのだと思う
線形代数に習熟していないのに貢献している人が誰かいるだろうか？
それに、なぜ分野全体を大規模言語モデルに要約するのかも疑問
arXiv は研究レベルの論文のための場所ではないのか？ こういう資料がそこに上がっていて驚いた