Pythonを活用した統計学習入門
(statlearning.com)- データ収集の規模が拡大するなか、An Introduction to Statistical Learningは、統計学習をデータ理解のための実用的な入門ツールとして扱う
- 複雑な数学よりも幅広く、技術的すぎない説明に重点を置き、現代的なデータ分析ツールを学びたい読者を対象としている
- R版は2013年の第1版、2021年の第2版へと続き、Python edition(ISLP) は2023年に出版された
- 各版は章末の実習ラボを通じて、その章の概念をRまたはPythonコードにつなげている
- PDFダウンロードと購入リンクが提供されており、入門者はR第1版・R第2版・Python版の中から必要な資料を選べる
統計学習入門書の焦点
- An Introduction to Statistical Learningは、ほぼすべての分野でデータ収集の規模と範囲が拡大し続けている状況を前提としている
- 統計学習は、データを理解しようとする人に必要なツール群として扱われる
- 主要なトピックを幅広く扱いながらも技術的な難度を下げ、現代的なデータ分析ツールを使いたい読者が取り組みやすい
版、実習、資料
- 版はRとPython中心に分かれる
- ISLR 第1版はR版として2013年に出版された
- ISLR 第2版は2021年に出版された
- ISLPはPython版として2023年に出版された
- ISLRは中国語、イタリア語、日本語、韓国語、モンゴル語、ロシア語、ベトナム語に翻訳されている
- 各章の末尾には、その章の概念をRまたはPythonで示すラボが含まれる
- 章で扱うトピックは次のとおり
- 統計学習とは何か
- 回帰
- 分類
- リサンプリング手法
- 線形モデルの選択と正則化
- 線形性を超える方法
- ツリーベースの手法
- サポートベクターマシン
- ディープラーニング
- 生存分析
- 教師なし学習
- 多重検定
- PDF資料は次のリンクで提供されている
1件のコメント
Hacker Newsの意見
話題からは少しそれるが、推薦数とコメント数の比率が興味深い。
ChatGPT関連の投稿には普通何百件もコメントが付くのに、ここでは今のところ推薦100件に対してコメントは7件しかない。
本は良さそうだし、著者陣を見る限りほぼ間違いなく良い本だと思うので買うつもりだが、この比率は「ML/AI/データサイエンス」の現在を示しているようにも思える。AIブームに関心を持つ多くの人が基礎概念をあまり扱っておらず、その背後にある数学や統計を深く理解していないのでは、という皮肉な考えが浮かぶ。
付け加えると、自分もこのリンク先の話題について意味のあるコメントをしたわけではない。
https://github.com/melling/ISLR
著者たちによるedX講座もある: https://www.edx.org/course/statistical-learning
こういう本は機械学習/AIを始めるうえで中核になるし、この本は特に良い。自分もこの本で機械学習を始めた。
AIにはものすごい過熱があって、ドットコムバブルのようになる気がする。Cryptoと違ってAIにはすでに実用があり、それはLLM製品を除いても当てはまる。ただ、誇張や希望的観測も多いので、バブルがはじければ多くの人が傷つくだろう。それでも短期的には実際に金を稼ぐ人たちは出続けるだろうし、私の知る過熱をあおる人たちもそのことをよく理解している。
それでもAIは残るし、バブル崩壊後も現実のAI活用はあちこちに残るはずだ。
その気持ちはわかるが、多くの機械学習の用途では、自分でモデルを作るよりChatGPT APIを呼ぶほうが100倍良いアプローチであることが多く、だから数学を理解する必要が本当にないのかもしれない。
例えばAI栄養計算アプリを作っていて、ChatGPTの関数呼び出しを使っている。食べ物の絵文字のようなフィールドを追加すると、どんな食べ物でも適切な絵文字に自動分類される。こういうことをやるのに、勾配降下法やその基本的な性質をまったく知らなくても構わない。
これは数年前からそうで、ほとんどの業務環境では悪影響を与えている。期待値を管理しなければならない現場のデータサイエンティストたちは気の毒だ。
HNにはほとんど過熱ばかりで、科学はあまりない。確信は強いのに根拠は弱い。論文はよく引かれるが、要旨だけ読んで重要なニュアンスを取り逃している。特に限界を示すとリジェクトされるリスクが高い分野なので、なおさらそうだし、査読者がその部分をそのままコピペして「お疲れさま」で終わることすらある。
学界は多少ましだが、全体として数学の基礎が弱い研究者も多い。トップクラスの大学や研究所でも、尤度と確率の違いを知らない人を知っているし、実際に会ったこともある。確率密度を理解していない人もいて、しかも拡散モデルを扱っている人の中にさえいる。ただし、最も目立つ研究者たちはたいていこうした能力を備えている。その代わり、彼らは論文をそれほど速く出さず、研究もあまり人気を集めないことがある。
今は多くの研究がパラメータ調整と計算資源の投入に偏っている。チューニングが必要なのは認めるが、それは高度なイノベーションではないし、他のモデルや構造を同程度に調整していない状態で、より優れていると証明するのは難しいという点には正直であるべきだ。こうした流れが別タイプの研究を妨げる障壁になっているので、その点については少し声を上げてきた。
要するに、かなり正確だ。機械学習/AIには、特にHNではノイズが非常に多い。
追加でRichard McElreathのStatistical Rethinking(https://xcelab.net/rm/statistical-rethinking/)を勧めたい。ISLRよりずっと楽しく読めるし、ベイズ統計も紹介してくれる（講義はYouTubeにもある）。GelmanのRegression and Other Stories(https://avehtari.github.io/ROS-Examples/)もおすすめだ。
この本は、もともとRで書かれた非常に人気のある教科書のアップデート版だ。Hastie教授とTibshirani教授は統計的学習分野を代表する教育者だ。
Stanford Onlineには、このノートに沿った動画講義もある。古典的な機械学習の理論面を学ぶなら強くおすすめする。
全書を合法的にここからダウンロードできる [pdf]: https://hastie.su.domains/ISLP/ISLP_website.pdf
ISLは古典的な機械学習手法を扱う最高の入門教科書だ。理論寄りではあるが、統計、線形代数、コーディングの基礎知識がある幅広い学生層にとって十分とっつきやすい。
例がRしかないのは、Pythonで教えるときに不便だった。今はJupyterノートブックのシリーズにして、Colabのような場所を通じて配布してくれるとよいのだが。
人によっては「古典的」な機械学習と言うだろうが、自分にとってはそうしたパラメータの少ない手法は多くの場合とても有用で、RNNよりはるかに解釈しやすい。
lab zero の2つのバージョンを比較してみようと思った。
Python の演習は数分ざっと見ただけだが、記憶にある R の演習に比べて、ずっと複雑で長く見えた。
HN で R が難しくて混乱するとよく不満が出るのは知っているが、初心者や統計寄りの人が統計作業を始めるには、R のほうが簡単な言語だと思う
それぞれの言語が想定している対象層を見れば、驚くことではない。両方を受け入れて、その時々の作業により適したほうを使うのがよいと思う
個人的には、Bishop の Pattern Recognition and Machine Learning や Murphy の Probabilistic Machine Learning: An Introduction のほうが好みだ
だからこそ ISLA が翻訳されることには大きな意味があるように思う。機械学習や統計モデリングを十分に学んだ学生なら、数理モデルを計算モデルへ移すのはかなり容易であるべきなので、コードは必須ではない。そもそもそれができてこそ、これらのモデルを理解していると言える
ISL(R/P) の著者による Elements of Statistical Learning も加えたい。ISL、ESL、Bishop は読んだし、Murphy も読み始めたが最後までは終えられなかった。特別な理由があったわけではなく、忙しくなってそのままになっただけだ。これらの教科書はどれでも強く勧められる
この場合でも Bishop を勧められるのか、それとも 理論寄り すぎるのか気になる
Sidney Siegel、N. John Castellan, Jr. の Nonparametric Statistics for the Behavioral Sciences, Second Edition, ISBN 0-07-057357-3, McGraw-Hill, New York, 1988 も検討に値する。
「ノンパラメトリック」とは、パラメータに基づく確率分布を仮定しないという意味だ。つまり分布自由型と呼べる。
たとえば再標本化法を見ることができる。仮定はごくわずかで、本当に単純で、かなり巧妙で、全体として有用であり、とりわけ計算と相性がよい。"A-B" テストのデータからより多くの情報を引き出すために 再標本化 を使うこともできる
無理に分類するなら、ISLR は推論や仮説検定よりも予測に重点を置いていると言える
この本の前の版と一緒に公開された YouTube シリーズが本当に好きだった: https://www.youtube.com/watch?v=5N9V07EIfIg&list=PLOg0ngHtcq...
本がなくても視聴できるし、コーディング部分は飛ばしてもよい。本にはない洞察もあり、圧倒的な技術力と、概念を圧縮して説明する能力が見事に組み合わさっている
私には少し冗長に感じる。Landau が生きていて、こういう本を書き直してくれたら、ずっと短くなっていた気がする。LLM でそういうものを作れるだろうか？