2015年 Linear Regression の真実

線形回帰の真実

• 紹介

  • この文書は、2015年秋に 36-401「現代回帰」の講義を行った際に作成した講義ノートに基づいている
  • 線形回帰を学ぶ人、あるいは教える人に役立つ可能性がある
  • 従来の理論における Gaussian ノイズと、正しく特定された線形モデルへの依存を減らし、より計算集約的ではあるが堅牢な手法を重視している

• PDF 全文

  • データファイル
  • 各章の R コード
  • 現在の概要

• 最適予測

  • 統計モデリング入門
  • 単純線形回帰モデルと推定へのヒント

• 単純線形回帰のための最小二乗法

  • 単純線形回帰のための最尤法
  • 単純回帰の診断と修正
  • パラメータに対する推論
  • 単純線形モデルに対する予測推論
  • 変換後のパラメータ解釈
  • F 検定、R^2、およびその他の注意点
  • 行列形式の単純線形回帰

• 重線形回帰

  • 重線形回帰の診断と推論
  • 多項式回帰とカテゴリカル回帰
  • 多重共線性
  • 検定と信頼区間
  • 交互作用
  • 外れ値と影響力のある点
  • モデル選択
  • レビュー
  • 加重最小二乗法および一般化最小二乗法
  • 変数選択
  • ツリー
  • ブートストラップ I
  • ブートストラップ II

GN⁺ の要約

• この文書は線形回帰に対する現代的なアプローチを提示し、従来の理論的限界を克服するために、より堅牢な計算手法を重視している
• 統計モデリングと回帰分析について、基礎から高度なトピックまで包括的に扱っている
• 特に、多重共線性、変数選択、ブートストラップなど、実務で重要なテーマを含んでいる
• この文書は、統計学やデータサイエンスを学ぶ学生や実務者に有用である可能性がある
• 類似の機能を持つ別のプロジェクトとしては "Advanced Data Analysis from an Elementary Point of View" がある

[GN⁺]

Hacker News の意見

• 多くの人は線形回帰をきちんと理解していない

  • 一般的な統計的検定はすべて線形モデルである
  • 線形モデルは応答に対して線形なのではなく、パラメータに対して線形である
  • 適切なスプライン基底を選べば、予測変数と応答の間にある多くの非線形関係を線形モデルでモデリングできる
  • テイラーの定理により、線形関係は非線形関係の良い近似になりうる

• 10年前にCMUで統計の授業を受けたが、Rを学べたのは良かった

  • 線形回帰の大きな弱点は、小さな学習データセットでは有効でも、実データには適用しにくいこと

• Ridge Regression は多重共線性の問題を解決するのに有用

  • 今では過学習を防ぐ正則化手法として学ぶが、もともとは高度に相関した予測変数同士の重みをバランスよく調整するために使われていた

• Citadel のクオンツ研究者が線形回帰をどう使っているのか知りたい

  • 彼らがどの理論的結果を重視しているのか気になる

• 学部課程で線形回帰を何度も学んだ

  • 統計学と確率論を通じて最適性が証明できる

• 博士課程では主にディープラーニングモデルを使った回帰問題を扱っている

  • 古典的な線形モデルの厳密な証明や定理を、ディープラーニングの回帰モデルに適用できる方法があればよいと思う

• Shalizi の "Data Analysis from an Elementary Point of View" は良い入門書

  • 線形モデル、加法モデル、シミュレーションに重点を置いている
  • 本の90%はコンピュータなしでは役に立たないが、それが現代の現実でもある

• 回帰で最も重要な技術は切片を認識すること

  • 交互作用項を含める場合、切片の意味を理解することが重要
  • たとえば、年齢と自閉症診断変数を含む単純な線形モデルでは、切片が何を意味するのかを理解する必要がある

• XGBoost を使った回帰を教えている者として、この記事はとても有益で親しみやすい

  • 特に第6章の視覚的診断は非常によく書かれていた

• この記事では触れられていないが、線形回帰もディープラーニングでよく見られる Double Descent 現象を示す

  • そのためには正則化を導入する必要がある

• この PDF をモバイル最適化された形式に変換する方法を知っている人はいるだろうか