ベイズ統計：3つの文化

主観的ベイズ(Subjective Bayes)

• 伝統的な主観的ベイズ学派は、データ生成分布（つまり、母数の関数としての尤度）を仮定する
• この仮定を条件として、事前の信念を母数に対する事前分布としてエンコードする
• その後、事後推論を行い、以後は振り返らない
• 今日、誰かがこの哲学を厳密に従っているのか、あるいは自分を主観的ベイズ学派と見なしているのかは不明である

客観的ベイズ(Objective Bayes)

• 「客観的ベイズ」の哲学は、仮説検定（ベイズファクターの使用）を行いたいという考えと、Andrewが言う「ベイズ・クリンジ」を強く感じることの結びつきから生まれている
• ある代表的な支持者の論文を引用すると:

参照分析は、推論的な記述が仮定されたモデルと利用可能なデータのみに依存するという意味で、そして推論に用いられる事前分布が情報理論的な意味で最小限の情報しか持たないという意味で、客観的ベイズ推論を生み出す

• カンファレンスの開催や、タイトルに「客観的ベイズ」を含む書籍の出版などから見て、今なお多くの人々がこれを特徴とする研究を行っている
• BUGSの例で広く使われる gamma(epsilon, epsilon) と normal(0, 10_000) の事前分布の背景にも、ある程度これがある

実用的ベイズ(Pragmatic Bayes)

• Andrewは「実用的ベイズ」と呼ぶ哲学に従っている
• Gelman, Carlin, Stern, Rubin の著書 "Bayesian Data Analysis" 初版で明確に提示されている

1. 観測可能および観測不可能なすべての量に対する同時確率分布である完全確率モデルを設定する。モデルは、根底にある科学的問題とデータ収集過程に関する知識と整合していなければならない
2. 観測されたデータを条件として、関心のある観測不可能な量の条件付き確率分布である適切な事後分布を計算し解釈する
3. モデルの適合度と、結果として得られた事後分布の含意を評価する。モデルがデータにどれだけよく適合しているか、実質的な結論が妥当か、結果が1段階目のモデル仮定にどれほど敏感かを確認する。これに応じてモデルを修正または拡張し、3つの段階を繰り返すことができる

• Andrewが最終的に「ワークフロー」と名付けたプロセスが、まさにこれである

工学における標準作業手順

• これは工学では「反復設計」と呼ばれる標準作業手順である
• ほぼすべての機械学習はこのように行われる
• CSおよびMLの背景を持つ私は、統計学者がこのように考えないという事実に衝撃を受けた

BDAを執筆した際の戦略に関する補足

• Andrewは、BDA初版の執筆初期に、哲学を飛ばして単に科学を「やる」と明示的に決めたと語っている
• 彼とRubinは、彼らの反復設計プロセスに名前を付けなかった
• 他人の哲学的信念を正確に特徴づけるのは難しく、議論によってそれを変えるのはさらに難しいため、これは賢明な選択である
• 科学的方法に科学哲学的な免責事項が必要だとすれば、おそらくそれはそれほど説得力のある科学ではないだろう

尤度 vs 事前分布に関する補足

• 事前分布の選択が、尤度の選択よりもより「主観的」でも、より「非主観的」でもないというAndrewの見解に同意する
• Andrewはこれを「尤度というラクダを飲み込みながら、事前分布という蚊にこだわる」という文章で簡潔に要約している

信念 vs 知識に関する補足

• 哲学的観点からは、「信念」よりも「知識」という側面から事前分布と尤度を認識論的に特徴づけることを好む
• これはLaplaceが最初に示し、John Stuart Millがさらに徹底的に探究した枠組みであり、GelmanらがBDAで採用したものである

本ポストの語源に関する補足

• 1959年、C.P. Snowは芸術 vs 科学に関する有名なエッセイ「二つの文化」を書いた
• 2001年、L. Breimanは、生成過程を明示的にモデル化することと、非常に柔軟なモデルを使うこととの区別について、影響力のあるエッセイ「統計的モデリング：二つの文化」を書いた
• Breimanは自身の研究で決定フォレストを支持しており、最先端のニューラルネットワークを学習させるにはデータが十分でないKaggleコンペティションでは、彼のアプローチが今でも勝利している
• Andrewが「開いていく花」と呼んだものの一例として、決定フォレストとニューラルネットワークを考えているのか気になる

GN+の意見

• 主観的ベイズと客観的ベイズという2つの伝統的アプローチは極端すぎる。実用的ベイズのアプローチは、現実的で有用な妥協点を提供する
• 事前分布の選択が尤度の選択と同じくらい主観的だという観点に同意する。モデルのすべての構成要素は主観性と仮定を伴う
• モデルを評価し、予測性能をチェックし、必要に応じて反復する「ワークフロー」アプローチは、科学における標準であるべきだ
• 過去データに基づく情報的事前分布を使うことは珍しくなく、より多くのベイズ分析でこれを活用すべきである
• 最終的には、ベイズ推論の哲学よりも、実際に科学を行うことに焦点を当てるのが賢明な戦略である。しかし、ときには推論の基礎について議論することにも価値がある