- 社会科学および生命科学では、ほぼすべての変数間にある程度の相関関係が存在する
- この現象は単なる偶然や統計的誤りではなく、複雑に絡み合った遺伝的・環境的要因に由来する実際の事実である
- 標本数が大きくなるほど、有意な相関関係はほとんどの変数ペアで現れ、研究者は個別の相関よりも相関パターンそのものに注目するようになる
- 「Crud factor」は、ほぼすべての変数ペアに小さな相関関係が存在することを意味し、任意の理論と変数ペアの選定だけでも高い確率で有意な結果が得られる
- このような状況では、**従来の有意水準（0.05）**が持つ意味は弱まり、社会科学の統計解釈では注意が求められる
概要と背景
- 心理学と社会学では、**「あらゆるものはある程度相互に相関している」**という主張が広く受け入れられている
- 特定の特性は複数の遺伝的および環境的要因によって決まり、これらの要因同士にもそれ自体の相関関係が存在する
- したがって、実質的にほぼすべての測定可能な変数には、ある程度の相互関連性が存在する
「Crud Factor」と統計的発見
- **「Crud factor」**とは、社会科学（および一部の生命科学）の研究において、任意の変数ペアの間にも常に小さな相関関係が存在する現象を指す
- 1966年にミネソタ州の高校生57,000人を対象に実施された大規模データでは、家族、教育、趣味活動、進路、宗教など多様な変数間の105件のクロス集計（crosstabulation）分析の結果、すべてが統計的に有意だった
- 全体の96%は p<10⁻⁶ という極めて低い確率水準で、偶然である可能性を排除した
- 変数数を45個まで広げると、合計990通りの組み合わせのうち92%が統計的に有意だった
- ある変数と他のすべての変数との有意な関係の**中央値（median）**は、44個中41個だった
実際の変数間の事例
- MCATの点数と、兄弟姉妹の数、出生順、性別、職業計画、宗教的嗜好などとの関係でも、いずれも高い統計的有意性が見出された
- 例：女子学生のほうが男子より点数が高い、兄弟姉妹が多いほど点数が下がる傾向がある、第一子・一人っ子は末っ子より賢い、宗教集団ごとに明確な差がある、など多数
- 代表的なプロテスタント5教派ごとに見ても、複数の変数との関係で高い有意性が観察された
- 例：一人っ子が Presbyterian である確率は Baptist のほぼ2倍、教派ごとの学校への好感度や職業希望の違いなど、多数の相関がある
MMPI項目の事例
- MMPI（性格検査）の550項目のうち507項目（92%）が、性別による有意な差を示した
- 一部の項目は明確な傾向の違いを比較的はっきり説明できるが、他の項目では理由が複合的、または説明不能である
- これらの結果は標本数が非常に多い大規模研究で現れるものであり、統計的誤り（type I error）ではなく実質的な現象である
社会科学における相関関係と理論検証の限界
- 任意の理論と変数ペアをランダムに組み合わせたとしても、平均相関（crud factor）が0.30程度であれば、実質的に3回に1回の頻度で有意な差を発見できる
- 通常、社会科学で意味があると見なされる有意水準（0.05）よりも、この現象のほうがはるかに頻繁に起こる
- 研究者が理論的に予測していなかった変数ペアにも相関関係が容易に現れるため、統計的有意性だけで実質的な因果関係を裏づけるのは難しい
- 複合的な原因（遺伝子／環境）と観察データの豊富さが、このような多方面の相関関係を生み出す
実践的結論
- 社会科学データの解釈と理論検証では、crud factor による**「ありふれているが実在する相関関係」**を常に念頭に置く必要がある
- 有意水準の統計（例：p<0.05）を盲信するのではなく、変数間の実質的な因果性とパターン解釈により重点を置くアプローチが必要である
- Thorndike の格言「良いものは一緒にやって来る傾向がある」が示すように、現実世界ではあまりにも多くのものが互いに絡み合っている
1件のコメント
Hacker News のコメント
私が最も気に障ることの一つについて述べている
人々は「統計的に有意である(statistically significant)」という表現を「注目に値する／意味がある」という意味だと誤解している
測定された差を見つけ、統計がそれを「重要だ」と言っていると受け取ってしまうが、それは誤った捉え方だ
実際には、有意性検定が教えてくれるのは、観測された差が「良い測定」である確率にすぎない
つまり、ある程度の信頼水準をもって「差が実際に存在する」と言えるということだ
測定された差が価値判断としても「意味がある」かどうかは別途判断すべきであり、主にその差の大きさによって判断する
あまりに当たり前に見えるが、産業界や多くの科学分野で非常によく見られる誤りだ
例として「この施策は[指標]を p<0.001 で変化させた、ものすごく有意だ！ 変化量は 0.000001% だ」
こういう場合、本当に「意味がある」のか考え直す必要がある
ただ、例については少し補足したい
非常に小さい p-value が常に「意味のある」効果を意味するわけではないが、効果量と無関係でもない
p-value 自体は (効果量)/(ノイズ/サンプル数の平方根) から出てくる
つまり、より大きな検定統計量はより小さな p-value を意味する
非常に小さな p-value は、主に大きな効果か、あるいは極めて大きなサンプルサイズ(n)から生じる
したがって、微小な効果でも p<0.001 になるのは、N が極端に大きい場合に限られる
しかし現実の研究では、p<0.001 が出たなら、サンプル数の制約のため効果も実際に大きい可能性が高い
統計的有意性は結果の中で最も面白くない部分だとして、結果は効果量で説明すべきだと強調している
単に処置に効果があるかどうかだけでなく、「どの程度」効果があるのかに注目すべきだ
– Gene V. Glass
ただ、単なる「pet peeve」と呼ぶより、統計に対する病的な誤解だと思う
こうした誤解は、とくに人気の健康／ウェルネスメディアで誤った結論につながりうる
健康・栄養関連の研究が統計的に有意だと報じられても、実際の効果はごくわずかなことが多い
そのため人々はそうした研究結果だけを信じて生活や習慣を大きく変えてしまうが、実際にはそこまでの根拠はない
さらに悪いのは、事前に検証する仮説を定めず、過去のデータを漁って「統計的に有意な」相関だけを見つけ出すことだ
ここでは、有意性を確率を更新する方法として考えるべきだと提案している
1回のテスト（あるいは研究）は確率を X% だけ更新してくれるので、「意味のある」判断には通常もっと多くの実験が必要だという議論だ
いかにも典型的な「rationalist」風の文章だ
統計現象についての正しい観察が散りばめられている一方で、妙な政治的フレーズも混ざっている
例文: 「理論的および経験的考察は、『アルゴリズム・バイアス』や『保護対象集団』に関する因果推論への疑念を呼び起こす。除外しないことが望ましくない場合もあれば、不可能または無意味な場合もある」
あまりにも奇妙な文章で、文脈の説明もなく突然出てくる
隠れた潜在変数が犯罪性を決めるのだから、black box（仮釈放モデル）に
is_blackを使ってもよいと主張しているように見えるが、馬鹿げていると思う実際、モデルがどう動いているかへの関心は、統計解釈よりさらに深い問題だ
モデル選択の過程で自由度が大きくなりすぎると、どんな結果でも出るように設計できてしまう
たとえば、仮釈放モデルに
likes_hiphopのような変数が入っているなら、なぜそれが入ったのか、本当に「最適モデル」だったのか確認する必要がある結局、社会現象では変数同士の相関が多いという事実は、どんなモデルであれ少なくとも部分的には政治的産物でありうることを思い出させる
「理論的・経験的考察」というフレーズは、その前に出てきた議論を指している
つまり、あらゆるものが相互に相関している以上、相関が見えたからといってそれに本質的な意味があると確信することはできない、という話だ
社会科学者は複雑なモデルを作り、多くの変数を観察し、自分たちの仮説を支持する相関を見つけるが、そうした相関はどこにでも現れうるため、実際の証拠としては弱いと指摘している
また、モデルが実際に
is_blackのような変数を使っていたと断定することもできない単にある black box モデルが黒人に不利な結果を出したからといって、本当に
is_black変数が入っているとは言えないのだとくに遺伝や IQ のような話題で、根拠の弱い研究やデータから結論を出す姿をよく見る
社会科学のモデリングには理論的背景が不可欠だと思うが、TFA（元記事）が特定の政治的イシューでも同じ立場を取るのかは疑問だ
たとえば、少数集団のための組織の採用で
is_white変数を使う場合にも、同じことを言うのか気になる自分が賢いという雰囲気を出しつつ、根拠のない推測を事実のように投げるスタイルだ
とくに scaling/AI コミュニティで gwern がやたら好まれているのも不思議だ
記事で『銀河ヒッチハイク・ガイド』の名言に触れていないのが残念だ
「宇宙にあるすべての物質は何らかの形で互いに影響し合っているので、理論上は妖精ケーキ一切れを見るだけで宇宙全体、太陽、惑星、軌道、社会的・経済的歴史まで推論できる」というメッセージを思い出した
異なる T_zero の構成は T_current（現在状態）につながり、同じ物理的構成であってもその前の「宇宙-ケーキ」状態は異なりうる
さらに、完全に決定論的な体系だけを仮定している
関連説明リンク
かつては統計がなくても世界の真実を明らかにしていた
統計が登場して有用な道具になったのは確かだが、その方法が乱用されることで、愚かさが賢さのように装われる問題も増えた
だから今回の「相関ノイズ」という観察にも問い直す価値がある
何より、まず論理とドメインに関する基礎知識が先だ
単に数字を数えるだけでは誤解を招きうると思う
論理だけでは新しい知識は学べない
論理は既に知っていることを言い換えるだけで、基礎知識には経験や実験が必要だ
現実世界の観察は常に不完全なので、統計的解釈は不可欠だ
統計が登場する前は、(a) 金持ちが座って世界について深く考える、(b) カリスマ的な人物が自分の望むままに説教する、(c) 賢い人がたまに当てる、といった具合だった
統計の登場によって、誰でも結果に基づいて正誤を判断できるようになり、既得権層だけの領域ではなくなった
もちろん、統計的推論の利点の一つは「相互比較(intercomparison)」で、プロセス自体を理解していなくても差から結論を導ける点だ
しかしその分、結果の操作や誤解も容易になる
関連動画
話題とは違うが、このブログは本当に美しいと感じる
ドロップキャップ(drop cap)、画面右側に見えるインラインコメント、進行表示バーなどに、このプロジェクトへの愛情が感じられる
この記事は本当に膨大だ
私もあんな本格的な文章を書けたらいいのにと思う
著者の他の記事を見ても、本当に機械のように絶え間なく生産しているようだ
もちろん、誰かが資金援助してくれればなおよい
こうした論争は何十年も続いてきたものだ
批判的な視点を失わないことは重要だ
だが個人的には、仕事でこうした論理と格闘すればするほど、実はそれほど有用ではなく空虚に感じる
crudは統計的な宇宙背景放射のようにパターンの中に存在しており、無意味だと片付けるより、時には重要なこともある変数同士の関連が簡単には説明できないこともあれば、調整すべき潜在的交絡変数を理解する上で鍵になることもある
常に相関があるわけではなく、本当に関連が 0 の場合も存在する
「0 ではない意味のある効果量」を定めること自体も非常に恣意的で主観的だ
この現象を見るうえで、もっと生産的な枠組みがある気がする
Correlated. 他の例は？<i>Everything Is Correlated</i> - 以前の議論
だからこそ実験科学は観察研究と違うのだ
統計分析は、ある仮説により信頼を置く理由を与えるだけで、真の実験的アプローチで補強される必要がある
ブログの例はたいてい、医学・社会科学・行動科学などで、適切に統制された実験が難しいか、標本数不足で因果関係を明確にしにくいケースだ
もちろん、設計でしくじったものは分析で直せないが（You can’t fix by analysis what you bungled by design - 出典）、ある程度はバイアスを減らす方向ではある
「このことは有意性検定の意味を曖昧にする。これは、a priori（先験的）に偽だと分かっているシナリオのもとで、データの確率を非常に正確に計算しているにすぎない」という記事中の引用について
意味のある結果に到達する際、モデルが単純化されており、厳密には偽であることを認めたうえで計算するのはよくあることだと思う
たとえばニュートンの法則や電気回路解析も単純化のおかげで可能であり、銀行業界でも 1年を360日として計算していた
実際によく機能するのに、自分は何を見落としているのだろうか
これは研究を真理探究とみなすなら深刻なジレンマだ
（1か月未満区間の支払額算定など）
別の言い方をすれば、アインシュタインはニュートンの精密化版だ
特殊相対性理論が低速極限でニュートン力学に収束するように
実際には統計で「偽」というものは存在せず、「x% の確率で事実ではない」と解釈すべきだ
x を下げたければ「もっと統計を頑張る」必要があり、標本数（N）を増やすのが最も確実だ
記事が完全に間違っているのは、十分に大きな N があれば真／偽を絶対的に扱ってよいとしている点だ
なぜなら、「宇宙が100万回作られても1回出るかどうか」というレベルの確率にまで行くからだ
ただし現実には、社会科学、医学、経済学などの大半は非常に小さな N で仕事をしているので、統計上の問題が必然的に大きい
そのため「もっと統計を頑張る」わけだが、実際には N を増やせず、数値をいじったり、N を少しだけ増やして問題を解決したと主張したりする