- シンプソンのパラドックスは、下位集団では見えていた傾向がデータをまとめると消えたり逆転したりする確率・統計の現象であり、集計データだけを見ると判断が大きく歪む可能性がある
- 頻度データをそのまま因果と解釈すると 交絡変数 を見落としやすく、社会科学や医学統計で特に問題になりやすい
- UC Berkeley大学院入試、腎結石治療、プロ野球の打率の事例は、下位集団の比較と全体集計の比較が異なる結論を導きうることを示している
- 比率の逆転はベクトルの観点からも説明でき、表だけを見てデータを分けるべきかまとめるべきかを判断しにくい点が重要な制約である
- 正しい解釈には、Pearlの back-door criterion や do-calculus のような因果モデルが必要であり、単純集計よりもデータ生成過程の理解が重要である
現象と名称
- シンプソンのパラドックスは、複数のデータ群で見られる傾向が、群をまとめると消えたり逆に変わったりする現象である
- 頻度データに過度な 因果解釈 を与えるときに特に危険であり、交絡変数と因果関係を統計モデリングで適切に扱う必要がある
- 統計の誤用がどのように誤った結果を生みうるかを示す代表例として用いられる
- Edward H. Simpson が1951年の技術論文でこの現象を説明し、Karl Pearson は1899年に、Udny Yule は1903年に類似の効果に先立って言及していた
Simpson's paradox という名称は Colin R. Blyth が1972年に導入した- 別名として Simpson's reversal、Yule–Simpson effect、amalgamation paradox、reversal paradox がある
UC Berkeley大学院入試の事例
- 1973年秋の University of California, Berkeley の大学院入試データでは、全体集計では男性志願者のほうが女性志願者より合格可能性が高く、その差は偶然とは考えにくいほど大きかった
- 志願者総数12,763人の合格率は41%
- 男性8,442人の合格率は44%
- 女性4,321人の合格率は35%
- 学科別情報を反映すると、全体集計とは異なる様相が現れる
- 女性は合格率の低い、より競争の激しい学科に多く出願する傾向があった
- 男性は合格率の高い、比較的競争の緩やかな学科に多く出願する傾向があった
- 集計データと補正後データは 女性に有利な小さいが統計的に有意なバイアス を示した
- 全85学科のうち、女性に不利な有意バイアスを示した学科は4つ、男性に不利な有意バイアスを示した学科は6つだった
- 結論は、偏った学科数そのものではなく、各学科の志願者全体に対する不合格率で重み付けした全学科の性別入学結果に基づいている
腎結石治療の事例
- 実際の医学研究で、腎結石 の治療 A と B の成功率を比較するときにシンプソンのパラドックスが現れる
- Treatment A は開腹手術の手順を含む
- Treatment B は閉鎖手術の手順を含む
- 結石サイズ別に見ると Treatment A の成功率のほうが高い
- 小さい結石: A は93%
(81/87)、B は87% (234/270)
- 大きい結石: A は73%
(192/263)、B は69% (55/80)
- 結石サイズをまとめると Treatment B のほうが高い成功率を示す
- 全体: A は78%
(273/350)、B は83% (289/350)
- 逆転は、治療の選択と症例の難易度が同時に作用することで発生する
- 医師は大きい結石にはより優れた Treatment A を、小さい結石には相対的に劣る Treatment B をより多く適用する傾向があった
- 結石サイズが成功率に大きく影響するため、治療の選択よりも症例の重症度が全体比率に強く作用した
- 効果の低い Treatment B がより効果的に見えたのは、治療しやすい小さい結石の症例により頻繁に適用されたためである
- Jaynes は Treatment A が Treatment B より明らかに優れている一方で、腎結石の大きさ がより重要な変数だとみなした
プロ野球の打率の事例
- シンプソンのパラドックスは、プロ野球選手の 打率 にも現れうる
- ある選手が複数年それぞれでは別の選手より打率が高くても、全年度を合計するとより低い打率になることがある
- Ken Ross は、1995年と1996年の Derek Jeter と David Justice の打率でこれを示した
- 1995年: Jeter は
12/48、.250；Justice は 104/411、.253
- 1996年: Jeter は
183/582、.314；Justice は 45/140、.321
- 合算: Jeter は
195/630、.310；Justice は 149/551、.270
- Justice は各年それぞれで Jeter より打率が高かったが、2シーズンを合計すると Jeter のほうが高い打率を記録した
- Ross によれば、ありうる選手ペアのあいだでこの現象はおよそ年1回観察されうる
ベクトルで見る比率の逆転
- シンプソンのパラドックスは、2次元の ベクトル空間 でも説明できる
- 成功率
p/q、すなわち 成功/試行 は、傾き p/q を持つベクトルで表せる
- 2つの比率をまとめると、平行四辺形の法則に従うベクトル和として表され、その和の傾きが結合後の成功率になる
- 個別比較では一方のベクトルの傾きが他方より小さくても、2つのベクトルを合成した結果の傾きは逆により大きくなることがある
- このような逆転が起こるには、一方のベクトルの一部が他方のベクトルの一部より大きい傾きを持つ必要があり、それらのベクトルは通常より長く、全体比較を支配する
相関関係と因果解釈
- シンプソンの逆転は 相関関係 においても生じうる
- 2つの変数が全体では正の相関を示していても、隠れた交絡変数を反映すると実際には負の相関を持つことがある
- 経済学の例では、全体データだけを見ると需要が価格と正の相関を持つように見えるが、時間変数を反映すると複数期間にわたって期待される負の相関が現れる
- 時間の影響を無視して需要と価格だけを描くと、相関関係は正に反転する
- シンプソンのパラドックスは、符号の逆転は不可能だという直感が古典論理や確率計算だけからは導けないことを示している
- Savage の sure-thing principle の限定的な形は、Pearl の do-calculus から導出できる
- ある行動 A が各下位集団で事象 B の確率を高めるなら、その行動が下位集団の分布を変えないかぎり、全体集団でも B の確率を高めるはずである
- Pavlides と Perlman は、一様分布に従うランダムな
2 × 2 × 2 表でシンプソンのパラドックスがちょうど 1/60 の確率で発生することを示す証明を提示した
- Kock の研究では、2つの予測変数と1つの基準変数を持つパスモデルにおいて、シンプソンのパラドックスがランダムに発生する確率は約
12.8%、すなわち8個のパスモデルあたり1回をやや上回る水準だった
Simpson の第二のパラドックスと因果グラフ
- Simpson の1951年論文には、あまり知られていない第二のパラドックスも含まれている
- この場合、腎結石の事例のように分割されたデータに常に合理的な解釈があるわけではなく、まとめたデータのほうが正しい解釈である可能性がある
- 分割データと結合データのどちらを使うべきかは、データを生成した 過程 に依存する
- したがって、表を観察するだけでは正しい解釈を常に決定できない
- Judea Pearl は、分割データが変数
X と Y のあいだの正しい因果関係を表すためには、分割変数が back-door criterion というグラフ条件を満たす必要があることを示した
X と Y のあいだのすべての見せかけの経路を遮断しなければならない- どの分割変数も
X の影響を受けてはならない
- この基準は Simpson の第二のパラドックスに対するアルゴリズム的な解決策を提供し、同じデータと両立する異なるグラフが異なる back-door criterion を要求しうることを説明する
- 共変量集合
Z が back-door criterion を満たすなら、調整公式は X が Y に及ぼす正しい因果効果を与える
- そのような集合がない場合は、Pearl の do-calculus によって因果効果を推定する別の方法を見つけられる
- do-calculus の完全性は、シンプソンのパラドックスに対する完全な解決とみなせる
批判と実務的含意
- ある批判では、シンプソンのパラドックスは実際のパラドックスというより、交絡変数 を適切に反映していないか、変数間の因果関係を考慮していない結果にすぎないとされる
- パラドックス自体に注目しすぎると、より重要な統計的問題から注意が逸れる可能性がある
- 別の批判として、見かけ上のシンプソンのパラドックスは、データを層化したりグループ化したりする方法の結果である場合がある
- データを別の方法で層化したり、別の交絡変数を考慮したりすると、この現象は消えたり逆に変わったりすることがある
- Simpson の例は、下位集団の高い比率をまとめても単純平均にはならない noncollapsibility の現象を強調している
- それでもシンプソンのパラドックスは、統計とデータ分析において引き続き研究・議論される主題であり、単純なデータ解釈の落とし穴を示す事例として残っている
1件のコメント
Hacker News のコメント
昔 The Hut Group でデータアナリストとして働いていたとき、実際に経験したことがある
マーケティングチームは、1年を通じて売上に対するマーケティング費用の比率が全製品群で下がったと言っていたが、年末に経営陣は売上原価全体が10%からほぼ20%へ、ほぼ倍増しているのを見て驚いた
財務チームの依頼で確認してみると、マーケティングチームの数字は正しく、ゲーム・ビューティー・栄養製品群のマーケティング費用比率はそれぞれ約15%→10%、30%→25%、50%→30%へと、いずれも低下していた
ただし 製品群の構成 が大きく変わり、栄養製品群が全体売上の10%程度からほぼ50%まで拡大しており、最も費用比率の高いカテゴリが大きくなったため、全体のマーケティング費用比率は上昇した
結局、各カテゴリの販売効率は改善していたが全体指標は悪化しており、会計担当者たちに ユール＝シンプソンのパラドックス を説明するという面白い役目を担うことになった
Googleの有名な事例では、あるネットワークエンジニアがインドネシアのような場所に行き、サービスが遅いことに気づいて尋ねると、皆「いつもそうだった」と答えた
現地のモバイル網は遅く、島外へ出る光ファイバー接続は飽和していたため、本社に戻ってペイロードサイズを削減する最適化を行い、ダウンロードサイズを半分にして展開したが、平均およびp95レイテンシはむしろ増加した
客観的には良い変更がなぜ悪く見えたかというと、サービスが大きく改善されたユーザーたちが、はるかに多く使い始めたからだ
帯域幅の負担は減っても、データセンターまでのネットワーク遅延は米国ユーザーより大きく、「それほどひどくなくなった」サービスをより多く使うことで、全体指標を押し上げた
リクエストテレメトリの特定の断片だけを見てシステム全体を十分にモデル化しなかったり、誤った変数をコントロールして結論を誤るケースは多い
最悪なのは、Simpsonのパラドックスが生む 責任転嫁のループ で、アプリ開発者はサーバー側のリグレッションを責め、サーバーチームはアプリチームを責める、といった形になる。サーバーとアプリのリリーススケジュールが偶然あまりにうまく重なって起きることもある
Irisのような「古典的な」おもちゃデータセットでも見られる: https://github.com/DataForScience/Causality/blob/master/1.2%...
マーケティングチームが過剰最適化して非栄養製品の需要が減ったという意味なのか、栄養製品を製品群から外せば個別製品と全体効率の両方が良くなるという意味なのか、それともこうした指標では不十分なので比率ではなく総変化量を見るべきという意味なのか、ピンと来ない
統計学を専攻したわけではないが、生物学的効果をモデル化する分野では、こうした問題にそのようにアプローチすることが多い
例: https://www.pymc.io/projects/examples/en/latest/generalized_...
ただしマーケティングは客観性よりも前向きさを選ぶ側で、自分たちの行動を裏付ける事実だけを選ぶ傾向がある
Jordan Ellenbergの引用が本当に良い
パラドックスと呼ぶのは、最初の直感に反し、矛盾のように 見える からであって、必ず実際に矛盾していなければならないからではない
むしろ名前の付いたパラドックスの大半は実際には矛盾ではないと判明する可能性が高い。間違って見え、実際にも間違っているものは、名前を付けるほど面白くなりにくいからだ
量子力学 のことを言っているようだが、量子力学や自由意志を正確に表しているようには見えないし、エピクロス派が量子力学を知っていたはずもない
それらをまとめて扱い、複数可能性思考 とどう関係するのかを示してくれる良い入門資料があるとよい
まず光は正確には 質量が0 であり、質量のない粒子だけが正確に光速で、しかもその速度でのみ移動できる
第二に、光の 波動粒子二重性 が抜け落ちている。これは「同じデータを考える二つの異なる方法」というSimpsonのパラドックスの説明にも似ており、これなしには光や観測中の統計システムの動作を十分に理解することはできない
ずっと以前、入門統計を教えていたとき、住宅価格をSimpsonのパラドックスの良い例として使っていた
学生たちに計算演習で実データを調べさせたのだが、当時のデータは2008年の米国住宅売買データで、今では15年ほど前の資料になる
そのとき、一戸建て住宅の平均売却価格は、セントラル空調がない家のほうが、ある家より高かった
しかし州別に分けると、すべての州で関係が逆になり、セントラル空調がある家のほうが、ない家より高かった
全国平均でセントラル空調のない家の価格が高く出た主な理由は、カリフォルニアの高価な住宅の中にセントラル空調のない家が多かったためだった
この場合、全国平均はあまり重要ではなく、自分の家、自分の通り、自分の地域が重要になる
一方でマーケティングのような場合、まず重要な統計は全体の純利益であり、その次に要因を掘り下げる際には、マーケティング費用より先に事業比率を見ることになる
ネットワークの例での目標は速度やレイテンシではなく、使用量/スループットである
最初から誤った統計を選ぶと、誤った結論につながる
https://en.wikipedia.org/wiki/Berkson%27s_paradoxも知っておく価値がある
母集団が偏った形で作られるとき、誤りが入り込む経路はいくらでもある
この2つの効果は、「データ駆動」プロセスから生じる愚かな意思決定のかなりの部分を説明してくれる
データが真実と正反対のことを示唆するのは珍しくない
実際に働いている因果要因を理解していなければ、データがどれだけ多く、統計をどれほど多様な方法で切り分けてみても、得られる知識は非常に限られる
たとえばSimpsonのパラドックスの記事に出てくるUC Berkeleyの事例では、データは、入学手続きをより公平にするために人々が別の対応をすべき「バイアス」について、有用なことをほとんど教えてくれない
入学手続きが主に学科単位で管理されているのか、大学全体単位で管理されているのかといった文脈なしには、あり得るバイアスをどこで探すべきかも分からない
Wikipediaページの短いアニメーションは、1枚の絵が千の言葉に値することを示す素晴らしい例だ
[https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animat...](https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animation.gif)
LordのパラドックスはSimpsonのパラドックスと密接に関連しており、視覚的には少し理解しやすい: https://repository-images.githubusercontent.com/597130499/46...
横軸が薬の用量で、縦軸が睡眠時間のような反応だと想像すればよい
Lisaの反応を見ると、用量を増やすほど睡眠が減るのは明らかで、Bartも同じだ
しかし全データで線形回帰をすると、赤い線のように用量が増えるほど睡眠が増えるという結果になり、これは誤った結論である
少し前まで、Simpsonのパラドックスが因果推論の教訓だとは知らなかった
正しいパラダイムを適用すれば、パラドックスは消える
より良い記事はこちら: https://plato.stanford.edu/entries/paradox-simpson/
最初に見たときは、The SimpsonsでMr. Burnsが「互いに打ち消し合うほど、とんでもなく多様な病気」を抱えているエピソードのことかと思った
説明はこちら: https://simpsons.fandom.com/wiki/Three_Stooges_Syndrome
類似性は驚くほどだが、90年代後半のThe Simpsons脚本陣の天才ぶりを考えると、意図的だった可能性が高い
https://en.wikipedia.org/wiki/Hickam's_dictum
[0] https://www.independent.co.uk/arts-entertainment/tv/news/the...
UC Berkeley の入学で性別バイアスがあるように見えたという例を読んでいて、こんな内容を見かけました。
「女性は合格率の低い、より競争の激しい学科に出願する傾向があり、資格のある出願者の間でもそうだった。たとえば英文学科がそうだった。一方、男性は合格率の高い、競争の少ない学科に出願する傾向があり、たとえば工学科がそうだった」
予想と逆で驚きました。
英語や芸術全般は STEM よりずっと入りやすいと思っていたのですが、オーストラリアではそう感じます。
ここでいう「入る」とは、産業界ではなく大学入学のことです。
このデータは大学院課程への出願資料です。
工学には資金がはるかに多く、工学の博士課程に進む学生のかなりの割合は学費を自分で払っていません。
人文学には資金が非常に少なく、ほとんどの学生は人文学の博士号に大金を払いたがらないため、学科が入学定員を厳しく制限します。
そのため、十分に有能であれば、工学の博士課程に入るほうが簡単です。
工学を一緒に学んでいた友人が幻滅してジャーナリズムに進みたいと思い、大学の Communications プログラムへの転科を申請したのですが、年に10人も採らないほど競争が激しく、結局落ちました。
しかし競争度は、合格者数 / 出願者数という合格率として見ることもできます。
非常に人気のある専攻で、高い ATAR を持つ出願者の割合が不均衡に低いなら、この2つの指標は同時に成り立ち得ると思います。
ここで見ているのは合格率 = 合格者数 / 出願者数であって、概念的な意味での全体的な難易度とは同じではない、というのが答えのように思います。
数学の大学院に出願する人は、数学の学士で良い成績を取った人か、ほかの STEM 専攻で理論数学の科目をかなり履修した人だけです。
芸術系はより幅広い背景の出願者を引きつけますし、STEM から他分野へ移る人も、その逆よりはるかに多い気がします。
自分の短編小説が素晴らしいと信じ込むのは、他人が同意しないとしても簡単ですが、数学の証明が客観的に間違っているのに正しいと自分を納得させるのはずっと難しいです。
そのため、出願者側の自己選別があまり起こらず、合格率が低くなります。
工学科は質的に入るのが難しく、人文学は量的に難しくなりがちです。
あの可視化があまりに効果的だったので、Wiki を読む必要がありませんでした。
それだけ見てもすぐ理解できました。