- 科学で統計的有意性を判断する際に広く使われる t-test は、ビール製造の品質管理の問題から生まれた
- 20世紀初頭、世界最大の醸造所だった Guinness は、勘や匂いに頼っていた品質管理を、一貫性と産業的厳密さを重視するものへ変えようとしていた
- William Sealy Gosset は、ホップの樹脂含有量のように小標本しか測定できない状況で、実際の差と偶然の変動を見分ける方法を考案した
- t-test は、標本平均の差とデータのばらつきをあわせて見る信号対雑音比を用い、小標本では正規分布より裾の厚い t分布 が必要になる
- Guinness は競合他社に研究内容を知られたくなかったため、Gosset は「Student」という筆名で発表し、この方法は今も科学の中核的な統計ツールであり続けている
Guinnessの品質管理から生まれた統計手法
- Guinness醸造所は、創業者 Arthur Guinness が Dublin で年額45ポンドの9,000年賃貸契約を結んで以来、革新的な方法で知られてきた
- ビールに関する革新としては、数学者出身の醸造家 Michael Edward Ash が4年にわたる試行の末に作り上げた化学的手法がある
- この手法は Guinness stout のなめらかな泡の層を作るのに使われる
- 窒素ガスをケグや缶の中の小さな球に入れる方式が含まれる
- その後、ビールやコーヒーの「nitro brew」スタイルへとつながった
- 醸造所から生まれた最も影響力の大きい革新は、ビールそのものではなく t-test だった
世界最大の醸造所が抱えた小標本の問題
- 20世紀初頭、Guinness は約150年にわたり操業してきた世界最大の醸造所だった
- 当時の製品品質管理は、おおむね目視と匂いの検査に頼っていた
- 世界展開への要求が高まるなか、経営陣はより一貫性があり、産業的厳密さを備えた品質管理へ移行しようとした
- 会社は研究チームを雇い、完璧なビールを作るための問いを探究する裁量を与えた
- どこで最高の大麦品種が育つのか
- 麦芽抽出物の理想的な糖度はどれくらいか
- 最新の広告キャンペーンが売上をどれだけ押し上げたか
- 研究チームが繰り返し直面した難題は、小さな標本サイズでデータを解釈することだった
ホップの事例で見る統計的有意性
- ホップの花は Guinness の苦味と天然の防腐作用に重要な材料であり、醸造家たちはホップの品質を評価するために soft resin 含有量を測定していた
- 例では良い代表値を 8% とし、9個の標本を測定したときに値が 4〜10% の範囲で平均が 6% だった状況を想定する
- すべての花を検査するのは経済的に不可能なため、無作為標本を調べる必要があった
- 標本平均 6% が得られたとき、考えられる解釈は2つある
- 作物全体の soft resin 含有量が実際に異常に低い
- 作物全体は正常だが、たまたま低い標本だけが選ばれた
- 判断の核心は、標本の低い樹脂含有量が 8% と有意に異なるのか、それとも自然な変動なのかを見分けることにある
科学全般で繰り返される判断
- この問題は醸造に限らず、科学研究全般に現れる
- 医学試験で治療群とプラセボ群の両方が改善したものの、治療群のほうが少し良かった場合、その薬を勧めるだけの十分な根拠があるかを判断しなければならない
- 2つの集団が異なるプラセボを受け、一方の結果がより良かった場合、そのプラセボに薬効があるのか、自然な改善なのかを見分ける必要がある
- こうした判断は結局、統計的有意性の問題へと行き着く
Gossetのt-testが解決した点
- 小標本サイズでこうした問題を扱う理論は、Guinness の William Sealy Gosset が t-test を作るまで発展していなかった
- 統計的有意性という概念そのものは Gosset 以前にもあったが、それ以前の統計学者たちは主に大標本を扱っていた
- ホップの例で問われるのは、作物全体の平均が 8% である世界で、平均 6% のような極端な値を観測する確率はどれほどか、ということだ
- この確率は P値 と呼ばれ、伝統的には 5% または 0.05 より小さければ統計的に有意と見なされることが多い
信号、雑音、そしてt分布
- P値には通常、2つの要因が影響する
- 標本が母集団で期待される値からどれだけ離れているか
- 大きな偏差がどれほどよく起こるか
- 標本平均 6% と期待値 8% の差は信号にあたる
- 差が大きいほど、作物の soft resin 含有量が実際に低い可能性は高まる
- 花どうしの標準偏差は雑音にあたる
- 標準偏差が大きければ、平均 6% はそれほど心配すべきことではないかもしれない
- 標準偏差が小さければ、6% は期待値 8% から実際に外れた信号かもしれない
- 理想的な場合は信号対雑音比を計算し、その比率が 5% 基準に達するほど大きいかどうかを判断する
- Gosset の時代の統計学者たちは、実験を何度も繰り返して信号対雑音比を描くと、標準正規分布、つまりベル型曲線に似た形になることを知っていた
- Gosset は、このアプローチが大標本でしかうまく機能せず、小さなホップ標本では正規分布が保証されないことに気づいた
- 彼は小標本サイズに適した新たな分布を丁寧に表にまとめ、これが今日 t分布 と呼ばれている
- t分布は正規分布のようにベル型だが、裾がより緩やかに減衰する
- そのため小標本では、有意性を判断するにはより大きな信号対雑音比が必要になる
なぜ醸造所から生まれたのか
- John D. Cook は 2008年のブログ記事で、t-test がワイナリーではなく醸造所から生まれたことは驚くに値しないかもしれないと書いている
- ビール醸造家は製品の一貫性を求める一方、ワイン生産者は多様性を楽しむという違いがある
- ワインには「当たり年」があり、ボトルごとに物語があるが、Guinness は毎回同じ固有の味を出さなければならない
- このように均一性への要求が、統計的革新へとつながった
「Student’s t-test」という名前
- Gosset はこの新手法で醸造所のさまざまな問題を解決した
- 独学の統計学者だった彼は、Guinness が競合他社に研究内容を知られたくなかったため、「Student」という筆名で t-test を発表 した
- Gosset は産業品質管理を切り開き、定量研究に多くのアイデアを貢献したが、多くの教科書はいまなお彼の代表的成果を Student’s t-test と呼んでいる
- 彼の名前は歴史の中であまり前面に出てこなかったが、t-test は現在に至るまで科学で最も広く使われる統計ツールの1つである
1件のコメント
Hacker Newsの意見
生化学の歴史にも面白い一節がある: Chaim Weizmann は生化学者であり強いシオニストでもあり、第一次世界大戦中に海軍砲兵の推進剤であるコルダイトの製造に必要なアセトンを作れる Clostridium acetobutylicum を培養して Winston Churchill の注目を集めた。
戦争への貢献への見返りとして George Lloyd が英国に何ができるかと尋ねると、Weizmann は「私のためではなく、私の民族のために」と答え、これがユダヤ民族の故郷の提供を約束した Balfour Declaration につながった。
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
Balfour Declaration にはパレスチナ人が追い出されてはならないという条項もあったが、ほとんど忘れられており、Weizmann が英国に来てから George Lloyd に会うまでには Albert Einstein を売り込むための世界巡回など、かなりの政治工作もあった。
最近読んだ David Fromkin の A Peace to End All Peace は、Weizmann の役割と Balfour Declaration が形成された背景を深く扱っており、書中の結論の一つである、ローマ以後に帝国秩序が崩れた後、ヨーロッパが国民国家と政治的アイデンティティを整理するのに 1,500 年近くかかったという一節が長く心に残った。
中東の現在の危機も、深さや期間は異なるとしても、古い帝国秩序の崩壊後にさまざまな民族がどのような新しい政治的アイデンティティへ再編されるのかという同じ問題を扱っている、という解釈が印象的だった。
連合国が戦後のユダヤ人難民を再定住させる計画を作ったわけでもなく、むしろ当時のユダヤ人は英国委任統治領パレスチナに入ることすら禁じられていた。
イスラエル人は、米国が英国からの独立を宣言したのと同じように、英国の意向に反して自ら国家を宣言した。
また、その地域に関するいかなる「計画」も内戦を予定してはいなかったが、内戦は実際に起きており、実現しなかったさまざまな計画に合わせて事後的に出来事をはめ込むのは修正主義的解釈に近い。
ヨルダン川西岸のアラブ人がイスラエル人から受けた扱いが、彼らがイスラエル人にしようとしていたことより悪かったとまでは言いにくく、ただしアラブ側は軍事衝突に敗れた後、自分たちの長年のユダヤ人共同体も追放した。
昨年の夏にポーランドへ行ったとき、両大戦間期のポーランドの複数のユダヤ人指導者が ユダヤ人民族国家 を支持していたが、政府を説得してそれを公に宣言させることはできなかったと知った。
当時、ユダヤ人がポーランド人口の最大 25% を占めていたことを考えると、なおさら驚きだった。
彼が宣言を通した動機には、英国がユダヤ人に自分たちの国を与えれば、世界ユダヤ人の陰謀の中で強力な同盟を得られ、同時にユダヤ人が英国に留まって政治・文化・経済を操ることもなくせる、という考えが少なくとも一部あった。
Wikipedia に引用されている 1919 年の Balfour の文章でも、シオニズムは西洋文明が「自らの内にいるユダヤ人という集団」を外来的かつ敵対的なものと見なしながらも追放も吸収もできないことで生じた長年の苦痛を和らげるだろう、と書いている。
彼は、シオニズム支持と反ユダヤ主義 が互いに矛盾せず、実際に両立しうることを示す最良の例である。
Hitler が政権を握った後も、ドイツ政府の支援のもとでドイツ系ユダヤ人のパレスチナ移住を助けるシオニスト・プロジェクトがあり、もちろんあらゆる移住と同様に第二次世界大戦の開始とともに終わった。
Nazis がそのプロジェクトを好んでいたという意味ではないが、積極的に反対もしなかった。その代わり、移住するユダヤ人に資産の清算を強い、国外へ移せる財産を大きく制限し、その後 Holocaust の中でユダヤ人事業主の資産を没収して再び民営化した。
興味深い記事だ。統計の授業ではこういう話は聞かなかった気がする
Gossetは新しい手法で醸造所のさまざまな問題を解決し、Guinnessは研究内容を競合他社に知られたくなかったため、Studentという筆名でt検定を発表した
Gossetは産業品質管理の先駆者であり、定量研究にも多くの貢献をしたが、ほとんどの教科書はいまでも彼の業績を「Studentのt検定」と呼んでいる
Gossetは正しい分布を理論的に導出するための数学的背景が不足していたため、標本サイズごとの抽出を何千回もシミュレーションし、曲線を当てはめて分布を見つけ出した
当時のシミュレーションとは、何千枚ものカードに数字を書いて混ぜ、それから標本を抽出して平均と標準偏差を計算し、これを何千回も繰り返すことだった
彼はきちんと証明できなかったことを申し訳なく思う姿勢で結果を発表した
統計の教科書はあまりにも無味乾燥で、こういう話を伝える余裕がほとんどない
産業の現場で有用な発見があっても、経営陣が競争上の情報漏えいを恐れて埋もれさせたケースがどれほど多いのか気になる
たとえ一人でなくても、結局は誰かが発見しうると信じるなら、そうした発見も最終的には独立に再発見された、あるいは再発見されると考えることはできる
関連して、会社が倒産したり買収されたりするときに、価値ある研究がどれほど失われるのかも気になる
たとえばMCC関連の1990年代の「エージェント」や「マルチエージェントシステム」の論文を読むと、「MCC Technical Report TR86-32791」のような参考文献がよく出てくるが、一部はオンラインで見つかっても、かなり多くの報告書は見つけにくいか不可能に思える
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
HNで「シャーディング」という用語の起源をたどったときも似ていた。多くの証拠がCCAの社内論文を指しており、CCAはXeroxに買収されたが、元の論文はいまでは事実上入手できない
Xeroxのどこかにはあるのかもしれないが、手に入れるのは非常に難しいだろう
https://news.ycombinator.com/item?id=36848605
そこの記念銘板が、Gossetと彼の統計学への貢献を思い出させてくれる
このちょっとした背景を知って、個人的にはかなりすっきりした
AWSに最初に入社した年に働いていたのがDUB1サイトで、Digital Hubという技術・インキュベーター空間の一部だった
偶然にもAmazonの小さなオフィスはWilliam Sealy Gossetの旧実験室にあり、Guinnessの管理作業場があったSt. Patrick's Towerのすぐ隣だった
元統計学講師として、私たちがどれほど幸運な場所で働いているかを同僚たちに熱っぽく語ったが、ほとんど反応はなかった
ずっと前にWilliam Sealy Gossetをアイルランドの記念切手の人物に提案したことがあるが何も起こらず、いつか彼がもっと評価されることを願っている
Guinnessは時代をはるかに先取りしていて、多くの面で当時のGoogleのようだった。住宅提供、高賃金、優れた福利厚生まで備えていた
祖父がそこで働いていたので、父の兄弟姉妹はみなGuinnessのプールで泳ぎを習った
もう一つ面白い事実として、缶で良い泡を作るためのウィジェットが今年の発明品に選ばれたが、その年はインターネットが発明された年でもあった
Guinnessについてさらに面白い話は、この記事が良い: https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
今日では酒場の議論をGoogleで解決するように、当時はまさにその目的で本が出版されていた
Guinness醸造所の隣の学校に通っていて、ホップを煮る匂いは一生忘れられそうにない
ただ、学校はいろいろな意味で非常に貧しく、1980年代のアイルランドで大量失業と大規模移民の時代だったにもかかわらず、Guinnessは学校のサッカーチームの用具提供をしてくれなかった
皮肉なことに、ある卒業生がApple Macを数台とApple IIeを十数台寄付してくれたおかげで、その学校には時代を先取りしたコンピュータ室があった
そこでおそらくBASICプログラミングを独学し、最初のスキルを身につけた
本題に戻ると、Guinnessは常に賢く時代を先取りしていて、そこに就職するのは宝くじに当たるようなもので、事実上生涯が保証される仕事だった
こういう話が好きだ
学部の統計教科書で運よくこの事実に触れ、その後ダブリンでGuinness醸造所を見学したときにもGossetに関する小さな展示があった。ただしGossetが実際にいたのはイギリス側の醸造所だった
有機化学で知ったもう一つ面白い事実は、ロシアの作曲家Alexander Borodinが「In the Steppes of Central Asia」と「Prince Igor」を書いた作曲家だった一方で、作曲は余暇の活動にすぎず、本業はアルドール反応の共同発見者である有機化学者だったということだ
https://en.wikipedia.org/wiki/Alexander_Borodin
2019年に発表した際、この逸話を取り上げていた
きちんと生かすには、壇上にGuinnessを持ち込んで実際に栓を開ける必要があった
退役した外洋客船をホテル兼カンファレンス会場に改装した場所で撮影されたEuRuKoの映像: https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
驚くことではない。ほぼすべての製造業は、統計的手法を試すのに最適な環境に見える
十分な規模があるので、わずかな差でも大きな金額を節約でき、そのためかなり早く利益が出る
t検定は、より高度な手法と比べると単純なのに巧妙で、いつも印象的だった
1900年代初頭の栽培と農業は、分散分析、ブロッキング要因、交絡要因、要因・水準・範囲、完全要因計画のような実験計画法の恩恵を大いに受けた
今日では、F統計量や臨界F値のようなものは当然視されている
原文は残念ながら、Gossetの仕事とt検定の核心をおおむね見落としている印象がある
Gosset/Fisher/Pearson/Neymanを現代風に混ぜ合わせた帰無仮説有意性検定の教育を受けた人たちがよくやるやり方だ
重要なのはp値を計算できることではなく、偽陽性率と偽陰性率をトレードオフしながら経済的に合理的な判断を下す意思決定フレームワークだという点だ: https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
この場合、醸造所の記録では不良バッチの比率がテストと試飲によってよく整理されていたため、一定数の試験サンプルのコストを節約する代わりに、どの程度の「悪い」バッチを許容するかを決められた
たとえば、偽陰性によって悪いバッチ100件のうち1件を許容し、良いバッチ20件のうち1件を棄却すると決めれば、必要な標本数nが出る
測定値の分散を下げれば、同じトレードオフを達成するのに必要な標本数が減り、これは廃棄材料や試験コストの削減として直接お金になる
標本数は小さいほどよかったので、Studentは漸近法や近似を使えず、近似では何桁も誤ることがありえた。n = 2の検定さえ試していた
あるいは、アルコール度数が課税基準を超えないようにしつつ、顧客を失望させるほど低くならないよう非常に緻密に最適化しようとしていたのかもしれない
Gossetは「必要な精度、すなわち0.5の精度で10対1のoddsを得るには、少なくとも4回測定した平均を使う必要がある」と計算し、Guinnessの取締役会はこれを歓迎した
これが主観ベイズの意思決定理論のように聞こえるならその通りだが、Studentは大半の統計学者と同様にそれを退けただろうし、既知のベース率を持つ母集団を扱っているのだからベイズは不要で、これは単なる頻度主義的意思決定理論だと強調しただろう
ときどき、t検定が、点を散らして表示した2つの箱ひげ図、あるいはデータ数についての別の表示と比べて、実際どれほど有用なのか気になる
箱ひげ図で明確に示されないのなら、十分な点があるという前提で、t検定だけで本当に説得力のある主張ができるのだろうかと思う
t検定は独立に計算して検証できる