マシュマロ・テスト、成人期の機能予測には信頼性が低い
(srcd.onlinelibrary.wiley.com)遅延満足と成人期の結果: マシュマロ・テストは成人期の機能を信頼性高く予測しない
- 研究概要
- この研究は、Watts et al. (2018) の分析アプローチを拡張し、遅延満足の長期的な予測妥当性を調査した。
- 参加者（n = 702、83%が白人、46%が男性）は、54か月時点（1995-1996）にマシュマロ・テストを完了し、26歳時点（2017-2018）に調査票へ回答した。
- 事前登録された分析により、マシュマロ・テストの成績は成人期の達成、健康、または行動を強く予測しないことが示された。
- 教育達成度（r = .17）およびBMI（r = - .17）とのわずかな相関は見られたが、ほぼすべての回帰調整係数は有意ではなかった。
- 遅延満足と社会経済的地位または性別との間に、明確な調整パターンは見つからなかった。
- 結果は、マシュマロ・テストの成績が成人期の結果を信頼性高く予測しないことを示している。
- 遅延満足能力の予測妥当性および構成概念妥当性について議論している。
データ利用可能性に関する声明
- この研究は Open Science Framework（osf.io/67XFN）に事前登録されている。
- 本研究で使用されたデータ（成人期ウェーブ SECCYD）は公開されていないため、分析構文を提供している。
- 主要変数の相関行列および記述統計を提供している。
- SECCYD サンプルの過去のデータ収集ウェーブは、Inter-University Consortium for Political and Social Research（icpsr.umich.edu/web/ICPSR/series/233）で利用可能である。
GN⁺の要約
- この研究は、マシュマロ・テストが成人期の達成、健康、行動を予測するうえで信頼できないことを示している。
- 教育達成度とBMIとのわずかな相関はあるが、ほとんどの回帰調整係数は有意ではない。
- 遅延満足能力の予測妥当性および構成概念妥当性に関する議論が含まれている。
- この研究は、遅延満足テストの長期的な有効性に関する従来の考え方を再検討するうえで有用である。
- 類似のテーマを持つ研究として、Moffitt et al. (2011) の研究が推奨されている。
1件のコメント
Hacker News の意見
元の研究結果は、より大規模な2018年の研究で疑問が呈されていました。元の研究は学生90人が対象で、追試研究は900人を対象にし、同じ相関関係を見つけたものの、世帯所得を統制するとその大半が消えたとのことです
自然な結論は、世帯所得が満足の遅延能力と学業成績の両方の予測因子だということです。貧しい家庭で育つと、物質的資源へのアクセスがより不安定で予測しにくいため、将来のより大きな報酬よりも目の前の機会をつかむほうが合理的な場合があり、学業面の支援も不足しがちです。今回の新しい研究はさらに踏み込み、相関関係そのものも弱いと見ています
[0] Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological Science, 29(7), 1159-1177. https://doi.org/10.1177/0956797618761661
多くの人は、明示的な人種データを取り除けばモデルから人種が消えると素朴に考えますが、実際には間接的に残ります。人種や政治だけでなく多くの要因でも同様なので、因果統計ははるかに異なり、難しい分野になります。ここでいう予測因子は原因という意味ではなく、相関しているという意味ですが、この言葉は混乱を招くのであまり好きではありません
過労している裕福な人にも悪い習慣は多いでしょうが、成功したキャリアがあるため、それは対処メカニズムのように扱われ、生活の一部として切り分けられます。こうした研究が結局、研究者と上位中産階級の人口が重なるという理由で、その階層の立場を合理化する方向に現れるのだとしたら、私のシニシズムが正当化されるだけです
結論を出すには、所得差が完全に外生的で、共有要因によるものではない自然実験を見つける必要があります
逆に、黒人かどうかには他の共変量では説明されない効果があるという意味なら、かなり議論を呼ぶでしょう
この実験のさまざまな細部を見て、社会科学への信頼と関心が大きく減りました。定量生物学の訓練を受けた立場からこうした研究を見ると、研究者が仮説は真であると誤って結論づけてしまう要因が長々と見えてきます
この場合、研究者には質の高い研究をしようとする関心が十分になく、道徳的信念や価値判断から出発して実験を行い、その結果を自分たちの「仮説」を裏付ける形で解釈したように見えます。社会科学の性質上、本当に誠実な実験を行うのは非常に困難です
ところが、その区別は時代精神の中で大きく薄れ、今では多くの人が「科学ジャーナル」に載ったものなら何でも健全だと受け止めます。これは一般の科学リテラシーにおける大きな後退であり、人々が本物のハードサイエンスの結論までも次第に疑うようになる土台を築いています
子どもに提示した「取引」の正確な文言は何だったのか、文言が変わると結果も変わるのか、食料が不足している時期だったのか豊富な時期だったのか、当時その子が「どう振る舞うべきか」についての文化規範は何だったのか、すべて影響し得ます。子どもの平均年齢が6か月上でも下でも変わるかもしれませんし、試験場所の水・空気・塗料も関係するかもしれません
こうした潜在的交絡要因を前にすると、電子に関する物理学の衝突実験よりも多くの統計と統制が必要に見えます。ところが物理学者でさえ、単純で再現可能な環境でも発見基準として厳格な5シグマを設けており、3シグマの外れ値は現れては消えます。心理学でそのような基準を現実的に想像するのは難しいので、信頼できる経験科学になるのは難しいと思います
実際の科学者たちのもっと退屈な文章を読んでみると、何年も前から不満を表明していました
点数が低いと、それより低く推定できる余地が限られるため自分の能力を過大評価しやすく、点数が高いと、それより高く推定できる余地が限られるため自分の能力を過小評価しやすくなります
興味深いのは、最初に研究をするときは実験が自分の仮説を満たすことを望み、既存研究の上に積み上げるときは再現に成功することを望む、という点だ。しかしこうした有名な結果については、むしろ失敗してほしいと思うようになる。そうすれば人々が自分の結果について語るからだ。
こうした実験には、実験者の欲望によって無意識かつ微妙に影響を受ける方法が数え切れないほどある。付け加えると、マシュマロ・テストの興味深い交絡因子は、報酬が実際に与えられるという信頼を測っている側面が、報酬を待つ能力と同じくらい大きいという点だ。予測不可能な環境にいるなら、そのまま食べたほうがいい。
私は将来のために貯蓄する人をずっと多く見てきたし、むしろ予測可能な環境であるカナダではその逆が多くて驚いた。
今回の記事は全部でたらめなので、どんな交絡因子でも作り出して説明できる、という側を示しているように見える。
このやり方はいつもかなり良さそうに見えた。ただし再現には時間がかかるのに、「悪い」結果がすぐに修正されないことを大惨事のように見る人もいる。
https://www.lesswrong.com/posts/6Tqm8Jet9mzo6buj9/the-dunnin...
高校のAP心理学で学んだ研究は事実上すべて再現に失敗しており、これも含まれる。振り返ると、その授業はよく見ても時間の無駄で、悪く見れば人生の決定に悪い情報を与えた。
マシュマロ・テストの別の解釈は、自己統制と同じくらい信頼を測っているというものだ。研究者がマシュマロを2個くれると信じていなければ、待たないだろう。
約束する大人を信頼する子どもは、自己満足を先延ばしにする傾向がある。
https://pubmed.ncbi.nlm.nih.gov/26799458/
ゲーム理論の観点からも筋が通っている。大人が約束を守るまでの待ち時間について正規分布の事前分布を置くべきだという内部モデル、つまり人生で出会う大半の大人は約束を守るほうだという経験があるなら、待つのは合理的だ。
逆に、経験上べき乗則の事前分布を仮定すべきなら、ある時点で損切りするのは完全に合理的だ。この解釈は、人生の成功が信頼できる親と相関するという意味になり、ある程度美しく、時間要素を見ると実際に因果関係もあると推定できる。
有名な心理学テストで再現されたものはあるのか？
付け加えると、心理学実験は論争的だからこそ有名になりがちで、それ自体が再現可能性に不利なバイアスを生みうる。あまり驚きのない結果を出す退屈な心理学実験は、問題なく再現されることが多いのかもしれない。
いろいろな意味で厄介なテーマだ。
私の周りでは、逸話的にはこれは当たっていました。一緒に育ち学校に通った人たちのうち、目先の満足を先送りし、長期目標を持っていた人たちはかなりうまくいき、計画もなく流れに任せて生きていた人たちは苦労してどうにか持ちこたえる側でした
自分の人生でも、目標やビジョンがあるときと、ただ成り行きで過ごしているときでは成果に大きな差がありました。重要な領域、つまり趣味・パートナー・キャリア・家族・人間関係のすべてに、目標・ビジョン・基準が必要だと思います
「人生でうまくいく」「満足の遅延」「長期目標」は、具体的に測定可能な特性とはかけ離れています。たとえばゲームはいつもセールまで待つけれど、食料不安を経験していて不健康な無料の食べ物も断れない人はどう見ればよいのでしょうか。こうした特性を評価するには、数え切れないほどの変数があります。この研究が示しているのは、小さな指標からそのような大きな筆致で外挿するのは、おそらく賢明ではないということです
逆に、流れに任せて生きていた人たちも同じような普通の技術職にたどり着き、学校でつまずいてコミュニティカレッジをなんとか修了した人たちは、ずっと自分の道を作り続けたおかげで、成功した小規模事業を営んでいます
ある研究分野は、いつまでも科学ではなく芸術であり続けるでしょう。文学、芸術、人間心理学がそうです
優れた作家・芸術家・セラピストは本当に大きな貢献をできますが、厳密な実験を行い、真理を数値で確立することはできません。それでも問題ありません
問題なのは、数値的・「ハード」な学問の訓練を受けていないため、自分たちがでたらめを言っていることにすら気づいていない学界の心理学者たちの一団です。ここでいうハードとは難しいという意味ではなく、よく定義されているという意味です
子どもの頃、マシュマロ・テストのような状況を経験した記憶がありますが、そこで満足の遅延を学んだのではなく、待ったり犠牲を払ったりするとカモにされるのだと学びました
「今これを諦めれば、後で2つあげる」は、しばしば「2つ目のマシュマロはなく、1つ目も返ってこない」になりました。他の子どもたちは、こういうことを何度経験すれば満足を遅らせない方法を学ぶのでしょうか。それを「衝動制御の欠如」と非難しますが、私は経験から学んだことと呼びます
「この大手テック企業のカスタマーサポートをやれば、企業部門の役割に入れる」といった約束ですが、実際にそうして成功した人の割合は、採用者の中でほぼ0%に近いです。Redditの良い点の一つは、ほとんどの小売・サービス職を動かしている守られない約束のシステムをよく見えるようにしたことです