ダニング＝クルーガー効果は自己相関である

ダニング＝クルーガー効果は自己相関である

• ダニング＝クルーガー効果は、能力の低い人々が自分の能力を過大評価する傾向を示すものとして知られている。
• この効果は1999年に心理学者によって発見され、多くの研究でデータを通じて確認されているように見える。
• しかしこの効果は、実際には統計的誤りである自己相関の結果であり、人間心理とは関係がない。

自己相関とは？

• 自己相関とは、変数がそれ自身と相関関係を持つ現象を指す。
• たとえば、ある人の身長を測定すれば、その身長はそれ自身と完全な相関関係を持つ。
• 変数が式の両側に混在している場合、自己相関を見つけるのは難しい。

ダニング＝クルーガー効果

• ダニング＝クルーガー効果は自己相関の一例であり、実際にはグラフの誤解から生じたものである。
• ダニングとクルーガーは人々にテストを受けさせ、その能力を自己評価させたうえで、成績の低い人ほど自分の能力を過大評価する傾向があると報告した。
• しかし、こうした結果は実際にはテスト得点と自己評価得点の間の自己相関によるものである。

ダニング＝クルーガー効果の解体

• ダニング＝クルーガーのグラフは、テスト得点を基準に人々をグループ化し、それをパーセンタイルで表示して自己評価と比較している。
• この方法はテスト得点をそれ自身と比較しているのと同じであり、自己相関を隠している。
• 実際、ランダムなデータを使ってもダニング＝クルーガー効果が現れるのは、この自己相関のためである。

ダニング＝クルーガー効果の再現

• 実データを使ってダニング＝クルーガー効果を理解しようとすると、元のデータとは異なる結果が現れる。
• 実験を再現しようとすると、生データはランダムに見え、ダニング＝クルーガー効果の痕跡はない。
• しかし、データを別の方法で分析すると、ダニング＝クルーガー効果が存在するように見える。

ダニング＝クルーガー効果の崩壊

• 研究者たちが実際にはランダムな数字を使っていたにもかかわらずダニング＝クルーガー効果を再現できたのは、自己相関のためである。
• この誤りを発見した後、ダニング＝クルーガーのグラフが実際には自己相関に基づいていることに気づく。

ダニング＝クルーガー効果の不在

• 統計的に妥当な方法でダニング＝クルーガー効果を測定すると、その効果は消えてしまうことが分かる。
• 教育水準ごとにグループ化された人々の自己評価の誤差を測定した結果、平均誤差は0付近にとどまり、ダニング＝クルーガー効果の証拠はない。

無能で、それに気づかない人々

• ダニングとクルーガーが統計的な誤りを犯したのは単なるミスかもしれないが、彼らの論文には、能力の低い人々は自分の無能さを認識できないという主張が含まれている。
• しかし実際には、ダニングとクルーガー自身が統計的な無能さを露呈しており、これは自己相関と心理学的効果を取り違えたものだった。

GN⁺の見解

この文章で最も重要なのは、ダニング＝クルーガー効果が実際には人間心理と関係なく、自己相関という統計的誤りに基づいているという点だ。これは、研究者がデータを解釈する際に陥り得る落とし穴を示しており、科学的発見が誤った統計的解釈によってどのように誤解されうるかを例示している。こうした誤りを理解することは、研究結果を解釈し検証するうえで重要な教訓となり、初級ソフトウェアエンジニアだけでなく、あらゆる科学分野の研究者にとって有益な情報となるだろう。

[GN⁺]

Hacker Newsのコメント

• あるコメント投稿者は、自分が統計学や心理学を十分に理解していないと認めつつ、D&K研究は祖父が言っていた「知れば知るほど、自分が知らないことの多さに気づく」という言葉に似ていると感じている。多くの人は実際に知っている以上に自分は知っていると思いがちであり、それはおそらく自分自身やその記事の著者にも当てはまるのではないかと考えている。
• 別のコメント投稿者は記事の主張に同意せず、D-Kグラフが単なる自己相関の結果だという主張に反論する文章を紹介している。実際には、成績と成績評価が独立していると仮定するほうがむしろ非常に驚くべきことであり、D-K研究は成績と自己評価の間に相関があることを示したが、予想されたほど強くはなかったと説明している。むしろ一貫したバイアスが示されており、それが興味深い結果だとしている。
• 以前の議論で言及されたように、著者は人々が自分の能力を予測するのが非常に下手で、自己評価が無条件のランダム変数と同じだと仮定している。実際の能力が高ければ、自己評価はランダムな偶然によって実際の能力より低くなる可能性が高い。この批判は、人々が本当にそれほどまでに自分の能力を誤って評価しているのかという疑問を提起している。
• 著者たちは「X - Y 対 X」という分析を行ったが、これが最大の問題ではない。著者たちは0から1の間に変換され制約された2つの測定値を引き算している。極端な値では何が起こるのか。最高成績者は自分の成績をどれほど過大評価できるのか。彼らはすでにほぼ1に達しているので、あまり上振れできない。もし彼らが同じ比率と大きさで過大評価と過小評価を行うなら、変換値の上限効果によって、グラフ上では彼らがより頻繁に過小評価しているように見えるだろう。
• Nicolas Boneelと著者のコメント欄での議論は興味深く、Nicolasは記事を読みながら抱いた疑問を表明している。DK効果の核心は、人々が自分の技能を誤って評価するという点にあるのだから、もし彼らが自分の技能水準をランダムに推測していると仮定すれば、当然その結果を再現できる。
• 著者が使っている「自己相関」という用語は、統計学で一般に使われる意味とは異なる。「自己相関」は時系列データが時間的にある程度ずれた自分自身とどの程度相関しているかを指すため、OPで言及されているような使い方をすると、統計学を知っている人々を混乱させる可能性がある。
• 著者が想定する世界で、人々の点数推定が実際の点数と独立しているなら、DK効果は実際に存在すると言える。低得点者は自分の点数を過大評価し、高得点者は過小評価する傾向がある。
• 「バイアス」という用語について混乱がある。もし自己評価がランダムに行われるなら、高成績者は全員が自分を過小評価することになるが、これは過小評価へのバイアスではない。D-Kチャートは別のバイアスを示しており、大半の人が自分を平均的だと思っていることと一致している。高成績者は平均を過大評価し、低成績者は平均を過小評価することになるだろう。
• 記事における「自己相関」の定義とWikipediaでの定義が異なることを指摘している。記事の定義は時間遅延と関係がなく、D-Kに関連してこれを「自己相関」と呼ぶのは不適切な表現だとしている。
• もし未熟な人と熟練した人が平均的に同じように自己評価するなら、未熟な人は過大評価し、熟練した人は過小評価することになる。これだけでも重要な結果になり得るし、実際に相関があることにも注意を向けている。