ボックスプロットの使用をやめた理由（2021年）
(nightingaledvs.com)- ボックスプロットは分布を要約するための古典的なチャートだが、読み方を説明するのに数分かかり、学習コストに対する効果が低い
- 何千人ものワークショップ参加者のうち、ボックスプロットをすでに読める人の割合は通常 20%未満 で、散布図やヒストグラムよりも理解の負担が大きかった
- 伝統的な設計では、箱とひげ、中央値の線、区間の長さが実際のデータの意味とずれており、視覚的な誤解 を生みやすい
- 四分位数のような抽象概念を要求する一方で、隙間、多峰分布、グループごとの値の個数などを隠し、複数の分布を ベル型 のように見せてしまうことがある
- ストリッププロット、ジッター付きストリッププロット、分布ヒートマップは、より素早く理解され、分布の形を直接示せるため、日常的な意思決定においてより実用的な場合がある
ボックスプロットをほとんど使わなくなった理由
- ボックスプロットは読み方を説明するのに 4分以上 かかることがあり、その学習コストを正当化するには、単純なチャートでは伝えられない大きなインサイトが必要になる
- 実際には、ボックスプロットで伝えようとするインサイトの大半は、より馴染みがあり単純なチャートでも伝えられる
- 分布を見せることが目的であるにもかかわらず、聴衆はデータを見る前に複数段階の解釈ルールを通過しなければならない
ワークショップで明らかになった理解の壁
- 何千人ものワークショップ参加者は概して平均より高い graphicacy の水準を持っていたが、ボックスプロットをすでに読める人の割合は通常 20%未満 だった
- ボックスプロットは他の基本的なチャート種類より理解しにくく、散布図やヒストグラムのような複雑なチャートよりも大きな負担を与えた
- 聴衆がボックスプロットに慣れていても、ストリッププロットや分布ヒートマップより解釈に多くの 認知的努力 を要し、誤解の可能性も大きい
伝統的設計が直感に反する点
- 伝統的なボックスプロットは Mary Spear が1952年に最初に提案し、John Tukey が1969年に洗練させた形式である
- 視覚設計の主な問題は3つある
- 太い箱は細いひげより 多くの値 やより大きな重要性を表しているように見えるが、4つの区間はすべて同じ数の値を含んでいる
- 中央の箱は中央値の線で分かれた1つの塊のように見えるため、全体が3つの部分のように見えるが、実際には4つの四分位区間である
- 人は長い形をより大きな量として認識するが、ボックスプロットでは長い区間がより多くの値を意味するわけではない
- 短い区間は実際にはより高い 値の密度 を表しているが、目にはより少ない量のように見え、視覚的な形とデータの意味が衝突する
- 代替的な設計案は、短い区間が高い値の集中を意味することをより明確にし、中央の2区間に不要な強調を与えず、4つの形として見えるようにできる
- ただし、そのような設計案もほとんどの状況では推奨しにくく、より単純な分布チャートのほうがよい選択かもしれない
四分位数が生む学習コスト
- ボックスプロットを理解するには、並べ替えられた値の集合を同じ個数の値が入るように範囲で分ける 分位数、特に 四分位数 の概念を知る必要がある
- 多くの聴衆はこの概念に馴染みがなく、正しく理解するには視覚資料や例を含む数分間の説明が必要になる
- チャートを正しく解釈するには、まずこうした抽象概念を十分に理解しなければならないという負担が生じる
- 多くの有用な分布インサイトは、分位数や四分位数なしでも他のチャートで伝えられる
慣れが良い設計を保証するわけではない
- ボックスプロットを長く見てきた人は、設計上の欠陥を回避して解釈する方法を学んでいるかもしれない
- 初めて見る人は、同じ欠陥のために簡単に混乱する
- 組織では、分析者が重要なインサイトをボックスプロットで伝えようとしても、意思決定者が読み方を学ぼうとしなければ説得に失敗する可能性がある
- その後、分析者が聴衆はすべての分布チャートを理解できないと判断すると、問題をボックスプロット自体ではなく分布可視化全般にあると誤解するかもしれない
- より直感的な分布チャートを使えば、分布可視化の 貴重なインサイト をよりよく伝えられる可能性がある
ボックスプロットが分布を歪める仕組み
- 同じデータをボックスプロットとジッター付きストリッププロットで比較すると、ボックスプロットは異なるグループの分布をほぼ似たように見せてしまうことがある
- 値が中央値の周辺に集まり、両側に向かって徐々に減っていく ベル型分布 のように見せる傾向がある
- 実際の値の集合がベル型でなくても、ボックスプロットではそう見えることがある
- 読み手はボックスプロットだけを見て、すべての分布が本当にベル型なのかを知ることは難しく、せいぜい推測するしかない
- 分布の隙間や各グループの値の個数も隠してしまうことがある
- 分布をより正確に示すボックスプロットの変形や洗練されたチャートもあるが、ボックスプロットの核心的な問題である 学びにくさ を解決するわけではなく、むしろより難しい場合もある
より直感的な代替チャート
- 最もよく使う代替は ストリッププロット である
- 「各点は研究参加者の年齢」のように、1文で説明できる
- ほとんどの聴衆が数秒で理解できる
- 分布が高いか低いか、集中しているか広がっているか、正規的か歪んでいるか、外れ値があるかを示せる
- ボックスプロットでは見えない分布の隙間、多峰分布、各集合のおおよその値の個数も明らかにする
- 値が数十個を超えると点が重なってストリッププロットが線のように見えることがあり、この場合は ジッター付きストリッププロット のほうがより多くの値を収容できる
- 値が数百個または数百万個になると、ジッター付きストリッププロットも重なった点の塊になり得るが、この場合は 分布ヒートマップ がどんな個数の値でも扱える
- 分布ヒートマップはビン(bin)または区間の概念を導入するため複雑さは増すが、ビンは四分位数よりはるかに理解しやすい
- 分布ヒートマップはグループごとの値の個数を見る能力を失い、いくつかの制約もあるが、ボックスプロットにも同じ制約と追加の制約がある
- frequency polygons、violin plots、cumulative distribution plots、bee swarm plots も特定の状況では有用になり得る
- ヒストグラムは一般に単一の値集合の可視化に有用であり、ボックスプロットとその代替は複数の値集合を比較する用途に近い
ボックスプロットの利点と限定的な用途
- ボックスプロットの唯一の利点と見なせるのは、四分位範囲 を示せる点である
- しかし、データで伝えたい内容において四分位範囲を必ず示さなければならないケースは多くない
- ほとんどの場合に必要なのは、分布間の高低、集中と分散、外れ値の有無であり、こうしたインサイトは四分位範囲がなくてもより単純なチャートで伝えられる
- 中央値が必要な場合でも、より単純なチャートに中央値を簡単に追加できる
- ボックスプロットが本当に最善である状況は、聴衆が慣れているという理由でボックスプロットを求める場合を除けば、思い浮かべにくい
ボックスプロットから離れるべき理由
- ボックスプロットは、昔は良かったが技術の進歩で古くなったチャートというより、そもそもよく設計されたチャートではなかったと評価されている
- その設計上の欠陥は、学生、役員、その他のチャート読者に不要に煩雑な理解プロセスを強いてきた
- 現代ではより良いチャートを簡単に作れるため、ボックスプロットから離れれば、今後の読者は不要な 認知的負担 を減らせる
- 統計に慣れた聴衆に対しても、ほとんどすべての状況で他のチャートのほうがより良い選択である可能性がある
- 実務者は、聴衆がボックスプロットに慣れていない場合には特に代替を検討すべきであり、慣れている聴衆に対しても、より直感的なチャートを検討できる
1件のコメント
Hacker News の意見
ここでは筆者と他の人たちが混同しているようです。箱ひげ図は分布をベル型にするわけでも、分布を変えるわけでもありませんが、データがベル型／ガウス分布に従うと仮定しています。
中心極限定理を適用できる場合は正しいですが、そうでなければ仮定が間違っており、箱ひげ図が示す値もあまり役に立ちません。箱ひげ図には実際の用途がありますが、使うには統計の基礎を理解している必要があります。
だから箱ひげ図の使用を批判することはできます。代替手段はベル型分布もうまく見せられるうえ、ベル型でない場合も示せるからです。
箱ひげ図はベル型／ガウス分布に十分近い単峰分布にだけ使うべきだという点には完全に同意します。分布が二峰分布のようにベル型でないなら誤解を招くので使うべきではなく、ベル型なら特に問題なさそうです。
標本自体の分布を母集団の代理として見たいとき、標本平均分布の形はそれほど興味深いものではありません。標本平均の推定だけが有用な指標というわけでもなく、自然界で正規分布に従うものはほとんどありません。正規分布が有用なのは、たいていガウス関数の解析的な形と扱い方をよく知っているからであって、その推定が見た目ほど有用だからではありません。たとえばポアソン分布のほうがはるかに一般的です。
例はピークが2つある二峰分布なのに、ピークが1つの形のチャートである箱ひげ図を選んでいます。正直、少し理解しがたいです。
箱ひげ図の唯一の利点は、手で描けることでした。今やコンピュータがどこにでもあるので、その価値はなくなりました。
バイオリンプロットとビースウォームプロットのほうが優れており、ジッターを適用したストリッププロットも、飽和領域に注意すれば悪くありません。飽和した場所にさらに点を打っても暗くならず、消えたように見えることがあります。
望むなら、その上にジッターを適用した点を重ねて表示することもできます。
Angela Collier がなぜそうでないのかをうまく rant している動画があります: https://youtu.be/_0QMKFzW9fw?si=86mRAZRnFCBfSzw0
箱ひげ図は読みやすいのでかなり有用ですが、作成者が実際にヒストグラムを確認したという信頼がある場合に限ります。たいていはその信頼がありません。
人々は互いに衝突する目標を持っています。一方では多くの数値を1つまたはいくつかの要約統計量に圧縮したがりますが、その要約が少しでも誤解を招くと、すぐにデータ圧縮を後悔します。
実際には存在しないかもしれない単純さ、特に確定的な結論を求めるために起きることで、人間の条件によくある弊害に近いものです。
箱ひげ図が表す分布自体も、しばしば「標本1つ」の分布にすぎません。そう考えると分布には固有の不確実性があり、たとえばバイオリンプロットはその不確実性を表現しません。あらゆる「作業に合った道具」論争と同じく、人によって道具の経験や他人に単純化して説明する方法に応じて判断が分かれます。
https://github.com/c-blake/bu/blob/main/doc/edplot.md
ここでは箱ひげ図を擁護する人が予想よりずっと多いです。
しかし「箱ひげ図は特定の用途では最良のチャートなので有用だ」というような説明はあまり見かけません。ストリッププロットやバイオリンプロットより箱ひげ図を見たい状況がすぐには思い浮かびません。いつ、なぜデータをそれほど粗く要約し、直感的でない形で可視化したいのでしょうか？
彼らは中央値、低い／高いパーセンタイル、最大値／最小値または外れ値を見たいのですが、途中に散らばったすべてのデータ点を見たいわけではありません。それは圧倒的なノイズ情報になります。実際にはその数値が書かれた表を好みますが、異なる市場の過去価格時系列10個をPowerPointスライド1枚で比較したがります。箱ひげ図は中央値と主要なパーセンタイルを素早く視覚比較させてくれます。標準でない値を使うなら、パーセンタイルのラベルを付ければよいです。ジッターやバイオリンプロットを使うと、奇妙なランダムな形に引っかかって会議が脱線します。
重要な前提は、これらの値を生成するプロセスが物理的な意味ですべて同じで、比較可能だということです。分布もおおよそ対数正規分布に近い単峰分布です。このとき可視化の目的は分布そのものの性質を理解することではなく、ビジネス上意味のある重要なパーセンタイルを示すことです。
分布がより複雑で詳細が必要なら、ヒストグラムやリッジプロットを使うほうがよいでしょう。バイオリンプロットは曲線なので少しきれいに見えるだけで、情報を伝えるうえで最高の選択肢ではありません。
このとき各母集団の中央値だけを見るのではなく、陰影領域も一緒に比較します。
複数のグループを比較し、大きな差にだけ関心があるなら優れた道具です。データが正規分布だと信じていて、ヒストグラムが誤解を招く可能性があると思う場合にも良いですし、正規分布でなくても四分位数に関心があるなら適しています。
最小値、最大値、中央値、25/75パーセンタイルという5つの数値の表で十分な状況なら、箱ひげ図はグラフィカルな比較用として良い道具です。
何十年もの間、学校、大学、職場で箱ひげ図を使ってきたので、記事に完全に説得されたわけではなかった。
しかしこれらのコメントを読んでみると、賢くて内容を理解している人たちで部屋をいっぱいにしても、箱ひげ図の理解と解釈をめぐって全員が分かれ得る、という筆者の核心が強く響いた。
少し驚きだが、このスレッドの証拠だけでも、自分にとってはほぼ結論が出た。
箱ひげ図の使用をやめる必要はない。適切な場合、つまり位置とばらつきを示すときに使うべきだ。分布の形を示す用途ではない。
四分位数と限界を超える最頻性や分布情報はまったくない。主に個別のグループを分析するより、複数のグループを比較するときに有用だ。
筆者は、自分がよく知らないことを知っているかのように語っている。Tukey の資料でも読んでいれば分かったはずだが、名前だけを持ち出すのでは十分ではない。
しかし筆者はこれを人間の問題として見ている。プロットは機械のためではなく人が読むためのものであり、筆者はできるだけ多くの人が簡単に読んで解釈できることを望んでいる。数学教育が残念だとしても現実から出発すべきで、合理的な目標だと思う。分布がどれほど広がっているかを見るのに、四分位数が何かを知っている必要はないはずだ、という点には同意する。
何人かはほとんどの状況という部分を見落としているようだ。自分の聴衆には効果がなかったため、何らかの理由で箱ひげ図の使用をやめた、という話だ。タイトルのように、私たちも箱ひげ図の使用を見直し、より良い代替案があるかを見るべきだ。
また、彼が想定している読者を思い出す必要がある。箱ひげ図を理解している人ではなく、箱ひげ図を知らない、または理解できない人たちだ。本人の言葉では、説明しなければならなかった相手は数千人にのぼる。
箱ひげ図は手作業用のデータ圧縮手法だ。今ではデータ品質と視覚品質をよりよく保つ自動化手法がある。
筆者は、あるプロットには一般化と「特定の状況」を認めながら、別のプロットの特定の状況は価値がないものとして見ている。
私が得た結論はせいぜい、分布が単峰ではなく誤解される可能性が高いなら箱ひげ図を使うな、という程度だ。好きな物理学 rant 系 YouTuber がバイオリンプロットを批判した動画もあるので、もしかするとそれも使うべきではないのかもしれない。
https://youtu.be/_0QMKFzW9fw?si=4VM4DT9Q1zEnV93A
箱ひげ図は、見栄えのするチャートを印刷できなかった時代の遺物だ。
分布をスクロールするオシロスコープや地形図のように1行の中に表示することもできるし、時間に伴う密度プロットを描いたうえで重要な期間を陰影で重ねることもできる。ガウス過程の方面を見るとよい。
箱ひげ図は分布を過度に単純化し、推論しやすくする。同様に平均も非常に誤解を招き得るが、平均の使用を禁止することはないだろう。
良い結論は、常に基底分布を公平に表すプロットを使え、ということかもしれない。
Nature 系列のジャーナルが現在求めている方式に従えばよい。箱ひげ図の上に生のデータ点を重ねて示す方式で、両方の長所を得られる。