確実さを渇望する者は虚偽を渇望している
(etymonline.com)- Google Ngram Viewer の単語頻度グラフは、Google Books のデータと計算式の欠陥のせいで、20世紀の英語使用の変化を歪める可能性があり、
saidやtoastのような一般的な単語でさえ、1970〜1980年代に消えたあと復活したかのように見える - Google Books コーパスは、大学が収集した資料や現代の科学・学術ジャーナル、教科書の比重が大きいため、一部の単語の頻度を水増しし、他の単語の頻度を相対的に低く見せることがある
- 古い印刷物の long s(ſ)、綴りの異形、複数形、誤った日付のせいで、Ngram は
fuckとsuck、authoriseとauthorize、dogとdogsのような事例を適切に区別できない - Etymonline の語源解説は印刷資料と人手の作業に基づいている一方、Ngram は装飾的な視覚資料に近く、語源解説と衝突するときは信頼しにくい
- オンラインでは図が文章より選ばれやすいが、Ngram グラフは単語使用の確定的な証拠ではなく、不完全なデータ可視化として扱うべきである
Google Ngram が生み出す奇妙な単語頻度
- Google Ngram Viewer で見る
saidの頻度は、20世紀の英語動詞の実際の変化というより、最終氷期の気温グラフのように上下する形に近い- 1970年代の英語作家たちが突然
saidを使わなくなり、その後また使い始めたわけではない
- 1970年代の英語作家たちが突然
toastも Ngram では、1980年ごろに英語からほぼ消え、再び現れたかのように表示される- これを「1977年の偉大なるトースト飢饉」になぞらえている
- 問題の一因は、Google Books から引き継がれた Ngram の計算式に関する古くから知られた欠陥 にある
- この誤りによって、多くの英単語が20世紀を通して減少し、1980年ごろに復活したように見えてしまう
- Google Books コーパスには大学から取り込まれた印刷物が多く、現代の科学・学術ジャーナルや教科書の比重も不均衡に大きい
- 学術文は同じいくつかの単語を繰り返し使う傾向がある
- その結果、一部の単語のスコアは水増しされ、他の単語は相対的に低くなる
- この構造が、ほぼすべての単語の Ngram に 20世紀半ばの落ち込み を生じさせる原因として働く
saidは小説や新聞より学術文で使われにくい可能性が高いが、graphのような単語は学術文でずっと頻繁に使われるgraphの20世紀の Ngram には同じような落ち込みは現れない
OCR、綴り、日付の誤りが生む歪み
- Ngram では F-word が近代以前にはほとんど使われていなかったのに、1820年より前にさかのぼるほど使用量が急増するように見える
- その多くは実際の
fuckではなく、古いsuckである - 古い印刷物の long s(ſ) は、古びたフォントや質の悪い紙では小文字の
fのように見えることがある - この文字は1820年ごろに使われなくなり、ときには文脈だけが
fとsを区別してくれる - AI はこの違いを理解できないと見られている
- その多くは実際の
- Google Books は綴りの異形を同一語としてうまく認識できない
authoriseの Ngram はauthorizeと異なり、どちらもauthorizesを含まない- 名詞の Ngram でも複数形を数えられず、
dogとdogsを別々に扱う
- 日付が誤って付けられた Google Books ファイルも多い
- 古い図書館の本の表紙にある
1896が、デジタルスキャナーには1800のように見えることがある - 1910年代の聖書小冊子の束が、一時期 1799年の出版物として表示された事例がある
- その日付は出版年ではなく、印刷した聖書小冊子協会のロゴに入っていた創立年だった
- 関連する問題を扱った 動画 もある
- 古い図書館の本の表紙にある
- Etymonline の本文は全面的に印刷資料から作られ、人手で作業されているが、Ngram はそうではない
- Ngram は、信頼しにくい無知な技術が生み出した粗い産物として評価されている
- オンラインでは図が勝ち文章が負ける環境のため、サイトに Ngram が載っている
- Ngram は単語使用の証拠として断定的に受け取るより、装飾的で気分転換向けの視覚物として見るほうがよい
- Etymonline の語源解説と Ngram が最初から衝突するなら、Etymonline のほうが正しく、Ngram のほうが間違っていると考えるべきだという立場である
1件のコメント
Hacker News のコメント
この記事でいちばん良い部分は ngrams 批判で、より広く言えば、現代のアルゴリズムで ngrams が広く使われているあり方への批判だと思う
Etymonline は印刷物の出典と人間が作ったテキストである一方、ngrams は「influence」と「inform」の違いすら学べていない無知な技術の粗雑な産物だ、というくだりが特に鋭い
人間の言葉や相互作用を計量しようとして、たいてい間違えながらも所有者の利益最大化を追求するアルゴリズムやソーシャルメディアへの痛烈な反論のように読める
生成AIが事実上 ngram 予測器だと言われる時代なので、なおさら重く響く
「印刷物の出典」がデジタルの出典を含まないという意味なら、記事で述べられている問題とはあまり関係がなさそう
すべての印刷物を完全に含んでいるのでなければ、同じように 偏ったデータセット の問題が起こりうるし、人間も OCR のようにミスをすることがある
他人の考えはその人自身のものではないと言いながら、自分たちは自ら結論を出す徳のある情報受容者だと主張するようなものだ
心の ローパスフィルタ は、既存の枠組みに収まるものだけを受け入れる
何かを拒否しないのなら、それから情報を得ることと影響を受けることは同じことであり、その枠組みで「自分は情報を得ただけだ」と言う人は、気取っているうえに自己認識が足りないように見える
電子メディアは、何も生産せずに食い尽くす魂のようなものだ
そのページのコメントにある「出版社はいまだに春の雪解けのたびに ‘is’ をトラック何台分も注文しているのかな……」というジョークは、Dictionopolis では正しい
The Phantom Tollbooth が好きな人はいる？
https://en.wikipedia.org/wiki/The_Phantom_Tollbooth
データ分析の根本的な問題は、分析の品質はデータの品質にしか及ばないということ
データ品質を評価することからして難しく、データが良いかどうかをどう知るのか、確信できるのか、どう測定して報告するのか、どれも簡単ではない
データ品質について定性的・定量的な評価があったとしても、それを分析結果と統合してどう提示するかがまた問題になる
結果をデータ品質に合わせて定量的に補正しようとすると、プロジェクトごとに相当なカスタマイズ作業が必要になり、単純な折れ線グラフの域を超える
Google Ngrams なら、時系列で見たデータ出典の構成を「学術」「ニュース」のような大きなカテゴリに分けてチャートで示すことはできるかもしれないが、すべての文書にカテゴリを付ける必要があり、人々が実際に見るように、目立つ場所にリンクと説明文も置かなければならない
それでも、単語の使用量が減っていく時系列を見たときに人が抱く直感的な反応は止められない
より良い方法は、単語使用の時系列における 不確実性 を定量化し、チャートに重ねて表示することかもしれない
ただしここでは使用回数そのものは正確で、不確実性は標本抽出に由来するため、その時点で書かれたすべての文書と標本文書がどれほど違うのかを推定しなければならない
可能かもしれないが簡単には見えないし、そうしたとしても、人々が不確実性の表示を正しく解釈するのか、それとも単に下がっていく線だけを見て残りを無視するのかも問題だ
AI の時代に入るほど、この問題を覚えておく必要がある
私たちの人生も同じで、観察したデータから学び、意見を形成しているが、私たちが見たデータがどれほど良いものなのか、そして結論が有効なのかは、常に疑問として残る
筆者たちは「said」に関する ngram 統計が間違っていると断言し、反証があるかのように語っているが、実際の証拠は示していない。
自分たちのサイトでも Google ngram の統計だけを提示している: https://www.etymonline.com/word/said#etymonline_v_25922
そこにグラフのY軸に 0 を表示していない大きな失敗と、誤ったグラフ解釈まで重なっており、まったく信用しにくく、非常に低品質な記事に見える。
そのような主張は並外れているので、説得力のある根拠が必要だ。
根拠がないなら、ngrams がでたらめだという記事の仮説と結論のほうを信じる。
「toast」のグラフを誤って解釈していたのは確かで、低い位置で切り取られたひどいグラフをもっと慎重に読むべきだった。
だから記事は基本的に Google Books/Ngram の方法論の欠陥を指摘している。
こうしたアプローチは妥当だと思う。
そうでなければ、存在していて使いやすいというだけで、欠陥のあるものを受け入れることになってしまう。
「最も多くツイートされたものが X だから、最も人気があり重要だ」という話に答えるために、別の研究で真実を探し出さなければならないわけではない。
「それは愚かな方法論なので、Twitter がそう言っているからといって受け入れるな」と言うだけで十分だ。
それは合理的な要求だが、著者が専門家として、新聞では同程度の頻度で said が使われ続けていたと言うのも問題ないと思う。
その説明はもっともらしく、立証責任が必ずしも著者にあるとは思わない。
むしろ、そのように変化したという並外れた主張にこそ証拠が必要だ。
その主張をしているのは Google 側であり、ブログ著者を責める前に、見えないデータセットがどれほど代表的なのかを見るべきだ。
入力データセットを知らない統計を、「Google を信じろ」という形でそのまま受け入れるべきなのか。
だから「said」の項目に具体的な反証がないのは理解できる。
本文に証拠がない理由も、「said」がピーク時のほぼ 3分の1 まで落ちたという側のほうがはるかに並外れた主張で、強い証拠が必要だからだ。
「見た目からしてまったく筋が通らず、Google データセットのジャンル構成が大きく変わったせいである可能性が高い」と言うだけでも十分だ。
Ngram のグラフは、toast が1980年ごろに英語からほぼ消えて、また現れたと言っているわけではない。
1800年以降、使用量が約40%減ったように見えるだけだ。
他の人たちが言っているように、Y軸が 0 から始まっていない問題は確かにある。
しかし etymonline の筆者たちがそれに気づかないまま誤って断言したのだとすれば信用しにくいし、特に後半の「ほら、下落はない」という例は Y軸が 0 で、1980年ごろの小さな停滞区間も見えるため、なおさら皮肉だ。
誇張された攻撃的なタイトルと冒頭文まで考えると、さらにそうだ。
「toast」の使用量が40%減ったのではなく、Google データセットが以前とは大きく異なるジャンル構成へ急激に変わったのだ。
1970年代の下落を説明しようとする人たちと話したことがあるが、私を含め、誰もそれがデータの劇的な欠陥だとは気づいていなかった。
この記事にはタイトルがあまり合っていないと思う。
こうした結果は「明晰さ」よりも、クリックベイト欲求やその科学版に近い。
たとえば Science や Nature の論文が特に正しい可能性が高いわけではないが、特に自分の中心分野ではない物理学のような領域では、目立って過激である可能性は高い。
逆に「Real Clear Politics」という名前は、いつもきつく聞こえた。
政治には「Real」も「Clear」もないと思うからだ。
政治に関する最高の本は、Hunter S. Thompson の Fear and Loathing on the Campaign Trail ‘72 だと思う。
候補者たちを追いかけ、午前3時にヒッチハイカーを乗せ、列車の中で薬で酔っていながらも、McGovern の指名につながった議会手続きを理解するような、鋭く澄んだ瞬間のある個人的体験記だ。
20年後には、今日の政治的出来事について私たちが信じていたことはすべて間違っていて、実際には別のことが起きていたのだ、という強い論拠を備えた緻密な本が出るだろう。
その間、人々は極端に異なる見方を持つことになり、それが現実だ。
「real」や「clear」のような形容詞は、そうした見方の大半を閉ざし、ひとつの見方だけを特権化しようとする試みだ。
Baudrillard が Simulacra and Simulation で「real」という単語を徹底的に解体したことも思い出す。
偽物を売る人々が「real」という単語を前面に出すことに納得がいく。
Scientology が自らを「確実性の科学」と呼ぶのも同じ文脈だ。
政治の良い点のひとつは、動機が非常に明確なことにある。
政治家たちはまず権力を維持したいのであり、状況を改善したいという欲望はその次だ。
これを知れば、すべてが理解できる。
実際に何が起きていたのかを最後まで知らないとしても同じだ。
過去の代表的な像を作ることは決してできない。
生き残った限られた出典だけを使って作業しなければならず、それらは時間的にも空間的にも均等に分布していない。
人が死ぬと、印象、記録されていない経験、慣れ親しんだ匂いまでもが消えるという本質的なデータ損失が起きる。
生きている人の記憶も、ある時点では信頼しにくいことがある。
自分で試せる例: https://youtu.be/vJG698U2Mvo?si=16fwk8wG8Yyhim5t
Google Ngram が間違っているとは考えにくい
コーパス内で正しく識別された単語についての統計を報告しているもの
問題はその統計の文脈である
「Google Books コーパスでは、ある時点で said の使用が減少した」とは、ある程度自信を持って言える
OCR がその単語のすべての事例を正しく識別したコーパスのサブセットでは、さらに自信を持って言える
しかし十分なデータなしに、「この単語はある時点で使用量が減った」という、より広い主張をしてはいけない
大統一理論を解くまでは、データの完全性や統計的推論を完全に確信することはできない
間違っているのは、一般の人々をこうした理解から遠ざけるように誤導することだ
学術コーパスから100万冊の本を標本として抽出することと、20世紀の各10年からベストセラー10冊を選ぶことでは、まったく異なる言語コーパスが作られる
グラフの縦軸に0を含めない古典的なミスである
「そうすると変化があまり見えないじゃないか」と思うなら、その通り
0を抜くと、小さな変化も大きく見せることができる
シリアル箱の充填重量を示す管理図なら、チャートに0を入れたいとは思わないだろう
ある都市の日々の気温を0ケルビンまで含めたチャートとして描く必要もない
ほぼ1世紀にわたって安定して見えていたものが、突然約50%下落したということだ
それでも「said」が以前の人気のほぼ3分の1まで落ちたように見えただろうが、実際には標本の構成が大きく変わったのである
これは n-gram が間違っているということなのか、それとも n-gram で言えることには限界があるという意味なのか？
データは面白いが、何を結論づけるべきかは確信が持てない
今日の語彙で過去の本にクエリを投げているようなものなので、奇妙に感じる
私の知っている簡単な例として「þe」を検索すると、結果はあまり多くない
歴史的に「þ」が1400年代ごろに消えたという点では、おおむね正しい
しかし「ye」も一緒に入れると、用例がものすごく多く見える
これは n-gram の意図された機能なのだろうか？
時代を経て受け継がれてきたエンコーディングエラーに近いように見える
大母音推移に腹を立てながら、私たちの音声記号が固定された普遍的真理ではないことに気づいていないのと似ている