Wikipediaで最も閲覧数の少ない記事を探す（2022）
(colinmorris.github.io)- Wikipediaでは人気記事が週に数百万回の閲覧を集める一方で、600万本を超える記事の中には年間で一桁回しか読まれない極端に不人気な記事も存在する
- 2021年の約32,000本の記事サンプルでは、最下位層には曖昧さ回避ページが多く、それらを除くと、蛾・ハエの種、イランの村、姓などの短いスタブ記事が年間7〜9回の閲覧にとどまっていた
- 「Random article」ボタンは、各記事の
page_random値と直前の値との差である random gap によって選択確率が変わるため、一部の記事は平均よりはるかに露出が少ない - 平均 gap の約1/10以下にあたる60万本の記事に範囲を絞ると、2021年に最も閲覧数が少なかった記事は Trichromia phaeocrota と Opharus corticea で、それぞれ人間によるものと推定される閲覧数が3回だった
- 下位500本の記事には、昆虫の分類群、一部の腹足類・菌類、地理地形、set index記事が多く、種や居住地の記事は掲載基準が低いため、弱い出典だけでも残っている場合が多い
サンプルから見えた不人気記事の特徴
- Wikipediaには600万本を超える記事があり、人気記事は週に数百万回の閲覧を集める
- 逆に、1日に数回閲覧されることすらまれな記事もあり、例は次のとおり
- 筆者が作成した記事の中で最も人気が低いのは Sunday reading periodical で、ヴィクトリア朝時代の雑誌ジャンルに関する記事であり、月平均約12回閲覧されている
- Wikipediaの閲覧数データは生ダンプとAPIで公開されているが、最も閲覧数の少ない記事を直接ソートする簡単な方法はない
32,000本のランダムサンプル分析
- 2021年の閲覧数データを、約32,000本のWikipedia記事サンプルから収集した
- サンプルの年間閲覧数の中央値は1,000回を少し下回り、平均はロングテールのため約13,000回である
- サンプルには、2021年の総閲覧数が一桁の記事がほぼ100本あった
- Weimer Township: 3回
- Goleh-ye Cheshmeh: 4回
- Governor Terry: 4回
- ただし最下位50本はすべて曖昧さ回避ページであり、分析では「実際の記事」とは見なしていない
- 曖昧さ回避ページを除くと、年間一桁の閲覧数の記事は、7〜9回の範囲にある少数のスタブ記事に絞られる
- Erygia sigillata: 蛾の種
- Hilarigona obscurata: ハエの種
- Loxocrambus hospition: 蛾
- Makhoshin: イランの村
- Bojerud: 姓
- Scrobipalpula crustaria: 蛾
「Random article」ボタンと random gap
- 極めて低い閲覧数は、ユーザーが Random article ボタンを押して流入した結果である可能性がある
- Random articleボタンは2015年から曖昧さ回避ページを無視するように実装されており、曖昧さ回避ページがサンプルの最低閲覧数に集中した現象を説明できる
- Wikipediaの記事は作成時に、0から1の間のランダム値である
page_randomを受け取る - Random articleリクエストが来ると、サーバーは0から1の間の乱数を作り、その値より大きい
page_randomのうち最も近い記事を返す - この方式は完全に公平ではない
- 記事が選ばれる確率は、その記事の
page_random値と直前の記事のpage_random値との差である random gap の大きさと等しい - gapが小さい記事は、Random articleで選ばれる確率も低くなる
- 記事が選ばれる確率は、その記事の
閲覧数の底と random gap の関係
- Wikipediaの記事が約600万本なら、平均 random gap は約
1/6,000,000、つまり1.67e-7である - サンプルで最も閲覧数が少なかった Erygia sigillata の
page_random値は0.500764585777で、直前の記事 Katherine Hanley は0.500764582314である - 2つの値の差は約
3e-9で、平均 random gap より98%小さく、平均的な記事よりRandom articleで選ばれる確率が50倍低い - 年間閲覧数が一桁だった他の5本の記事の random gap も
3e-9、9e-9、8e-9、4e-9、8e-9、2e-8で、いずれも平均より約一桁小さい - 32,000本のサンプル全体では、random gap と閲覧数の関係は明確ではない
- しかし、年間200回未満の記事や Category:Phaegopterina stubs の約1,500本の記事のように、そもそも関心が低いと見られる集合では、関係がより明確になる
2021年に最も閲覧数が少なかった記事
- 最低閲覧数の記事は、単に大衆的関心の低いテーマであるだけでなく、random gap が非常に小さい記事でなければならない
- 分析範囲を平均 gap の約1/10である
1.7e-8以下の記事に限定し、60万本の「最も運の悪い」記事を調べた - この60万本の記事も、2021年にはすべて少なくとも数回は閲覧されていた
- 2021年に最も閲覧数が少なかった記事は、人間によるものと推定される閲覧数3回を記録した2本が同率だった
- Trichromia phaeocrota: random gap
4e-9 - Opharus corticea: random gap
1e-9
- Trichromia phaeocrota: random gap
- 2本はいずれも蛾の種に関する記事である
下位500本の記事に見られる反復パターン
- 下位500本の記事一覧は Least viewed articles in 2021 で確認できる
- テーマの分布は非常に一貫している
- 多くは昆虫の種や他の昆虫分類群に関する記事である
- 腹足類17本と Harknessiella という菌類1本も含まれる
- 次に多いカテゴリは地理地形で、特にイランとスリランカの村がよく登場する
- Kälberbuckel のような短い地理記事もある
- もう1つ繰り返し現れるカテゴリは set index記事である
- set index articleは曖昧さ回避ページのように見え、似た働きをするが、Wikipediaの分類上は曖昧さ回避ページではない
- DMZ//38 や EuroNanoForum 2009 のように、以前のWikipediaの緩い掲載基準を思い起こさせる記事も少数含まれる
なぜ蛾が多いのか
- Wikipediaは存命人物、企業、バンドのようなテーマについて、厳格な出典要件を適用している
- こうしたテーマは宣伝、利益、紛争目的の編集に悪用される可能性があるため、単純な一次出典による確認だけでは記事掲載が難しく、複数の独立した二次出典による有意な報道が必要となる
- したがって、この要件を満たすテーマはRandom article利用者以外にも関心を持つ人がいる可能性が高く、下位500本にはほとんど現れない
- 逆に、種の記事 と 居住地の記事 は一般に削除されない
- テーマの出典づけが弱くても残る場合が多い
- 下位の記事の多くは、データベース、地名辞典、書籍や学術誌での短い言及など、単一の出典に依存していることが多い
- 低い基準のため、一部の記事は機械的に作成されたようなスタブ記事に見える
- Pottallinda は12語のスタブ記事で、2021年に5回閲覧された
- 2011年1月18日に User:Ser Amantio di Nicolao が作成し、60秒以内に Polmalagama、Polommana、Polpitiya、Polwatta など類似の記事を多数作成した
- こうした超小型の不人気記事はRandom articleのユーザーをがっかりさせるかもしれないが、後に他の編集者が拡張できる基礎作業にもなり得る
データとコード
- 閲覧数データとスクレイピング・分析コードはGitHubリポジトリ wiki-pageview-floor で公開されている
1件のコメント
Hacker News の意見
Wikipedia でこうしたことが起きる理由は、収益化や論争的な観点ではなく、引用された出典の性質と質に由来する特筆性基準が、削除判断で最も頻繁に使われるためだと思う
以前は、国際レベルのスポーツに出場した人はおおむね特筆性がある、という指針があったため、代表戦に1試合出ただけのサッカー選手でも、弱い出典だけで削除を免れられた
しかしその指針がなくなり、一般的な特筆性のガイドライン（GNG）に戻ったことで、人物については全国規模の信頼できる主流メディアによる十分な伝記的報道が必要になり、試合レポート、地域のインタビュー、ファンメディアはおおむね除外されるようになった
その結果、女子国際サッカー選手に関する数百本のスタブ記事と数十本の正式な記事が、ワールドカップ優勝者であっても主流メディアでの報道が相対的に不足していて GNG を満たせず、ある編集者が今年の夏、女子ワールドカップ開幕後にそうした記事を大量に削除対象として提出したところ、ほぼすべて削除された
だから蛾や場所の記事が残る理由は、収益化や論争性ではなく、Wikipedia 編集者を名誉毀損で訴えることができない物や場所には、まったく別の特筆性基準が適用されるためだ
https://en.wikipedia.org/wiki/Wikipedia:WikiProject_U.S._Roads/Newsletter/Issues/Volume10/Issue01
Polygon と Kotaku の報道があったので十分だと思ったが、最初は難しい作業だった
ボタンを非常に速く押す人は、果たして特筆すべき人物なのか？
技術、学界、地方政治など、さまざまな役割や肩書を持つ人々に関する Wikipedia 記事の中には、その基準を満たせないものが数え切れないほどあると思う
かなり人気のあるウェブコミックでさえ Wiki 記事を持てないのを見て、あきれた記憶がある
Wikipedia であまり知られていない最高の機能の一つは、各記事の一番下に折りたたまれているナビゲーションボックスだと思う
複雑なトピックを俯瞰し、ある項目が複雑な階層構造の中でどこに位置するのかを見るのにとてもよい
ものによっては、いつか壁に掛けておきたいと思うほどの小さな芸術作品のようだ
https://imgur.com/gallery/ILp6TtA
デフォルトで折りたたまれていなければならない理由は理解できるが、userjs でページの一番上へ移動して展開したままにし、ナビゲーションに使っている
場所を取りすぎないよう、CSS の
zoomは 0.3 に設定しているランダムな記事を選ぶ方法が衝撃的。
ランダム化に恒久的な偏りが生じ、個々の記事が選ばれる確率が時間とともに変わる仕組みに、どうしても経路依存性が大きく入ってしまう。
1からNまでのランダムな整数を引くのはロケットサイエンスではない。
もしかすると、特定のお気に入り記事の前の空間を空けておいて、より頻繁に出るようにするような意図的な重み付けがあるのではないか、とも気になってくる。
MySQLは、本当にランダムな行を高性能に選ぶようには作られていない。
ORDER BY RAND() LIMIT 1のような素朴な方法は性能がひどく、LIMIT 0 OFFSET RAND() * row_countも同じように悪い。WHERE id >= RAND() * max_id ORDER BY id LIMIT 1のような高性能な方法を使うと、削除された記事によってできたIDの穴のせいで、特定の記事がより頻繁に選ばれるという同じ問題が起きる。正しい解法は2つしかなく、ランダムなIDを引いて無効なら再試行するか、有効な全記事を連続した整数列として持つ別の列／テーブルを維持すること。
前者はIDがどれだけ疎かによって、ときどき20回も再試行することがあり、性能予測が難しい。後者は記事を削除するたびに、平均して整数列の半分を再計算して書き直す必要がある。
結局、おもちゃ機能に近いものとしてはWikipediaの方式は「十分に悪くない」部類で、毎日・毎週のバッチ処理や記事編集のたびに乱数を再計算すれば欠点を減らせる。
既存方式で最も近い記事を1つだけ選ぶのではなく、前後およそ50件ずつ選び、その100件の中からさらにランダムに選ぶ形でも大きく改善できる。
完全なハックだが、実際にはそれでも非常に速いはず。
1からNまでのランダムな整数を選ぶと、悪い結果が出る確率がある。
スパムを考えると、悪いページが良いページより多い可能性も低くなく、そうなると何度も引き直す必要がある。
再抽選は悪くない戦略だと思うが、誰もがその確率をそのまま信じるとは考えにくい。
実際、悪いページ99件と良いページ1件だけのWikiを作ると、ランダム記事ボタンはほとんど機能しないだろう。
有効な記事数Mを基準に1からMまでを引くこともできるが、その数値を実際の記事IDへどうマッピングするかという同じ問題が残る。
この方式には偏りがあり得るが、定数時間性能を持つ。
個人的には、有効な全記事をメモリに置いて、その中から1つ選ぶほうがよいと思う。
10月時点で700万件しかなく、削除記事を含めてもおそらく7000万件程度で、HN全体の項目数と同じくらいの規模だ。
それどころか、ディスク上に有効記事ごとにファイルを1つずつ作り、
find . -type f | shuf -n 1でランダム検索して、その結果を数秒ごとにキャッシュしても、そこまで悪くはなさそうだ。ただし、それにもそれなりの偏りはある。純粋なお遊び機能なので重みが同じでなくても大きな問題ではないし、MariaDBでは
ORDER BY RAND() LIMIT 1が全表スキャンになるという。リモートキャッシュはデータセンター内ローカルで、永続ストレージで支え、TTLを長めに設定できる。
キャッシュTTLの間に復活した記事を引けない可能性はあるが、それは許容できる。
データセンターの局所性はある程度の耐障害性と低レイテンシを保証し、永続ストレージは再起動時のコールドキャッシュ問題を減らしてくれる。
ID範囲の最大ウォーターマークは非同期に更新してもよく、新しい記事がしばらく見えないのは問題ない。
ふたを開けてみると、単なる偶然だった。
現在の実装は記事数が増えるほど重みがおおむね似てくるし、個々のユーザーはどのみちランダムな記事を1つ受け取るだけなら、公平性にはあまり関心がない可能性が高いので、筋は通っている。
ありふれたペルーの蛾、イランの名もない小さな村、ヴィクトリア朝時代の英国の日曜読書向けの読み物のような情報を一か所で見つけられるのは、本当にすごい。
インターネット以前なら、こうした内容は印刷する紙代にも見合わなかっただろうが、今ではクラウドストレージのコストが事実上ゼロに近くなり、非常に価値のあるロングテール情報を得られるようになった。
こうした内容を投稿し、維持している人たちに感謝したい。
付け加えると、あるページに「このページを訪問し、ペルーの Foovius Barivius Moth に関心のある他の人とつながりたい」といったメモを残せたら、本当に素敵だと思う。
https://gwern.net/inclusionism
たとえば、ユーザーが最も長く見ていそうな記事を見つけてくれるTikTok式の縦フィードがあり得るし、WikiScrollもすでにある程度その方向に進んでいる。
記事ごとにチャットルームを付けて人々に雑談させたり、DM機能を置きつつWikipediaリンクだけ送れるようにしたりすることもできる。
社会的触媒としてのWikipediaというアイデアはとても興味深い。
https://wikiscroll.blankenship.io/
ページにメモを残すと、同じ拡張機能をインストールした他の人が見られ、運がよければ連絡をもらえるかもしれない。
私にとっては、インターネットで最も良い部分だ。
Wikipediaにはつまらない記事が一つもないことは数学的に証明できる
背理法で証明すればよい
すべての記事を面白さ順に順位付けして並べ、最も低い値を見れば、必ず最もつまらない記事が存在する
しかし、その記事がWikipedia全体で最もつまらない記事だという事実そのものが、その記事を面白くする
同じように、このブログ記事に出てくる閲覧数が最も少ない記事も、今ごろはその地位を失っている気がする
最もつまらない記事がちょうど一つだと仮定しているように思える
しかし同じ最低の面白さを持つ記事が何百本もあるかもしれず、そうならその何百本はつまらない記事と見るべきだ
ここには、次につまらない記事であるという面白さも考慮しなければならない
たぶん真だろうから、QED
誰かが最もつまらない記事を見つけて考えるまでは、その記事は面白くない
数学的性質は永遠であり、誰が見ようが見まいが存在する
英国Network RailのLeast Used Stationsを扱ったGeoff Marshallのシリーズを思い出す
https://www.youtube.com/playlist?list=PLt4q5oaptyI9U2zddss8dm8srzuJj6nRz
https://www.youtube.com/@geofftech2
Wikipediaの管理者たちは、重要ではないと主張する記事を削除することに積極的なので、閲覧数が最も少ない記事はかなり頻繁に変わりそうだ
情報機関側のいたずらもあったかもしれない
不都合な歴史的事実を消すには非常によい方法だ
今では特定の政治的陰謀がまったくない、ルートキットについてのちょっと笑える小話にすぎなくなっている
たとえば米国の市、町、村、小さな集落のうち、Wikipedia記事がない場所を見つけるのは難しそうだ
Jack Wade, Alaskaを見ると、Google Mapsでは家が8軒ほど見える程度なのにWikipediaにある
希少な蛾の種の記事が削除されるとも思えない
ただし、地球上のすべての個人がWikipedia記事を持たないようにするには、何らかの方針は必要だ
Google Maps: https://www.google.com/maps/place/Jack+Wade,+AK+99732/@64.1519419,-141.4630071,448a,35y,3.16t/data=!3m1!1e3!4m6!3m5!1s0x5149e998873be075:0x2f1a9ca47f03bf1b!8m2!3d64.1526072!4d-141.4604683!16s%2Fm%2F0480bm5?entry=ttu
Wikipedia: https://en.wikipedia.org/wiki/Jack_Wade,_Alaska
ただし、このような独特の地位が明らかになることで生じる荒らしは例外かもしれない
関心のある人に少し言っておくと、著者が使ったデータセットの副産物かもしれないが、閲覧数が最も少ない記事に共通する点の一つは、テーマがWikipediaのコンテンツ指針上、通常は削除対象にならないカテゴリに属していることだ
筆者は、蛾の記事が論争的な観点を押し通す機会を提供する可能性は低いと言っていたが、編集履歴を見ると今年初めにScrobipalpula crustariaの翼開長をめぐって意見の相違があった
11–13mmなのか、10–13mmなのか？
人々はこういうことに強い感情を抱く
閲覧数が最も少ないWikipedia記事の名前を見つけて公開すると、その記事の閲覧数が上がり、そもそも見つけた理由が消えてしまう
https://en.m.wikipedia.org/wiki/Observer_effect_(physics)
問題があるのか？
公平に言えば、2021年のデータセットを分析したものなので、当然影響は受けない
一つ見つけても、その存在を知らせた瞬間に破壊される
quizzaciouslyを見ればよい600万本を超える記事とはいえ、6.0e6は何十年も前から総当たりできる数字だった
線形検索は記事を読む時間より短く済んだかもしれないし、記事を書く時間よりはほぼ確実に短く済んだはずだ
もちろん、そうしていたらここまで面白くも賢くもなかっただろうが、よいエンジニアリングはほとんどいつもこういうものだ