Hacker Newsのメインページからリアルタイムで削除された記事
(github.com/vitoplantamura)- HackerNewsRemovalsは、Hacker NewsのFront Pageから消えたストーリーを記録し、外部から観測可能なメインページ調整の種類と規模を把握しようとするプロジェクト
- このサービスは公式のHN APIで毎分Top Stories 90件を取得し、直前1分の上位30件と比較して、抜け落ちたストーリーをログに残す
- 中核となる仮定は、ストーリーが1分で上位30位から90位圏外まで押し下げられるのは難しく、そのような場合は明示的に削除された可能性があるということ
- 重複ストーリーかどうかは自動判定できず、重複は削除の合理的な理由になり得るため、一覧を見る際は常に確認する必要がある
- ログは最大1分の遅延で更新され、ストーリーが再びFront Pageに現れた場合は一覧から削除され、second-chance poolにあるストーリーは除外される
プロジェクトの目的と問題意識
- HackerNewsRemovalsは、Hacker NewsのFront Page調整がどのような規模と形で行われているのかを理解するためのプロジェクト
- 外部から観測可能なFront Page調整は大きく2種類に分けられると見ている
- ストーリータイトルの修正: 順位上昇に自発的または非自発的に影響を与える可能性がある
- Front Pageからの直接削除
- タイトル変更の追跡はすでにhackernewstitles.netlify.appで提供されているため、このプロジェクトは削除されたストーリーに焦点を当てる
- もともとは個人用の小さなアプリケーションとして作られたが、同種の情報を提供するツールやWebサイトが見つからなかったため、公開リポジトリとして公開した
- 類似のツールやWebサイトがあるなら、リポジトリをアーカイブするか非公開に戻す可能性があるとしている
2024年2月の更新と注意点
- 2024年2月4日の更新で、このプロジェクトに関するHacker Newsの議論へのリンクを追加した
- 議論: HN discussion
- 中核仮定に関する@dangのコメント: @dang comment
- 2024年2月3日土曜日に削除されたストーリー数は、このサービスが記録した中で最も少なく、これには重複ストーリー2件が含まれていた
- 一覧を見る際は、ストーリーが重複かどうかを常に確認する必要がある
- 重複は削除の合理的な理由になり得る
- このサービスには重複かどうかを自動判定する方法がない
動作方式
- このサービスは公式HN APIを使って毎分Top Stories 90件を取得する
- 直前1分に取得した上位30件、つまりFront Pageと現在のデータを比較する
- 直前のFront Pageにあったストーリーが現在のTop Stories 90件から外れていたら、ログに記録する
- この方式は、ストーリーが1分で上位30位から90位圏外へ自然に移動することはないという仮定に基づいている
- ストーリーが再びFront Pageに現れた場合、その項目はログから削除される
- second-chance poolにあるストーリーはログから除外される
記録されるデータ
- タイトルとURLは、ストーリーが最初に上位30件に登場した時点の値を使う
- スコア、コメント数、順位は、ストーリーがFront Pageから削除された時点の値を使う
- 各ストーリーIDはnews.social-protocols.orgのページにリンクされる
- そのページでは、時間に応じたFront Page順位のグラフが提供される
- 一覧はリアルタイム更新され、最大遅延は1分である
公開一覧の形式
- READMEには日付ごとに削除されたストーリー一覧が続く
- 各項目には、HN ID、削除時の順位、スコア、コメント数、ストーリータイトル、元記事へのリンクが含まれることがある
- 例として、2026年6月22日から27日までの項目が日付ごとに並んでいる
- 一部の項目ではスコアやコメント数が表示されず、順位とタイトルだけが示される
- 一覧を解釈する際には重複かどうかを確認する必要があり、サービス自体は重複判定を自動化していない
このプロジェクトを作ったきっかけ
- OnnxStream関連のストーリー2件がHacker Newsに投稿された後、Front Pageで異なる形の影響を受けた事例がきっかけだった
- 1件目のストーリーは「Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes」から「OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2」へタイトルが変更され、新しいタイトルがストーリーの趣旨を反映していないというユーザーの指摘があった
- 2件目のストーリーは投稿から1時間も経たないうちにFront Page 3位にいたが、その後Front Pageから削除された
- @dangは、そのストーリーには明示的なflag表示がなかったとしても、ユーザーによってフラグされたのであり、フラグの原因は推測することしかできないと答えた
- この経験をもとに、この現象がどの程度の頻度で起きるのかを確認するため小さなコンソールアプリケーションを作り、その後、同じ現象を監視する公開ツールが見つからなかったため公開した
1件のコメント
Hacker News のコメント
削除された投稿の一覧を見ると、ここのモデレーションにはかなり満足できる
どれも扇情的だったり、特定企業の広告に近かったり、釣りタイトルだったり、テーマから大きく外れていたり、その組み合わせだったりして、個人的に削除されるべきではなかったと感じるものは一つもなかった
Sam Altman Says AI Using Too Much Energy Will Require Breakthrough Energy Source: https://futurism.com/sam-altman-energy-breakthrough
Avoid Async Rust at All Cost: https://blog.hugpoint.tech/avoid_async_rust.html
最後の投稿はタイトルをもう少し大げさでないものに変えられるかもしれないが、内容自体は興味深い意見記事だった。これはモデレーターが直接やっているというより、スパムフィルターの誤検知、通報の集中、または推薦操作防止の仕組みによる可能性のほうが高そうだ
このサイトのモデレーションについて知るべきことは、それで十分だった。幸い誰かがスクリーンショットを残していた: https://merveilles.town/@cancel/111834048502040552
本当に？ 公式の .gov サイトにあるNASA の報告なのに？ コメント欄がひどかった可能性はあるが、HN が関心を持ちそうなテーマのど真ん中に見える
オンラインフォーラムが長期的に健全でいるには、良いモデレーションが必要だというのはかなり明らかだ。HN は、賛成票/反対票を提供する強いコミュニティと、基本的には軽く介入しつつ必要なときには拒否できるモデレーションチームのおかげで、うまくやってきた
投稿者は疑いから出発したのかもしれないが、結果的にはかなり良い透明性レポートのように機能している
「投稿が1分で上位30位から90位圏外まで落ちることはなく、明示的に削除されたはずだ」という仮定は間違っている
炎上論争検知器、つまり過熱した議論の検知器とユーザー通報がそういうことを起こすし、他にもソフトウェア上の仕組みがある。例えば投稿がトップページに18時間以上あった場合、手動で例外処理しない限り自動的に重みが下げられる。またユーザー通報は、
[flagged]表示が出るずっと前から投稿の順位に影響する誰かが HN 投稿のリアルタイムフィードを受け取り、見せたくない投稿を通報し、友人にも同じ行動を頼むと仮定しよう。こうした行為が、何が表示される機会を得て何が得られないかに特定の人が不当な影響を与えないようにする保護策はあるのか？
[flagged]表示が出るずっと前から投稿の順位に影響するなら、どんな種類のユーザー通報があり、なぜ公開されないのか？人々は知るべきだ。シャドーバンは2010年代向きだ
ユーザーがこういうものを作るのは問題ない。HN が機能する原則は、説明して擁護するのが十分に簡単だからだ。ただ、この程度に複雑なものは必然的に雑然とするので、正確に理解するには雑然さへの高い寛容さが必要になる
ただし、ここで言及されている誤りのような不正確さは修正することが重要だ: https://news.ycombinator.com/item?id=39231537。Robin89、本文を直してもらえるだろうか？ 善意による誤った仮定だったことは分かるが、完全に間違っている
また、ページ上の HN ID が実際の HN スレッドへリンクされていると、ここでの質問に答えやすくなると思う。今は social-protocols.org にリンクされている。もちろんどこへリンクするかは自由だが、ここでの質問を追跡するのが難しい。皆それぞれ「X、Y、Z の投稿はどうなった、W、V、J はまたどうなんだ」というリストを持ってくるし、原則としては全部に答えたいが、実際に処理できる量には物理的な限界がある
今後数時間はほとんど会議なので、このスレッドに埋もれていなければ、あとで質問に答えてみる
こうした不自然さと不透明さは、たとえ正当な理由があっても、ユーザーには順位が恣意的で不公平だと感じさせる。各投稿について、順位や他の一覧にどんな操作があったのか表示できないのか？ 例えば投稿時刻のリセットのようなものは簡単に表示できそうだ
重み下げが起きると言うことはできるが、私たちが尋ねているのは、どこで重み下げが起きているのかを見たいということだ
HNユーザーがLLM関連ニュースにうんざりしているとは信じがたいと言っていたけど、私はうんざりしているので信じていい
ただし、うんざりしているという理由で通報はしない
モデレーションについて考えるとき、その言葉をよく思い出す。人はコミュニティの全員が自分に似ていると仮定しがちで、特定の話題がどれほど飽和しているかを把握できるのは、実質的にはモデレーターだけだ。だから、
$corporationが$person_i_likeを禁止するたびに出てくる無条件の表現の自由ミームも、あまり好きではない。どんなコミュニティにもモデレーションは必要で、うまく機能していると何も起きていないように見えるため、感謝されにくい仕事だ集合知は反復に非常に早く飽きる [2]。要点は、もみ殻と実をより分けることで、ここでの実とは重要な新情報をもたらす投稿 [3]であり、もみ殻とは膨大な数のフォローアップ記事や模倣記事 [4]だ
この問題に対する意見は非常に広いスペクトラム上にある、という点が重要だ。「$TOPICの投稿を一切許可しない」と「$TOPICの投稿をすべて許可する」という両端を持つスライダーを想像すると、ほぼすべてのユーザーがそれぞれ違う位置に置くだろう。どの話題でもそうだし、特に最大級の話題ほどそうだ
フロントページの枠はHNで最も希少な資源であり [5]、各読者はそこで見たいもの／見たくないものについて、それぞれ異なる好みの「署名」を持っている。だから全員を満足させることは不可能なだけでなく、誰か一人を完全に満足させることも不可能だ。フロントページと完全に一致する人などいないし、すぐ反論しようとする人がいるかもしれないが、当然ながらモデレーターたちの好みとも完全には一致しない
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[3] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[4] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[5] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
こうした話題にもある程度の関心はあるが、ほとんどの投稿は新しいものを何ももたらしておらず、最近の違反事例に対する反応的な投稿にすぎない
LLM関連ニュースがもっと必要なら、答えはLLM Newsサイトを作ってコミュニティを育てることのように思う
HNは本当に好きだが、レトロコンピューティングとゲームニュースがもっと必要だったので、HNのソースコードで自分のサイト（https://twostopbits.com/）を作った。難しくはない。欲しいものを作って、自分でモデレーションすればいい
35年以上にわたってさまざまなオンラインコミュニティにいたが、これまでで最もよくモデレーションされ、長く成功裏に運営されてきたコミュニティは、断然HNだ。一時期はThe Wellも素晴らしかった
トラフィックの少ないコミュニティが、立ち上げ時に期待していたコンテンツの組み合わせを実際に提供していると感じられるのか気になる
驚くべきことにその通りで、私たちもLLM関連ニュースにうんざりしている
これらの記事の大半は、ユーザーの通報で削除されているのではないか？
修辞的な質問ではない。このスレッドには「モデレーターたち」に感謝するコメントが多いが、トップページを整えるモデレーションチームがいるとは知らなかった。誰か確認できる？
「その投稿を通報したのは私たちではなく、ユーザーたちだ。投稿に関してはほぼ常にそうだ。https://news.ycombinator.com/newsfaq.html を参照」
https://news.ycombinator.com/item?id=39169622
公に書き込んでいる単独の管理者である dang がいて、彼を手伝うほかの HN 管理者もいる可能性はあるが、人々が「モデレーター」や「権力に酔ったモデレーター」、「検閲」に文句を言う場合、99.9% は、ほかのユーザーがあなたの発言を見て、私たちが単にそれをここで見たくなかったという意味に近い。
ときどき、人々が何を通報できるかについて何らかの「ルール」があると思っているのも奇妙だ。ガイドラインは確かにあるが、この権限は普通のユーザーなら誰でも持っているものなので、実際には各自が意味すると考える通りに使われている。たとえば私は、テーマや記事自体は完全に妥当だと思っていても、HN でその話題が議論されるたびに役に立たない炎上論争になったり、最低品質のコメントで埋まったりしてきた投稿はよく通報する。少なくとも私にとって通報は、記事の「価値」に対する判断ではなく、単に HN で見たくないものについてのものだ。
https://news.ycombinator.com/item?id=39231055
「Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes」から「OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2」へタイトルが変わったことで、実質的に投稿が死んだというケースや、投稿から1時間もたたずにトップページ3位だった記事が単にトップページから消えたというケースを見ると、このように繰り返し通報される投稿があるなら、ある時点で単なるリンク宣伝のためにコミュニティへ スパム をばらまいているのではないかと考えるべきだ。
人々が自分の成果物を宣伝したいと思うのは理解できるが、コミュニティにも好みがある。コミュニティは毎日 LLM 記事がトップページに上がることにうんざりするかもしれない。コミュニティはスパムを拒否できるし、投稿を通報できる。
HN ユーザーが LLM 関連ニュースにうんざりしているということが、なぜそんなに信じがたいのか分からない。私もうんざりしているが、通報権限はない。通報権限のある HN ユーザーが LLM 関連ニュースを通報したいと思う可能性は十分にありそうだ。
コメントページにあるはずで、そこへ行くにはコメントのタイムスタンプをクリックすればよい。
人々が LLM 関連ニュース にうんざりする可能性を想像もできないなら、売りたい NFT がある。
「投稿が1分で上位30位から90位圏外に落ちることはあり得ず、明示的に削除されたのだろう」という前提が妥当なのか、よく分からない。
https://news.social-protocols.org/stats?id=39094387 はかなり早く30位圏内まで落ちた投稿のように見える。突然人気のある別のコンテンツが出てきたからかもしれない。
2024年1月22日月曜日に列挙された13件を見ると、HN で実際に削除されたように見えるのは3件だけだ。残りの10件はまだ存在している。
HP の投稿 https://news.ycombinator.com/item?id=39087776 は https://news.ycombinator.com/item?id=39060793 の重複だったため、トップページから押し出されたように見える。
Ford の投稿 https://news.social-protocols.org/stats?id=39089599 は誤検出されたように見える。
正直なところ、13件中3〜4件だけがモデレーションの可能性があるように見え、それも悪くは見えない。テキサスの有刺鉄線の話は Hacker News にふさわしいのか？ 私はテキサスにいるので関心はあるが、HN ではなく別の場所で目にする話だと期待している。
全体としては、HN は モデレーションをうまくやっている と思う。
ユーザーの通報によってアルゴリズムで順位が下がるが非表示にはならないなら、それは明示的なのか？ 「明示的」は手動のモデレーター介入を意味しているように思えるが、それを裏付けるものはあまり見えない。
政治的なのは確かだが、地域問題ではない。