- Hacker Newsの投稿感情分析研究では、全体の約65%がネガティブ感情に分類され、これらの投稿が平均的により高いスコアを記録
- ネガティブな投稿の平均スコアは35.6点、全体平均は28点で、約27%の成果プレミアムが確認された
- 分析は32,000件の投稿と34万件のコメントを対象に行われ、6種類のモデルで一貫したネガティブバイアスが見られた
- 使用されたモデルにはDistilBERT, BERT Multi, RoBERTa, Llama 3.1 8B, Mistral 3.1 24B, Gemma 3 12Bが含まれ、最終ダッシュボードでは効率性を理由にDistilBERTの結果を使用
- 技術批判、業界への不満、APIに関するフラストレーションなど、建設的批判を中心としたネガティブさが主であり、これはエンゲージメントと論争性の相関を示唆する
Hacker News感情分析の結果
- Hacker News投稿の平均スコアは28点で、ネガティブ感情を帯びた投稿は平均35.6点と、より高いエンゲージメントを記録
- 研究はHN(Hacker News)の注目度ダイナミクスを扱っており、減衰曲線、優先的選択、生存確率、初期エンゲージメント予測などを含む
- 関連するプレプリント論文はSSRNで公開されている
データとモデル構成
- 分析対象は32,000件の投稿と340,000件のコメント
- 全体の約65%がネガティブ感情に分類された
- 研究者は分類器がネガティブ寄りにバイアスしている可能性に言及したが、6つのモデルすべてで同じ傾向が確認された
- 使用されたモデルはDistilBERT, BERT Multi, RoBERTa(Transformerベース)とLlama 3.1 8B, Mistral 3.1 24B, Gemma 3 12B(LLMベース)
- 感情分布はモデルごとに異なるが、ネガティブへの偏りは共通して維持された
- 最終ダッシュボードではCloudflareベースのパイプラインで効率的に動作するDistilBERTの結果を使用
ネガティブ感情の定義と特性
- 「ネガティブ」と分類された内容には、技術批判、発表への懐疑、業界慣行への不満、API関連のフラストレーションなどが含まれる
- ネガティブさの大半は個人攻撃ではなく実質的な批判で構成されている
- 研究者は、ネガティブさが参加を誘発するのか、あるいは論争的なコンテンツがネガティブな表現と注目を同時に引き寄せるのかについて、両方の可能性を認めている
今後の公開計画
- 研究者は全コード、データセット、HNアーカイバー向けダッシュボードをまもなく公開する予定
2件のコメント
人々はゴシップやノイズにより関心を向けますよね。[included 性急な一般化]
Hacker Newsの意見
OPの分類器が結果に影響する2つの前提を置いていると思う
私は今批判的なコメントを書いているが、それが必ずしも「ネガティブ」なわけではない。むしろOPのデータと結論が明確だからこそ批判できる。こうした建設的批判こそ良い議論の証拠だと思う
懐疑的な態度がネガティブに分類されるというのは部分的にはその通りです。SST-2の学習データは批判的な評価をネガティブと見なします。ただしここでの「ネガティブ」は敵対的という意味ではなく、評価的という意味です。HNの批判文化はこうしたモデルではネガティブに読まれますが、技術的な議論の性質上、自然な現象です。
中立性は0.5付近の連続スコアとして存在します。HNユーザーは強い立場を取る傾向があるため、両極端な分布が現れます。今後は3分類モデルを試す価値があります。
あなたのコメントは批判的ですが、高品質な議論です。HNのネガティブさは敵意ではなく、参加を促す建設的批判だと見ています
DistilBERT SST-2モデルのリンク
自分が投稿したネガティブな投稿のほうが、中立的またはポジティブなものより反応が良かった。
「Richard Stallman is Dead」というタイトルが最も高いクリック率を示し、別のモデルではコメント/投票比率が0.5以上になる確率を予測していた。クリックベイト、ジェンダー論争、自動車関連の話題が特に強かった。
平均スコアが35というのは信じがたい。以前は平均8くらいだったので、サンプリング基準が気になる
0点の投稿が欠落していて、そのため平均が高く出た可能性があります。フィードバックありがとう。論文を出す前に見直す予定です。あなたの分類器も興味深いです
コメントでも似た現象を見る。短くて皮肉っぽいコメントのほうが、長い分析文よりずっと反応が良い。
手間をかけた長いコメントは無視され、思いつきで書いた短いコメントが「爆発」することが多く、がっかりする
HNは冗談を好まない。ただし説明が添えられている場合は例外だ
ブログを運営してみると、こうした参加の基準をもっとよく感じられる気がする
「ネガティブ」が技術批判、業界への不満、APIへのフラストレーションなどを含むなら、HNの議論の大半がその範疇に入る。
OpenAIの宣伝投稿に「いいね」だけ付けても意味はなく、批判的分析こそ価値ある参加だ。
コメントのない人気投稿は、むしろサイトがうまく機能している証拠だと思う
私たちは自分でネガティブな反応を好むようにフィルタリングしている。ポジティブなコンテンツは完結していて反応を促さないが、ネガティブなコンテンツは相互作用を引き起こす
だからネガティブなニュースにより惹かれ、ポジティブな知らせはそのままスクロールする。これが注意経済の核心だ
技術的な批判は個人攻撃とは違う。HNのネガティブさの大半は建設的批判だ。
シニシズムが行き過ぎると、「不満に対する不満」が必ず現れる。
私は称賛よりも、「歯に何か挟まってるよ」と言ってもらうほうがありがたいと思う
HNのモデレーションが敵対的なコンテンツを素早く取り除くので、残るのは大半が生産的な批判だ。
興味深いのは、こうした「ネガティブさ」が27%高いエンゲージメント率と関連していることだ。つまり技術コミュニティは宣伝より批判を価値あるものと見なしている。
論文では、「ネガティブ感情」とはSST-2モデル基準の評価的批判であり、有害な発言ではないと明記する予定だ
以前Reddit APIにアクセスできた頃、rifリーダーアプリでネガティブ感情のサブレディットをブロックする実験をした。
何百個もブロックすると、残ったのは動物や趣味に関するポジティブなコンテンツだけだった。Redditがどれほどネガティブさ中心なのかを実感したし、同時にそれがなくなるとかなり退屈になることも分かった
ブロックリストのリンク
こうした投稿はまるでボットがボットと会話している感じだ。Redditが広告表示を増やすためにこうした構造を放置しているのではないかと疑っている
インターネットでは、不満を言うことや誰かを正すことほど強力な組み合わせはない。
ESL(English as a Second Language)ユーザーとして、最初に覚えたインターネット用語が「flamewar」だった
論文によれば、HNの関心の不平等は非常に大きい。ジニ係数は0.89で、Twitterより高い
これはHNの露出構造による可能性が高い。新規投稿は/newestから始まり、初期の少数の注目を得られなければ事実上消える。
Redditのように基本的な露出がある構造と違い、HNは序盤のゲートを通過して初めてメインに上がる
エンジニアは問題を解決する職業なので、自然と批判的思考をするようになる。
業界展示会でエンジニアたちは腕を組んで冷静に接していたが、メイカーコミュニティはポジティブなエネルギーに満ちていた。
結局のところ、「コップが半分空いているか、半分満ちているか」の違いだ