Hacker Newsユーザー2,000人をクローンしてバイラル投稿を予測する

• 実際のHacker Newsコメントデータをもとに作成した1,903個のAIペルソナを使って投稿タイトルのバイラル性を予測し、60%の精度を達成
• これはランダム推測より20%高い成果で、既存の市場調査を代替できる可能性も示した一方、社会的拡散（dynamics）が予測を難しくする主因であることが明らかになった
• 予測失敗事例の分析を通じて、最初の数件のアップボートが全体の結果を変えうる運とタイミングの影響力が確認された
• この結果は、AIが個々の好みはうまくモデリングできても、バイラル成功の可否では予測の限界にぶつかることを示唆している
• 著者はAI市場調査は正確な予測よりも方向性の探索に有用であり、相対評価と反復シミュレーションを中心に活用すべきだと助言している

---

実験概要と結果

実験方法: AIで構成された仮想Hacker Newsコミュニティ

• 2025年3月12日に投稿された1,147件のHacker News投稿タイトルを収集
• 実際のユーザーコメントをもとに1,903個のAIペルソナを生成し、各ペルソナに「そのタイトルにアップボートするか」を質問
• 実際の上位投稿と下位投稿を混ぜて見せたうえで、予測精度を測定
• **予測成功率は60%**で、ランダム（50%）より有意に高い結果を示した

予測失敗の事例と限界

• “Gemma 3: Google’s new multimodal models”はAIがバイラルになると予測したが、実際には4アップボートにとどまった
• 一方、同じテーマを扱った“Gemma 3 Technical Report [pdf]”は1,324アップボートを記録
• また、“TSA finds live turtle in man’s pants”のような刺激的なタイトルも、AIは成功を予測したが実際には失敗した

原因分析

• バイラル化するかどうかは、個々のコンテンツの品質よりも、初期露出、アップボート数、タイミングなどの社会的文脈に大きく依存する
• Princetonの研究では、同じ楽曲リストをグループごとに異なる形で露出させると、一部の楽曲は大成功したり完全に失敗したりを繰り返した
• 結論: 「良いコンテンツが成功する」というより、「運よく露出されたコンテンツのほうがより成功する」というネットワーク効果が支配的

実用的な示唆: AI市場調査の活用方法

• **AIペルソナ予測は完璧ではないが、「十分使える精度（60%）」**を提供する
• 他のAI市場調査ツールが主張する90%台の精度はアンケートデータベースであり、現実のバイラル予測とは隔たりが大きい

実践的な適用戦略

• 予測そのものではなく、反復実験と方向性探索のツールとして活用すること
  • 例: 10個の見出しをテストして、捨てるべき候補をふるい落とす
• 反復シミュレーションによる検証
  • 例: 8回のうち6回以上高評価を得るコンテンツには実験する価値がある
• 絶対値より相対順位の比較に集中
  • AIは明確な強弱の判別は得意だが、似たコンテンツ同士の予測は難しい

自分で試す: HNユーザー複製プロンプト

• Hacker Newsユーザーのコメントページからテキストをコピーし、以下のプロンプトをChatGPTやClaudeに入力すると、仮想ペルソナを生成できる。
  > You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
• 生成したペルソナに対して複数のコンテンツアイデアをテストできる
• この方法は統計的に補正された予測ではないが、コストをかけずに方向性を探れる有意義なツールとして活用できる

結論

• AIは個々のユーザーの反応はかなりうまくモデリングできるが、バイラル成功は社会的拡散という「カオス」の影響を受ける
• 結局のところ、コンテンツ予測においてAIは予言者ではなく、方向性を示すガイド役にとどまらざるをえない
• それでも、この実験は小規模チームや個人でもAIで低コストに市場調査を試せる可能性を開いた