Hacker Newsのデータで見る18年間の技術トレンドの変化

 (hackernewstrends.com)
6 ポイント 投稿者 baeba 5 시간 전 | 3件のコメント | WhatsAppで共有
  • Hacker Trends は、Hacker Newsに蓄積された約4,500万件の投稿とコメントを分析し、特定の技術、製品、企業、人物の言及量の変化を時系列で示すサービスである。
  • 複数の検索語を1つのグラフに表示することで、技術間の競争、市場の世代交代、出来事に伴う関心の急騰を比較できる。
  • 技術トレンドはおおむね、新製品のリリース、企業買収、ライセンス変更、セキュリティ事故、業界環境の変化といった特定の出来事を中心に急上昇する。
  • 長期データを見ると、開発ツールやプラットフォームは一度に置き換わるのではなく、既存技術への関心が低下し、新しい技術がそれを引き継ぐ形で変化していく。
  • ただし、Hacker Newsでの言及量はあくまで開発者コミュニティの関心度を示すものであり、実際の市場シェアや技術的優位性を直接証明するものではない。

はじめに

開発者の議論の変化をデータで追跡する

  • Hacker Trendsは、18年間にわたりHacker Newsで特定の単語がどれだけ頻繁に言及されたかを月別ヒストグラムで提供する。
  • ユーザーは複数の検索語を同時に入力し、技術や企業への関心の変化を比較できる。
  • 特定の月や期間を選ぶと、その時点の実際の投稿やコメントを確認できる。
  • データの検索と集計にはUpstash Redis Searchが活用されており、対象は約4,500万件のデータである。
  • 単なる検索量グラフにとどまらず、関心上昇の原因となった投稿や出来事も併せて確認できるようになっている。

本論

技術は世代交代の形で変化する

  • 開発ツールやプラットフォームの変化は、既存技術がすぐに消えるというより、新しい技術が徐々に関心を集める形で現れる。

  • 代表的な例は次のとおり。

    • CoffeeScriptへの関心が低下した後、TypeScriptがJavaScript拡張言語の主流として台頭した。
    • Jenkins中心のCI環境は、2021年以降GitHub Actions中心へ移行した。
    • Webpack中心のビルド環境は、2022年以降Viteへ関心が移った。
    • Vim中心のエディタエコシステムでは、2021年以降Neovimが急速に成長した。
    • MySQL中心のデータベース議論は、2017〜2020年ごろを境にPostgreSQL中心へ転換した。

  • こうした変化は単なる流行ではなく、開発のしやすさ、性能、エコシステム支援、デプロイ方式の変化が積み重なった結果と見なせる。

AI技術は連続するリリースショックで成長した

  • 生成AI分野は、新しいモデルやサービスが発表されるたびに言及量が段階的に増加する特徴を示す。

  • 主な関心対象には、ChatGPT、GPT-4、Claude、Gemini、Llama、Mistral、DeepSeekなどが含まれる。

  • AIコーディングツールでは、Cursor、Claude Code、Codexの順に関心が移る傾向が見られる。

    • Cursorは2024年後半に高い関心を集めた。
    • Claude Codeは2025年半ばに急速に台頭した。
    • Codexは2026年初頭から関心が増加した。

  • オープンモデル分野では、Llamaが2023年に市場を拡大し、その後MistralとQwenが競争構図を形成した。

  • AI分野の関心度は、性能向上だけでなく、モデル公開、オープンソース方針、企業間競争、M&Aといった出来事の影響も大きく受ける。

インフラ技術は役割ごとに主導権が移った

  • クラウドと開発インフラでは、同じ機能を提供する技術同士の間で主導権が継続的に移り変わってきた。

  • 主な例は次のとおり。

    • Dockerが2014〜2015年にコンテナ技術を一般化した後、Kubernetesがオーケストレーションの中心として台頭した。
    • Herokuが初期の簡単デプロイ市場を主導し、その後NetlifyとVercelがそれぞれJAMstackとNext.jsエコシステムを基盤に成長した。
    • Apache中心のWebサーバー環境はnginxへ移行し、その後、自動HTTPSを提供するCaddyが注目を集めた。
    • ChefとPuppet中心のサーバー構成管理市場は、エージェント不要のAnsibleへ移った。
    • オブザーバビリティ分野では、Prometheus、Grafana、Datadogがそれぞれデータ収集、可視化、統合SaaSの役割を軸に関心を広げた。

  • これは、技術選定の基準が単一製品の機能から、デプロイ自動化、管理のしやすさ、統合性、クラウド適合性へと拡大したことを示している。

特定の出来事が短期間で関心を増幅させる

  • Hacker Newsでの技術言及量は、長期的な成長だけでなく、特定の出来事による一時的な急増も示す。

  • 代表的な出来事は次のとおり。

    • 2023年にUnityがランタイム料金ポリシーを発表した際、UnityだけでなくUnrealとGodotの言及量も同時に増加した。
    • Herokuが2022年に無料プランを終了したことで、関連する議論が再び急増した。
    • Mastodonは、2022年のTwitter買収後のユーザー離脱の流れの中で関心が高まった。
    • Blueskyは、2024〜2025年に新しいソーシャルプラットフォームの代替候補として台頭した。
    • ZoomとMicrosoft Teamsは、2020年の新型コロナウイルス感染拡大とリモートワーク移行により言及量が急増した。

  • 競合技術への関心増加は、その技術自体の革新だけでなく、既存事業者の政策失敗や市場ショックによって生じることもある。

セキュリティ事故は明確な時点での急騰として現れる

  • セキュリティ分野では、長期的な関心の変化よりも、大規模な脆弱性や事故が発生した時点に言及量が集中する傾向がある。
  • 主な分析対象には、Heartbleed、Log4j、XZ Utils、Spectre、SolarWinds、WannaCry、CrowdStrikeなどが含まれる。
  • これらの出来事は、脆弱性公開、サプライチェーン攻撃、サービス停止のように被害時点が明確なため、グラフ上でもはっきりした急騰として表れる。
  • セキュリティ関連データを使えば、特定の出来事が開発者や企業の技術選択に与えた影響を比較できる。

ライセンス方針がオープンソースエコシステムを再編する

  • オープンソースプロジェクトのライセンス変更は、開発者コミュニティの強い反応と新たなフォークプロジェクトの登場につながる。

  • 代表例は次のとおり。

    • MongoDBのSSPL移行
    • Elasticのライセンス変更
    • HashiCorpによるTerraformのライセンス変更とOpenTofuの台頭
    • Redisのライセンス変更とValkeyの登場

  • ライセンス変更は法的条件の修正にとどまらず、クラウド事業者や開発者コミュニティの信頼、そしてプロジェクトの持続性にも影響する。

  • 技術への関心は、機能や性能だけでなく、運営主体の方針やガバナンスによっても左右される。

業界環境と社会的論争も技術言説を変える

  • Hacker Trendsは、プログラミング言語や製品だけでなく、業界環境や開発文化の変化も扱っている。
  • 業界関連のトピックには、レイオフ、景気後退、AIバブル、オフィス回帰、バーンアウト、労働組合、週休3日制などが含まれる。
  • 開発文化関連のトピックには、技術的負債、コードレビュー、アジャイル、スクラム、マイクロサービス、サーバーレス、モノレポなどが含まれる。
  • こうしたテーマは、技術トレンドが技術そのものの進化だけでなく、雇用環境、組織運営、規制、社会的論争とも結びついていることを示している。

検索結果の解釈には限界がある

  • Hacker Newsの利用者は一般大衆よりも、開発者、起業家、技術従事者の比率が高いため、その結果が社会全体の関心度を代表するわけではない。
  • 特定の単語の言及量増加は、肯定的評価だけでなく、批判、障害、セキュリティ事故、政策論争によって生じる場合もある。
  • 同じ名前を持つ技術や一般名詞が検索結果に含まれる可能性もある。
  • 検索量だけで実際のユーザー数、売上、市場シェア、技術性能を判断するのは難しい。
  • したがって、Hacker Trendsは市場分析の最終的根拠というより、技術コミュニティにおける関心の変化や主要な出来事を探る補助資料として活用するのが適切である。

結論

技術変化の流れと原因をあわせて探れる

  • Hacker Trendsは、Hacker Newsの長期データを基に、技術や企業への関心の上昇と低下を視覚的に比較するサービスである。
  • 分析結果からは、エディタ、プログラミング言語、クラウドプラットフォーム、データベース、AIモデルなど、さまざまな分野で繰り返される世代交代が確認できる。
  • 関心の急騰は主に、製品リリース、企業買収、ライセンス変更、セキュリティ事故、政策失敗、社会環境の変化と結びついている。
  • 実際の投稿やコメントも併せて提供されるため、単なる言及量だけでなく、当時開発者たちがその技術をどう評価していたかも追跡できる。
  • ただし、これはあくまでHacker News内部の関心度を示すデータであるため、市場シェア、ユーザー統計、売上データと組み合わせて解釈する必要がある。

関連記事

3件のコメント

 
laeyoung 3 시간 전

こうして見ると、今年2月はShow HNの投稿がものすごく多かったんですね。みんな年末に作って、2月にまとめて投稿したのかな。
 
xguru 3 시간 전

たしかその頃は Opus 4.6 が出て、Claude Codeで作られたものが広まり始めて、最初の成果物が一気に出てきた時点だった気がします。

Show GN も徐々に増える傾向ではあります。韓国でもAIの助けを借りて作られたものがだんだん増えているようです
 
GN⁺ 4 시간 전
Hacker Newsの意見

  • Hacker Newsのデータを収めた公開ClickHouseデータベースを運用しているので、https://play.clickhouse.com/play?user=play#U0VMRUNUICogRlJPT...から直接クエリできる
    似たようなサービスはSQLクエリ1本とHTMLページだけで作れるし、どこからでもクエリ可能な公開データレイクも用意している: https://github.com/ClickHouse/ClickHouse/issues/29693#issuec...
    リアルタイムでも更新される

    • HNの規約上、私のHNデータはHNに対してのみライセンスしたものなので、このデータセットから私のデータを削除してほしい

  • Google Trendsは検索量を見るものだが、これは投稿されたテキストを見るものなので異なる
    Google TrendsがWebページ上の単語出現回数を数える、あるいはGoogle Ngramsが本ではなくWebページを数えるものに近い
    人々はハンバーガーの配達が欲しいたびに「burger」を検索するが、ニュース価値の低いものについてはあまり記事を書かないので、2つのデータセットを同じように使うのは難しい
    製品自体が良くないという意味ではなく、使うときにこの違いを念頭に置けばよい

    • タイトルと可視化が見慣れているので同じ指標のように受け取りやすいが、実際には同じデータ種別ではないため、そのレンズで読むと誤った結論を導くことになる
      例を眺めていて、なぜ違和感があるのか後から気づいた。これはHNの人々が実際に探しているものではなく、現在何について書いているかを示すデータだ
    • 2つのデータセットを同じように使えない、という点には強くは同意しない
      このツールは投稿とコメントの両方を集計するので、「人々が何をもっと知りたがり、議論したがっているか」という観点では、HNの投稿・コメントは検索にかなり近い
      人気のある投稿はコメントが多く、関連語がより上がり、伸びなかったトピックは関連コメントが少ないので低く出る
      実際にblockchainとOpenAIを比較してみると、2010年代後半まではblockchainが突出し、ChatGPTのリリース後はOpenAIが上回るという予測どおりの結果になり、Google Trendsのグラフともかなり似ている
    • Hacker News Trendsという名前は問題ないが、投稿タイトルは少し誤解を招きそうに見える
    • むしろGoogle Ngram Viewerに近いかもしれない: https://books.google.com/ngrams/about
    • AlgoliaがHNで人々が実際に何を検索しているかのデータセットを持っているなら、それがぴったりだと思う

  • Hug of deathが来たようだ
    /api/hn -> 504 An error occurred with your deployment FUNCTION_INVOCATION_TIMEOUT cle1::c8vgv-1782399959042-aeba3cae05ff

    • このプロジェクトが「Highly Available, Infinitely Scalable」を掲げるUpstashの広告なら、最も避けたい状況がまさにhug of deathだろう
    • /api/hn -> 502 {"error":"Your database has been temporarily rate-limited, please contact support@upstash.com for further details."}
    • 昔はこういうのを単にslashdottingと呼んでいた
    • 次のエラーが出る
      /api/hn -> 502 {"error":"Search entry should have an initialized schema, command was: [\"SEARCH.AGGREGATE\",\"hn\",\"{\\\"$or\\\":[{\\\"title\\\":{\\\"$eq\\\":\\\"anthropic\\\",\\\"$boost\\\":5}},{\\\"text\\\":{\\\"$eq\\\":\\\"anthropic\\\"}}]}\",\"{\\\"by_month\\\":{\\\"$dateHistogram\\\":{\\\"field\\\":\\\"time\\\",\\\"fixedInterval\\\":\\\"30d\\\"}},\\\"top_authors\\\":{\\\"$terms\\\":{\\\"field\\\":\\\"by\\\",\\\"size\\\":6}},\\\"by_type\\\":{\\\"$terms\\\":{\\\"field\\\":\\\"type\\\",\\\"size\\\":4}}}\"]"}
    • 何度か検索したあとに /api/hn -> 504 An error occurred with your deployment FUNCTION_INVOCATION_TIMEOUT cle1::48fnt-1782412720840-4855b2b75b5a が出る

  • /api/hn -> 502 {"error":"Your database has been temporarily rate-limited, please contact support@upstash.com for further details."} が出る

  • すごい。ここにはバグがありそう: https://hackernewstrends.com/?q=vim&q=emacs&q=zed
    何らかの理由で結果が2018-10で途切れるが、「Popular Comparisons」のプレビューにはそれ以降も表示される

    • 修正済み

  • 作業中のサイドプロジェクトを思い出した
    https://gitlab/here_forawhile/torum
    HNと同期するHNクローンで、HNに直接いなくても、HNに上がった内容をもとに、より小さな非公開コミュニティで議論できるようにするもの
    データベースをインデックス化して検索もサポートしているので、自分の興味を引く記事を見つけるのにかなり役立つ

  • 全体量で正規化して、単なるサイト成長ではなく、ある項目自体の変化を見られると有用そう
    今は一般的な単語を1つ一緒にグラフ化する必要があるが、選び方を間違えると解釈がさらに混乱しうる

    • 同意する。そうすればはるかに示唆に富むものになりそう
      そうでなければ、サイトが成長している期間の検索結果の大半は、実質的に https://xkcd.com/1138/ の変種のように見えるだろう
    • 逆に、HNが時間とともにどれだけ成長したかも見てみたい

  • 科学・フロンティア技術分野でlk-99が大きく跳ねているのが面白い
    すばらしいコンセプトで、特定の単語に言及した各コメントについてポジティブ・ネガティブの感情を計算してくれるとよさそう
    たとえば cloudflare (positive) と cloudflare (negative) の推移を分けて見られるようにし、前者は感情の信頼度が0.6より大きいコメントだけ、後者は感情スコアが0.4より小さいコメントだけを数える、といった形が可能

  • 面白いプロジェクトで、実装もよくできている。相対的な規模補正オプションがあるとよさそう
    たとえば「iPhone」の検索結果が2025年ごろに下がっているが、実際に関心が減ったのか、それともその年のHacker Newsのコメント数が減ったのか判断しにくい
    「the」や「is」のような一般的な単語を検索してみると、後者の可能性が高そうに見える

  • 英数字以外の文字には注意が必要そう
    たとえば**C#**はグラフ上では実際にはCにマッチしているようだが、例の記事タイトルではC#だけが強調表示される