HNコミュニティで誰が何を知っているかを見つけるためのHacker Newsマッピング
(blog.wilsonl.in)40 million embeddings to find who knows what on Hacker News
プロジェクトの背景
- 以前の投稿で、Hacker Newsの4,000万件の投稿とコメントを埋め込み、コミュニティの意味マップを作成した
- コミュニティがプロジェクトを支持し、提案した内容を通じて、世界中の人々が実際の関係へと素早く収束していくことを発見した
- Robert（ロバート）との会話を通じて、2008年に社会的意味アルゴリズムを構築した彼の取り組みについて議論した
- 16年が経った今でも、Hacker Newsのようなソーシャルネットワークが、トピックごとに信頼できる声を計算して表示していないことに驚いた
主な問い
- なぜ、特定のトピックについて最もよく知っている人々を発見し、探索することが難しいのか？
- 彼らの知識の範囲や、似た考えを持つ人々との関係はどうなっているのか？
新しいアプリ機能
- 新しいアプリを通じて、Hacker Newsの意味マップを探索し、インタラクティブに操作できる（hn2.wilsonl.in）
発見した興味深い点
- ユーザーの意味的な組織化: コミュニティの意味をユーザーから出発して整理し、類似するユーザーとともにHNでの貢献を意味的に示す
- 例: robgの新しいプロフィールを確認
- 意味検索: 誰が何を知っているかに基づいて、HNの意味を検索できる
- クエリ例: スタートアップ、Go vs Rustプログラミング、神経科学と睡眠、メールマーケティング
- コミュニティのマッピング: 誰が何を知っているかに関連する意味に基づいて、コミュニティをマップ化できる
- 知識は均一ではないため、コミュニティの地形を通じて人々と彼らが知っていることを強調できる
技術の可能性
- 意味を組織化し、検索し、コミュニティをマップ化する3つの機能を組み合わせることで、言葉の背後にいる人々を示せる
- 世界の情報を整理する代わりに、世界の人々を整理できる
- さまざまな社会的知識の課題について考えさせられる
- プロジェクトをさらに前進させながら一緒に探索したい人には、ウェイティングリストへの登録を勧めている
GN⁺の要約
- このプロジェクトは、Hacker Newsコミュニティの意味マップを通じて、特定のトピックに関する専門家を見つけて探索する方法を提示している
- ユーザーの貢献を意味的に分析し、類似するユーザーとの関係を可視化している
- 検索機能を通じて、特定のトピックに関する知識を持つ人々を簡単に見つけられる
- コミュニティの地形を通じて、人々と彼らが知っていることを強調している
- このプロジェクトは、人々をつなぎ、知識を共有する新しい方法を提供している
1件のコメント
Hacker Newsの意見
個人的には、HNが個々のユーザーよりもコンテンツと議論に集中している点が好き。専門家をフォローしたいなら、Mastodonのようなソーシャルネットワークで自分でリストを作るか、RSSフィードを無理やり束ねることになりそう
このツールは、知識のある専門家よりも活発なコメント投稿者をうまく拾っているように見えるし、使い捨てアカウントの問題もある。それでも素晴らしいプロジェクト
HNで誰と議論したかはまったく覚えていないけれど、きっと何度かはあったはず
同時に、元記事のプロジェクトも素晴らしいと思う
理想を言えば、信頼できる専門家リストなしでコンテンツだけを見れば済むはずだけれど、以前は検索エンジンに「いちばん使いやすいデータベースは何か」と打てば役に立つ結果が出ていた時代もあった。今はそうではない。HNは他よりまだましかもしれないが、結局は似た問題を抱えている
そうすれば、単に貢献だけを数えるのではなく、その貢献が他の人たちとどうつながっているかも計算できる
https://hn2.wilsonl.in/user/simonw のページの地図の下のほうに「Risk of COVID from pianos」が入っている。これがどこから来たのか本当に知りたい
地図上のその位置/テキストの上に赤いカーソルをズームして移動すると、地図の下に元のコメントが表示される
パンデミックが始まったとき、人々が家でできる趣味を探してギターやホームジム機器の売上が伸びたように
実際の仕事であるクラウドアーキテクチャ、ネットワーキング、そしてあまりに混み合った分野のAIにはほとんどコメントしない。妙なのはApple関連がほとんど出てこないことで、自分のブログを考えるとかなり皮肉だ。だからこのツールは、人々がここで何を議論しているかは示してくれるが、必ずしも何を知っているかを示すわけではない
https://hn2.wilsonl.in/user/c0l0 — どうやら私は便座の設計最適化分野の第一人者らしい。何でも聞いてくれ
自分のページにはものすごくたくさん項目がある: https://hn2.wilsonl.in/user/AndrewKemendo
https://hn2.wilsonl.in/user/SketchySeaBeast
埋め込みを作るときにIDFを使って、珍しい単語の組み合わせに過剰な重みを与えてしまったのではないかと気になる
最近の関連記事:
Show HN: 遊びで4,000万件のHN投稿とコメントをマッピング・分析してHNを探索する - https://news.ycombinator.com/item?id=40307519 - 2024年5月、コメント159件
HNのようなコミュニティがあるからこそ、インターネットにおける信頼の未来に期待を持っている
プロフィール文から自分のメールアドレスを抜き出して
mailto:リンクにしたようだが、今どきのLLM基準では十分に隠せていなかったのは認めるそれでも収集をもっと簡単にしてくれたわけで、低労力スパマーの代わりに感謝すべきなのかもしれない
mailto:リンクをクロールする低労力スパムボットが今でも実在するのか、それとも私たちがメール難読化をカーゴカルトのように続けているだけなのか気になるあの頃からスパムは本当に大きく変わったが、この戦略はまだ使われているのだろうか？
たとえば、友人が人気ブログの連絡先ページに「firstname [cute arobase sign] domain.com」と書いていたような難読化のこと
この機能からオプトアウトする方法はあるのか？
数年前にここへ投稿されてかなり物議を醸したツールを覚えている。文体分析と計量文体学で「似たユーザー」を見つけ、ユーザー名を入力するとおそらく同一人物の別アカウントを探し出すというものだった。
不気味なくらい正確だったらしく、少なくとも別アカウントを持っている友人からはそう聞いた。このツールもそういう用途に転用できるだろうか？ 各ユーザーのアバターに描画された「地図」をベクトルとしてエンコードし、他のユーザーと比較できそうだ。
編集: ちょっと待って、今まさにすでにそうしているようだと気づいた。「Explore More Users」が類似度順なのかどうかはすぐには分からないが
雇用主、政治、そのほかの話題など、別アカウントが参加するトピックは異なる可能性が高い。一方で文体が有効なのは、努力しても自分の文体を根本的に変えられる人はそれほど多くないからだ
皮肉なことに、その当時もそれ以降もほぼ埋め込みばかり使ってきたのに、このシステムでは埋め込みを使っていない。埋め込みの主な問題は、時間がたってもあまり変化しないことだ。調整はできるが、ほかの方法ほど簡単ではない。言語は業界ごとの略語であふれていて、モデルは変化する表現や略語への適応が概して苦手だ。最終的にはいくつかの要素を組み合わせて会社にした: https://ipcopilot.ai
今はデモ用に Hacker News でアイデアを探している: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
たとえば user123 はかなりユーモアがあり、筋道立てて話し、TypeScript と Web 開発に関心があり、誠実性と外向性のスコアが高い、といった具合だ
私のユーザー名は『Zen and the Art of Motorcycle Maintenance』に出てくる語り手のもう一つの自我から取ったものだ。分析のナイフに関する一節に関係している。
“Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
名前が運命を作ったのか、それとも自分で自分を分かっていてその名前を選んだのか、あるいは私がこういう単語を使いすぎているだけなのかは分からないが、私のキーワードには “part, system, level, language, article, object” などが入っている
自分のユーザー名で実際に掘り下げてみるのは少し難しく、地図全体に点をたくさん打つ以外にはあまり大きく表示されるものがないように見えた。
全体のクラスターが何なのか理解しようとしているのだが、大半はただ android/apple/google に見える: https://hn2.wilsonl.in/user/mmastrac
面白い。自分の最も upvote されたコメントが法律関連の質問へのものだと気づいたことがある。HN 利用者の大半より、その分野で相対的に専門性があるからだ。以前は弁護士だった。
このツール基準では law/legal/lawyer の上位コメント投稿者には入っていないが、上位の名前の中には確かに見覚えのある人が何人かいて、法律スレッドで見かけた記憶もある。かなりいいツールだ
HNのいちばん良い点は、コメントがかなり一時的なものに感じられることです。自分の同意なしに分析されて公開展示されるのは気に入りません
そのページに自分について特別に興味深いものがあるわけではありませんが、気分が悪いです。何もかも分析する必要はないし、どこででも競争する必要もありません。私が言いたいのは、コンテンツに集中できて、誰が言ったかが中心ではない点が良いということです。これを見て、自己紹介からTwitterハンドルを消しました。アプリ側でもそれを更新してくれるとありがたいです
ブログ記事を偶然見つけてその表示が点くと、数年前に投稿された記事でもコメントをよく読みます。有用な洞察や文脈が得られることが多いです
なので、ここで言ったことは何であれ永遠にあなたと結び付けられる可能性があり、実際にそうなるかもしれません。直接的にであれ、このツールが示すようなぼんやりした形であれ、そうなり得ます
でも、どのコメントでもダブルクリックすると、こういうクエリにたどり着けると分かりました: https://news.ycombinator.com/threads?id=RamblingCTO
Hacker News自体が何年ものあいだ、ほぼ無料のリアルタイムAPIと複数の大規模データセットを提供してきており、その目的は誰でもここのコメントを簡単に分析できるようにすることです: https://github.com/HackerNews/API
インターネットに書いたコメントが一時的だったことなど一度もありません。20年以上前に、一時的なふりすらやめています