Search My Site – 個人・独立系ウェブサイトのためのオープンソース検索エンジン
(searchmysite.net)- Search My Site は、個人ウェブサイトの実際のコンテンツを見つけるための検索エンジンであり、大手検索に埋もれがちな独立系ウェブコンテンツを前面に押し出す
- インデックス範囲を ユーザー投稿・審査済みサイト に限定し、スパム、SEO目的のコンテンツ、クリックベイトが混ざるウェブ全体のインデックスとは異なる動作をする
- 広告を表示せず、広告のない検索結果ページ を推奨することで、スパムや監視資本主義を助長するインセンティブを減らそうとしている
- 運営費は広告の代わりに 検索サービスとしての機能(search as a service) で賄うモデルを目指しており、ユーザーの要求と広告主の利害の衝突を避けようとしている
- 検索・ランキング・インデックスの過程を透明に公開する オープンソース プロジェクトであり、広告ベースの個人情報収集モデルを使わないため、プライバシーを重視している
個人ウェブサイト中心の検索
- searchmysite.net は、個人ウェブサイトのための ブティック検索エンジン である
- 対象は、indieweb、small web、digital gardens とも呼ばれる個人・独立系のウェブコンテンツである
- 特定のテーマ、趣味、関心事について人々の 個人的な経験 を探すときに公開検索を利用できる
- 大手検索エンジンでよく見かけるマーケティングサイトやブログスパムを避けられることが主な差別化ポイントである
広告のない運営モデル
- インデックス対象はインターネット全体ではなく、ユーザーが投稿し審査されたサイト のみである
- スパム、検索エンジン最適化コンテンツ、クリックベイトが混ざるウェブ全体のインデックスとは異なるアプローチである
- 広告を表示せず、広告のない検索結果ページ を推奨している
- スパムや監視資本主義を誘発するインセンティブを取り除くことが目的である
- 運営費は広告ではなく、search as a service 機能で賄う、持続可能でユーザー志向のモデルを目指している
- 広告主に販売するための個人情報収集に依存しない構造であるため、検索エンジンとして高い水準のプライバシーを志向している
- 詳細は Privacy Policy で確認できる
オープンソースとコミュニティ参加
- サービスは 完全なオープンソース である
- 検索、ランキング、インデックスの過程の透明性を高める
- コミュニティがサービス改善により多く参加できるようにする
1件のコメント
Hacker News のコメント
Wibyも触れる価値がある。「初期インターネット時代のウェブページで構成されたウェブ」を作ろうとしている検索エンジンで、インデックス基準はシンプルな HTML、非商用サイト優先、装飾用スクリプト/CSS の最小化、コンテンツの上にかぶさる侵入型広告の禁止、肥大化したウェブサイトへのポータル的ページの排除に近い
https://wiby.me
Search My Site は個人/独立系ウェブサイトを目立たせる方向で、Wiby は最小限にスタイリングされた文書を目立たせる方向なので、目標が違う
Marginaliaもある。以前 HN でも何度か紹介されていた
https://marginalia-search.com/
https://news.ycombinator.com/item?id=35611923
https://news.ycombinator.com/item?id=31536626
他の関連サイト: https://nownownow.com/, https://omg.lol/, https://indieweb.org/, https://ooh.directory/, https://neocities.org/, https://aboutideasnow.com/, https://indieblog.page/, https://wiby.me/, https://80.style/
たいていはインターネットをクロールしてページを見つけ、その結果を https://github.com/rumca-js/Internet-Places-Database に置いている。個人ページには「personal」タグを付けている
https://pagefind.app/ のシンプルさが良い
個人ウェブサイト検索ツールにしては Postgres は少し大きなデータベースではないかと思う。それでも一度試してみたいし、こういうツールはもっと必要だ
理論上は管理データも Solr に保存できるが、Solr 的なドキュメントストアをマスターデータ保存に使うのは通常推奨されない。SQLite のようなもっと軽いものも可能だろうが、サーバーデプロイを念頭に置いたツールであり、Postgres もそれほど大量のリソースを食うわけではない
気に入った。ウェブを素晴らしいものにしていた、まさにああいうランダムだが手の込んだ個人ウェブサイトを眺めているうちに 1 時間を失ってしまった
ほぼ 3 年前に HN に投稿されたときは、検索ボックスを見て Google の代替だと思った人が多く、そうではないと知ってがっかりした人もいた。今ではかつてないほど、AI ではなく人間が作ったウェブコンテンツを見つける方法が有用になっているように思う
https://news.ycombinator.com/item?id=31395231
こういうプロジェクトは、興味深いブログやあまり知られていないサイトを見つけるのに本当に良い。自分が主に使っているのは Marginalia Search だ
https://marginalia-search.com/
見た感じ良い。皮肉なことに、この 10 年間 Google が支配してきたことを考えると、AI 分野の大きな勝者の一つはバックエンド検索エンジンになると強く感じている
現代のウェブ検索は、Google の 1 ページ目に載るためのあらゆる手法で汚染されすぎており、良いコンテンツのかなりの部分が埋もれてしまっている。今や大規模モデルがウェブを呼び出せるようになり、この肥大化が AI 検索にも現れている。広告がなく、見せ方よりも構造化データにより集中する、きちんとしたデータ優先のエンジンが必要だ
プロジェクトを見て回ったところ、検索エンジンの技術的詳細については、このブログ記事が最も洞察に富んでいた
https://blog.searchmysite.net/posts/searchmysite.net-buildin...
少し混乱している。Solr が検索エンジンなのに、LLM モデルもロードされている。この解決策で LLM モデルが何を付け加えるのか気になる
コストを抑えるために小さなセルフホスト LLM でテストしたが、機能全体をデプロイできるほど結果が良くなかったため LLM は無効化しており、おそらく完全に削除する可能性が高い