非商用コンテンツを優先する検索エンジン Marginalia

 (marginalia-search.com)
4 ポイント 投稿者 GN⁺ 2025-01-28 | 1件のコメント | WhatsAppで共有
  • Marginalia Searchは、商業的な最適化が少ないウェブを探索し、古くて忘れられたウェブサイトを再発見することに焦点を当てた検索エンジン
  • 検索だけでなく、サイトの探索と発見のための導線も提供し、以前のバージョンも old-search.marginalia.nu で引き続き利用可能
  • プロジェクトはオープンソースとして公開されており、独自のインデックス・クローラーと、AIを使わないシンプルな技術構成を掲げている
  • ソースは AGPL ライセンスで公開され、Git リポジトリと Project Discord を通じてプロジェクト資料とコミュニティにアクセスできる
  • 個人情報を収集しない形で GDPR に準拠し、Cookie の使用や IP ログの保存も限定的に運用している

非商用ウェブの探索に焦点を当てた検索エンジン

  • Marginalia Searchは、非商用コンテンツを優先する検索エンジン
  • 古くて忘れられたウェブサイトを見つける機能を強調し、検索と発見のためのツールをあわせて提供している
  • 以前のバージョンは old-search.marginalia.nu で引き続き利用可能

オープンソースプロジェクトと運営チャネル

  • プロジェクトはオープンソースとして公開されている
    • 独自のインデックスとクローラーソフトウェアを使用
    • AI を使わないシンプルな技術構成を掲げている
    • ライセンスは AGPL
  • 関連リンク

プライバシー保護とログポリシー

  • 基本的にプライバシー保護を志向
    • トラッキングを排除
    • 第三者とデータを共有しない
    • IP を長期保存しない
  • ウェブサイトは個人情報を収集しない形で GDPR に準拠
  • Cookie はサービス機能の提供以外の目的では使用せず、EU Cookie Directive に準拠
  • IP アドレスを含むアクセスログは最大 24時間 保存
  • 参照元アドレスを削除した匿名化ログは、バグ診断を支援するため、より長く保存される場合がある
  • 連絡先は contact@marginalia-search.com
  • IP 位置情報は IP2Location LITE のデータを使用し、ライセンスは CC-BY-SA 4.0

関連記事

1件のコメント

 
GN⁺ 2025-01-28
Hacker Newsの意見

  • この検索エンジンとランキングアルゴリズムについて、最近エッセイを書いた。
    初期のMarginaliaは、元論文で扱われた興味深いPageRankの変種であるPersonalized PageRankを使っていて、現在のページ順位はBM25で付けているのだと思う。
    Personalized PageRankは、類似度ベースのページランキングというMarginaliaの新機能にもまだ使われているようで、すでにサイトに統合されているらしいが、以前はテストページ（https://explore2.marginalia.nu/)だけがあった。
    いずれにせよ、作者をとても尊敬しているし、Marginaliaが大きく成長してきた過程やブログ記事（https://www.marginalia.nu/log/)を読むのは興味深かった。
    関連記事: https://www.marginalia.nu/log/26-personalized-pagerank/

    • ドメイン順位にはPersonalized PageRankを使っているが、影響は非常に弱い要素。
      主にインデックス内での結果の物理的な順序に影響し、クエリ実行時間が制限されているため、より順位の高い結果が先に見つかるようにする程度。
      Explore2と検索エンジンに組み込まれたウェブサイト発見ツールは、被リンクベクトルのコサイン類似度を使っている。
      この手法については「Creepy Website Similarity」という記事も書いた :-) [https://www.marginalia.nu/log/69-creepy-website-similarity/](https://www.marginalia.nu/log/69-creepy-website-similarity/）
    • 最近のエッセイはどこにありますか？

  • 作者です。最近、ウェブサイトをsearch.marginalia.nuからmarginalia-search.comへ移し、見た目も少し整えました。
    自分のブログの変なサブドメインのままにしておくには、うまく動きすぎていると感じたからです。
    検索エンジン自体は今も同じです :-)

    • 最近、小さなウェブコミュニティでは、OpenAIやその類いによる攻撃的なクローリングを少し心配しています。
      Marginaliaは、インデックス済みサイトをどのくらいの頻度で再クロールしていますか？
    • 以前のバージョンのrandomボタンがもう動作していないように見えます。その機能は廃止したのですか？
    • もっと短いドメイン名を使わない理由はありますか？ 作られたものは本当にすばらしいです。

  • このプロジェクトをずっと追っていない人のために言うと、これは一人の情熱プロジェクトであり、Google/Bing/DDGと競合することを目的にしているわけではない。
    「小さなウェブ」で面白いものを見つける方法に近い。
    試すときはこの点を念頭に置くといい。
    ちなみに私は作者ではない。

    • その後変わったのかは分からないが、2023年に作者は検索エンジンをフルタイムで開発するために仕事を辞めている https://www.marginalia.nu/log/83_full_time/
      情熱プロジェクトであるのは確かだが、単なるサイドプロジェクトだけではない。
    • その通り。ただし特定のニッチ分野、たとえばLinuxとオープンソースソフトウェア、歴史の分野では、MarginaliaがGoogleやDDGよりずっと良い結果を出すことが多かった。
      主流の検索エンジンには入力を愚かにする段階があるようで、見慣れない検索語を入れると、タイプミスか記憶違いだと見なして、私が検索していない表現に変えてバックエンドへ送っているように思える。
      また主流の検索エンジンは、オリジナルで権威あるコンテンツよりも企業メディアを優先しようと懸命になっているように見える。
      作者は「小さなウェブで面白いものを見つける用途」だとずっと言っているが、私にとっては面白いだけでなく実際に役に立った。
      ただ、ほぼ3年前にKagiへ移ってからは、トピック別の専用検索エンジンのような回避策を維持する必要はなくなった。
      完全な開示として、他の人たちはGoogleの結果は良いとかKagiの結果は悪いとよく反論するが、私の場合、Googleが簡単なクエリにも継続的に失敗してきた記録が10年以上積み重なっており、Googleが合うならよいことだが、私には10年以上安定して機能せず、うんざりしている。

  • 特に新しく付け加えることはないが、このプロジェクトがHNに上がってくるたびにうれしい。
    忍耐と愛情を注げば何を作れるのかをよく示しているプロジェクトだ。

    • いつか似たものをやってみたいと思っていたが、これは期待以上だ。本当にうまく作られていて、貢献する方法があれば教えてほしい。

  • 現時点でDDGにMarginaliaのbang検索がないようで驚いた。
    <https://duckduckgo.com/bangs?q=marginalia>
    提案として提出しておいた。

  • 最近Googleで検索していたもの、たとえば「celery」「Wardian case」「ferry from Italy to Greece」を改めて検索してみたが、どれも最初の結果がかなり妥当だった。
    使ってみるつもりだ。

  • 久しぶりにウェブで見た中で最も快適で有用で健全なものだ。
    技術的にも非常に堅実に見えるし、使用感にも文句のつけようがない。
    インターネットの輝かしい時代へ連れて行ってくれて本当にありがとう。

  • 関心のある分野の比較的単純な検索語をいくつか、たとえば「attention is all you need paper」「sip rfc」「klatt speech synthesizer」「crafting interpreters book」「Scott Alexander Substack」と入れてみたが、期待した結果は実際には出てこなかった。
    Marginaliaは何かを学びたいときにはそこそこ良いが、特定の対象を見つけたいときには向いていないようだ。
    Scott AlexanderのSubstackについて人々がどう考えているかを読みたいなら良い結果が出るが、ニュースレター自体を見つけたいときはそうではない。

    • そう、探索型クエリは成功と失敗がやや分かれる。
      Googleはその部分をすでに非常にうまくやっていると感じているので、大きな優先事項ではない。
      私は主に、Googleが不得意なほう、つまりあるトピックについての人間のコンテンツを見つけることに力を集中してきた。

  • サイト運営者の立場からすると、見つかったバックリンクを公開してくれる点が特に良かった
    このサービスのおかげで、知らなかったバックリンクをいくつか見つけられた

    • 自分のWebサイトのバックリンクを見てみたが、実際に自分のサイトへリンクしているものが1つもなく、かなり混乱した

  • 以前のドメインである marginalia.nu の頃に、すでにかなり議論されていた
    Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - 2024年9月、コメント24件
    Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - 2024年2月、コメント44件
    Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - 2023年11月、コメント21件
    Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - 2023年10月、コメント39件
    Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - 2023年5月、コメント22件
    Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - 2023年4月、コメント193件
    Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - 2023年2月、コメント17件
    A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - 2022年8月、コメント22件
    The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - 2022年8月、コメント22件
    Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - 2022年5月、コメント72件
    Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - 2022年4月、コメント37件
    Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - 2022年3月、コメント29件
    Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - 2022年1月、コメント53件
    A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - 2021年9月、コメント717件
    https://news.ycombinator.com/user?id=marginalia_nu

    • とても良い。最初の記事は私が投稿した
      このプロジェクトが好きで、近い将来、似たようなプロジェクトをやってみたい