Kagi Small Web
(blog.kagi.com)- 広告と商業化に埋もれた 個人ウェブコンテンツ を再び表に出すため、Kagi が Small Web を検索・ウェブサイト・RSS・API に統合
- Small Web は、金銭的利益よりも 自己表現と知識共有 のために個人が作る非商業的なウェブを指し、Kagi は約 6,000 のウェブサイトを選定して新しいコンテンツを収集
- Kagi 検索は Teclis と TinyGem インデックスを活用し、
swiftui、apple watchのような一般的な検索語でも個人ブログの記事をあわせて表示 - 新しい Kagi Small Web ウェブサイトは JavaScript なしで動作し、投稿に「appreciate」を残したり、約 1 週間後に消える公開ノートを書いたりできる
- サイト運営者は GitHub の選定リスト、フィードバックサイト、Discord を通じて参加でき、RSS は 5 時間ごとに更新され、API は 1,000 クエリあたり 2 ドルで提供
Kagi Small Web が目指すウェブ
- Kagi Small Web は、Kagi がより人間的なウェブを作るために始めたイニシアチブ
- 「Small Web」は単一の定義がある言葉ではないが、一般には金銭的利益よりも個人の自己表現や知識共有のために作られた 非商業的なウェブ を指す
- この概念は、広告ベースのビジネスモデルがインターネットを支配する前の、より商業化されていなかった初期ウェブの雰囲気につながっている
- より深く理解するための資料として、Ben Hoyt の The Small Web is Beautiful が紹介されており、GitHub リポジトリにも関連する記事一覧がつながっている
コンテンツを集めて露出させる方法
- Kagi Small Web は、独自に選定したブログ一覧から直近 1 週間以内に公開された記事を集め、複数の経路で見せる
- Kagi 検索結果 に、関連クエリの結果として自動表示される
- Kagi Small Web ウェブサイト で閲覧できる
- RSS フィード として提供される
- Search API の news enrichment API に含まれる
- 既存の Kagi 会員は、検索結果で Small Web コンテンツを見るために別途設定する必要はない
- この実験は Hacker News の 議論 に着想を得て、7 月末に HN ユーザーのブログ記事を検索結果に表示する形で始まった
- 現在の選定リストには、さまざまな関心を持つ人々が運営する 約 6,000 の実在するウェブサイト が含まれている
- イニシアチブ全体と選定ウェブサイト一覧は Kagi GitHub で公開されている
検索結果に入り込んだ個人ウェブ
- Kagi は独自の Teclis と TinyGem 検索インデックス を通じて、以前から Small Web コンテンツを表示してきた
- 今回の統合により、高品質だがあまり知られていないウェブコンテンツが、Kagi 検索結果の差別化要素としてより直接的に表れる
- 検索例
swiftui検索では、Keith Harrison の「Use Your Loaf」ブログに掲載された iOS 17 関連の SwiftUI 記事 が表示される- 例示された Kagi 検索 URL は Share this Search 機能で生成されており、Kagi アカウントがないユーザーでも結果を見られる
apple watch検索では、Timo の「Screaming at My Screen」ブログに掲載された 最近の記事 もあわせて表示される- 同じ結果には、2015 年の記事である Apple Watch Pixels も Teclis インデックスを通じて表示される
- こうした結果は、大規模サイト中心の検索結果とは異なり、同じテーマでもより多様な視点を発見できるようにする
Kagi Small Web ウェブサイト
- Kagi Small Web ウェブサイト は、既存の検索エンジンでは見過ごされがちな最新の Small Web コンテンツを表に出すための新しいプラットフォーム
- サイトは Small Web の精神に合わせて JavaScript なしで 動作する
- ユーザーは投稿を「appreciate」したり、一時的な公開ノートを残したりできる
- ノートは新しいコンテンツが入れ替わるにつれて、約 1 週間後に消える
- この設計は、Small Web の一時的で不完全な性質を強調している
- Discord チャンネルの一部ベータテスターに先行公開した際、あるユーザーは自分のブログが選定フィードに含まれているのを見て、さらに記事を書きたくなったという
選定基準と掲載条件
- 選定フィードに入るには、次の基準を満たす必要がある
- ブログに少なくとも 3 年前の記事があること
- コンテンツは英語であること
- サイトが真正性のある自己表現、または高い情報価値を提供していること
- NSFW コンテンツは除外される
- Kagi Small Web ウェブサイトに投稿が表示されるには追加条件がある
- 投稿は 7 日以内 に書かれたものであること
- サイトが iframe 埋め込みに対応していること
- iframe に対応していないサイトでも、検索結果向けのインデックス作成は引き続き可能
- ウェブサイトのコードも オープンソース で公開されており、マージリクエストを受け付けている
Small YouTube 実験
- Kagi は実験機能の Small YouTube も提供している
- この機能は、登録者数が 40 万人未満 の成長中の YouTube クリエイターのコンテンツを表示する
- Kagi はこの基準についてフィードバックを受け付けている
RSS、API、参加経路
- Kagi Small Web の RSS フィード はリアルタイム更新を提供し、5 時間ごとに更新 される
- API 利用者は、Kagi Small Web が統合された TinyGem インデックス を通じて、主流ではない高品質なニュースを利用できる
- 価格は 1,000 クエリあたり 2 ドル
- 見落とされているサイトや不適切な掲載事例があれば、ガイドライン に従って選定リストに貢献できる
- バグ報告と機能提案は kagifeedback.org で
small-webタグを付けて提出する - 一般的な議論は Kagi Discord で行われる
プロジェクトが引き受ける前提
- ウェブが無数の人々によって作られているのなら、なぜ従来の検索エンジンで彼らが埋もれてしまうのか、そしてそれをどう正すかが、このイニシアチブの出発点となっている
- クロールするコンテンツには何でも含まれうるため、Kagi はそれを推薦する過程で 評判を懸ける選択 が必要だと見ている
- Small Web に貢献する人々は、オーディエンスが保証されていなくても時間と労力をかけて創作している
- Kagi の目標は、創造性、自己表現、意味のあるコンテンツが多い より人間的なウェブ をよみがえらせること
1件のコメント
Hacker News の意見
Kagi の Vlad です。ブログ記事を公開した直後に RSS フィードが予想外に壊れてしまい、まさに small web 精神そのものだと感じました :) いまはフィードが復旧しており、サイトも同じフィードを使っているので再び動作しています
これは個人的に思い入れを持って進めたプロジェクトで、チームは別の仕事で忙しかったため、自分でかなり深くコードに手を入れました。「フィードが壊れた」というのは、実際には私が壊したという意味です。昔ながらの開発者にとってソフトウェアは泥臭い仕事であり、もう大丈夫だと思っていたものに何度も戻って修正しながら、自分がもはや優れたコーダーではないことも学びました。コードはリンク先のリポジトリで見られます: https://github.com/kagisearch/smallweb
何より重要なのは、このサイトが私にとって 発見の欲求 を置き換えてくれたことで、さまざまな人や文章を知っていく感覚が心地よかったことです。予想外のものがたくさん浮かび上がり、Web がまた身近になったように感じました。この概念には希望の手がかりがあり、検索品質と多様性の改善も実際にあります
含まれている Web サイトの一覧はこちらで確認できます: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
最新の記事は、すでに関連クエリの Kagi 検索結果にも表示されています: https://kagi.com/smallweb
今後は small web の中だけを検索できるようになるといいですし、後でレンズとして提供される可能性もありそうです
自己宣伝ルールについては、現行方針には賛成できません。古いブログであれば、基準を1年程度に下げるとしても、人々が自分で投稿できるようにしてほしいです。小規模/インディー Web の大半は露出が不足しているので助けになるはずです。私のブログは以前の「HN にブログを共有してほしい」という投稿から収集されたようで、すでにインデックスに入っていますが、他の人はそこまで運が良くなかったかもしれません
Kagi は私にとって大きな成果です。Google より良い結果 を返し、プライバシーを尊重し、パーソナライズとさらに多くの機能を提供する初めての検索エンジンです
https://search.marginalia.nu で、HN でもよく言及されています: https://hn.algolia.com/?query=marginalia
Kagi の顧客で、とても満足しています。検索エンジンが驚くほど良く、今回の機能のおかげで自分の検索エンジン選びがさらに気に入りました
「これらのノートは約1週間後に新しいコンテンツに置き換えられ、消えます。small web のはかなく不完全な性格を強調しています。」という文言については、単に Kagi がノートを調整したり恒久保存したりしたくないと認めればいいだけです。small web を貶める必要はありません。多くの小さなサイトはコンテンツをきちんと保存しています
Kagi はサイトがどれほど頻繁に落ちるかについてのデータを持っているのかもしれませんが、私の経験では、作成者が忘れてしまった場合でなくても、大規模プラットフォーム上のコンテンツもしばしば消えます。気にかけている作成者が作った small web の Web サイトは、むしろずっと長く残る余地があります
Kagi Small Web に ActivityPub インターフェース があって、その日もっとも高く評価されたサイトを Mastodon や Lemmy のタイムラインに追加できるといいですね
Kagiは支払う価値が十分にある。6か月間メインの検索エンジンとして使ってきて、その間にGoogleの
!gを使ったのは10回くらいだと思うただ、自分は検索をかなり多用するし、うっかり検索してしまうことも多いので、毎月「Pro」プランの検索量をしばしば超えてしまうのが残念。それでも、かなり高い無制限プランに上げずに追加検索を購入できる選択肢があるのはありがたい
検索結果はDuckDuckGoを含む他のどこよりも一貫して良く、だから今後も満足している有料顧客であり続けるつもり
AltaVistaがあった時代に初めてGoogleを見つけたときと少し似た感覚がある
さらにSearxははるかに多くの検索エンジンをサポートしていて、自分の望むとおり正確にカスタマイズできる
Kagiが良い意図と良いプロダクトを持っているのは明らかなので成功してほしいが、アカウント作成が必要なプロプライエタリなSaaSよりは、洗練度が低く機能が少なくても、同等のオープンソースのセルフホスト解決策を好む
追記: 実は自分が間違っていた。Kagiにも独自のクローラーとインデックスがある: https://help.kagi.com/kagi/search-details/search-sources.html それでもSearxの結果に不足を感じてはいないので、大きく見逃しているものはない
Searx、そして部分的にはKagiについて気になるのは、第三者がいつでもこうしたAPIリクエストをブロックでき、その場合Searxは使えなくなり、Kagiの結果も関連性が下がり得るという点。この方式が検索エンジンを作るうえで持続可能なのかは分からないが、広告に対するKagiとSearxの姿勢は高く評価している。主流の検索エンジンを独自フロントエンドで使うのは、良く言ってももどかしい体験だ
こういうことがあるので、Kagiの購読者であることが本当にうれしい。Kagiから価値を得ているだけでなく、自分が払ったお金が、自分の賛同する方向へKagiを発展させるために使われていることを示している
比較すると、Spotifyは自分が使っているサブスクの一つにすぎないのに、敵対的に感じる。お金は払っているが、代替があると感じたらすぐ解約するだろう
自分が買っていると感じるものと、Kagiの開発の方向性が一致している点を本当に高く評価している
Spotifyは本当に敵対的で操作的で、アーティストにとってひどい。自分から見るとホーム画面は過度に商業的で、CarPlayインターフェースは正直、安全でないほどユーザーに敵対的な惨事だ
TIDALは多くの点でかなり良い。アーティストへの支払いも良く、レコメンドも悪くない。ただ、アプリには何年も残っている馬鹿げたバグがあり、一番いら立つのは、プレイリストをシャッフルすると、インターフェースが上の方で事前キャッシュした十数曲だけを混ぜるという点。ライブラリ全体をシャッフルしようとすると、同じ十数曲ばかりを聞き続けることになる
Deezerは好きになりたかったが、アプリがいまいちで、欠けている曲も思ったより多かった
結局Apple Musicに落ち着いた。iPhoneを使っているので自然にうまく合うし、CarPlayインターフェースも素晴らしい。アーティストへの支払いもTIDALにかなり近い。レコメンドは十分に良く、ホーム画面が大手レーベルが宣伝費を払ったものばかりを押し付けてくる感じもあまりない。Windowsアプリはひどく、Linuxアプリはないが、幸いCiderというかなり優れたオープンソースアプリがその問題を解決してくれる
RSSフィードからMathMLを削除しているように見えるが、これは意図したものなのか、それともMathMLを認識しない古いクリーンアップツールを使っているのか？ 例えば自分のRSSフィード https://www.jefftk.com/news.rss の最新記事 https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections には次がある
<math display="block"><msup><mi>e</mi><mrow><mi>k</mi><mi>t</mi></mrow></msup></math>ところがKagi RSSフィード https://kagi.com/api/v1/smallweb/feed では
eとktに見える追記: Issueを登録した: https://github.com/kagisearch/smallweb/issues/10
いくつか質問があります。
まず、最近更新されたブログを優遇する根拠が何なのか気になります。私の経験では、最近の更新は検索結果としては最も弱く、変更やリンク切れの影響を受けやすく、全体的に品質が低めです。最近のコンテンツを後押しすると、一覧に載る確率を上げるために低品質な記事を大量に出す誘因が生まれないかも気になります。
次に、この領域を少し扱ってみると、いつもほとんどばかげているほど 技術/プログラマーブログ に偏ります。ブログを持つ層とプログラマー的な関心を持つ層は強く重なってはいますが、ほかの関心分野がもっとよく代表されれば、別のグループにもより魅力的になると思います。この点を考えたことがあるのか、あるなら何ができると見ているのか気になります。
まず一点目については、いくつか要因があります。同じ検索語なら、より新しいコンテンツのほうが関連性が高いことが多く、少なくとも新鮮さのおかげで完全に無関係になるのを防げます。検索エンジンで最も避けるべきなのは、まったく無関係な結果です。品質は、そもそも 選別されたリスト であるという点で、ある程度保証されています。
RSS フィード技術に依存しているため、リストの収集と維持が比較的容易で、初期データとして使えるソースも多くありました。
最近の記事に焦点を当てることで、ブログ記事で強調した例のように、一部の人にもっと記事を書くよう促せるかもしれません。Web には全体として、高品質な非商業コンテンツがもっと必要で、最終的に私たちが貢献したいのもそこです。そうした行動を促すプラットフォームを、たとえごく小さくても提供できれば、私たちの好きな Web に一歩近づけます。
二点目については概ね同意します。ただ、今回の試みのために多様な Web サイトのプールを作ろうと努力しましたし、たとえば経済や写真関連のサイトも多く見かけます。最終的には、Kagi や Marginalia のようなプラットフォームを通じて、さまざまな分野のコンテンツがもっと作られるよう促し、うまくいくことを願うしかありません。
本当に素晴らしいです！ この2か月間、個人的に small web のリンクを巡る旅をしていました。きっかけは HN の「Ask HN: 個人ブログを共有してもらえますか？」という投稿で、誰かがその投稿のリンクを整理したサイト https://dm.hn/ を作っていたことも知りました。
ブログリンク 1651件 をすべて XLS にエクスポートしたうえで、ときどき5〜7件ずつ開いてランダムな記事を読み、「見た」とマークしています。これまでに1651件中250件を見ました。
Kagi にも、すべてのソースから集めた個人 Web サイトのリンクを一か所で見られる、似た機能があるといいですね。
https://github.com/kagisearch/smallweb/blob/main/smallweb.txt
私の記事「The Small Web is Beautiful」に目立つリンクを張ってくれてありがとうございます。あの記事は私の 個人的なソフトウェア宣言 だと思っているので、より広く紹介されているのを見てうれしいです。
Kagi Small Web の取り組みは本当に気に入っています。こうした優れたコンテンツを表に引き上げ始めた主体性がいいですね。これからもぜひ続けてください。Kagi 検索も一度使ってみるつもりです。
Vlad、素晴らしいですね！ これが実際にユーザーや会社にどれほど役立つのかは分かりませんが、現代のインターネットでもこういうことがまだ起きていると知ると、心が温かくなります。
自分の Web サイトをリストに追加したいのですが、
robots.txtですべてのクローラーをブロックしているため、直接の提出は許可されていないようです。追加される方法はありますか？Kagi の検索結果に含まれるのは歓迎ですが、Google、ChatGPT、そしてその次の連中にスクレイピングされたくはないので、いちばん簡単な方法として全部ブロックしている状態です。