Firecrawl - ウェブサイト全体をLLMで使えるようにするツール (github.com/mendableai) 15 ポイント 投稿者 xguru 2024-11-14 | 2件のコメント | WhatsAppで共有 ウェブサイトをクロールして、LLMで利用可能なMarkdownまたは構造化データに変換 APIでURLを送信すると、すべての下位ページをクロールし、各下位ページに対するクリーンなデータを提供 Python、Node、Go、Rust SDKを提供 LangChain、Llama Index、Dify、Langflow、Zapier などとの連携をサポート 関連記事 mdream - あらゆるサイトをクリーンなMarkdownとllms.txtに変換 41 ポイント · 1件のコメント · 2025-09-24 GPT Crawler - 自分だけのGPTを作るためのウェブサイトクローラー 29 ポイント · 1件のコメント · 2023-11-19 LLM-Wiki - LLMを活用して個人知識ストレージを構築する 168 ポイント · 15件のコメント · 2026-04-05 llms.txt - LLMにウェブサイト利用情報を提供するための標準提案 6 ポイント · 4件のコメント · 2024-09-09 Embedding.io - あらゆるWebサイトをLLM向けの知識ベースに変換 20 ポイント · 1件のコメント · 2024-08-02 2件のコメント hoonix 2024-11-15 下位クロールには対応していませんが、類似の目的を持つドキュメント形式変換ツールを紹介します。 https://github.com/DS4SD/docling laeyoung 2024-11-14 思ったようにはうまくいきませんね
2件のコメント
下位クロールには対応していませんが、類似の目的を持つドキュメント形式変換ツールを紹介します。
https://github.com/DS4SD/docling
思ったようにはうまくいきませんね