Firecrawl - ウェブサイト全体をLLMで使えるようにするツール

• ウェブサイトをクロールして、LLMで利用可能なMarkdownまたは構造化データに変換
• APIでURLを送信すると、すべての下位ページをクロールし、各下位ページに対するクリーンなデータを提供
• Python、Node、Go、Rust SDKを提供
• LangChain、Llama Index、Dify、Langflow、Zapier などとの連携をサポート

[hoonix]

下位クロールには対応していませんが、類似の目的を持つドキュメント形式変換ツールを紹介します。
https://github.com/DS4SD/docling

[laeyoung]

思ったようにはうまくいきませんね