Distill - Rust製のWebスクレイピング + LLM分析APIサーバー

Webページをスクレイピングし、LLMで構造化データを抽出するRust APIサーバーです。

主な機能:

• Headless ChromeベースのJavaScriptレンダリングをサポート
• Gemini API連携により、スクレイピング結果を即座に分析
• JSON Schemaベースの構造化レスポンス
• タブプーリングで同時50件のリクエストを処理
• SSRF防止、定数時間APIキー比較などのセキュリティ機能を内蔵

使用例:
POST /scrape にURLと分析プロンプトを送ると、
ページ内容とLLM分析結果をJSONで返します。

JinaAIやFirecrawlのようなサービスのセルフホスティング代替として作成しました。
スクレイピングだけが必要であれば、LLMなしでも利用できます。

• GitHub: https://github.com/lee-lou2/distill