Greenflare - オープンソースのローカルSEOクローラー

• ローカルでWebサイトをクロールしてSEO分析を支援するツール

→ H1、H2タグおよびメタデータを確認

→ XPathおよびCSSセレクターで各ページの情報を抽出

→ Robots.txtパーサーで状態を確認

→ 壊れたリンクおよびステータスコード（3xx、4xx、5xx）を確認

→ フィルターでURLの除外処理が可能

• Windows / Mac / Linux向け実行ファイルを提供

• CSVでクロール結果をエクスポート（内部的にsqliteへ保存）

• 低スペック環境でも実行可能で、サイズ制限はなし

→ 400万ページ以上を持つサイトでテスト済み

• Pythonコード、PyPIパッケージとしても提供（ pip install greenflare ）

[xguru]

試してみたところ、かなり高速にURLを取得して処理してくれます。

5000件のURLを読み込むのにも、ほとんど時間はかかりませんね。

サーバー側には負荷がかかる可能性もあるので、ほどほどに使ってください。 ^^