NodeJS向け Robots.txt パーサー

• IETF の Robots Exclusion Protocol ドラフトとの互換性を目標に開発

• 対応ルール

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Path : ワイルドカード(*) と EOL($) マッチング

[xguru]

• Wikipedia の robots.txt https://ja.news.hada.io/topic?id=90