Crawlee - Webスクレイピング＆ブラウザ自動化ライブラリ
(crawlee.dev)- Node.js向けの高速で安定したクローラー作成ライブラリ
- Puppeteer & Playwright（ヘッドレスブラウザクローリング）+ CheerIO/JSDOM（Raw HTTPクローリング）
- ブラウザヘッダーとTLSフィンガープリントを模倣し、実際のトラフィックのように見せる
- プロキシローテーションを自動化し、大規模に拡張可能
- 処理はキューで管理され、ファイル、スクリーンショット、JSON結果などを簡単にファイルまたはDBに保存
まだコメントはありません。