Pipet - オンラインでデータをスクレイピング・抽出するCLIツール
(github.com/bjesus)- 3種類の動作をサポート: HTMLパース、JSONパース、クライアント側でのJavaScript実行
curlのような既存ツールに依存し、Unix Pipe を使って動作.pipetファイルでコマンドを構成し、ファイル内は複数のブロックで構成- 1つのブロックは3つのセクションで構成
- 1行目はリソースURL
- 次の行では読み込むデータを指定するクエリ
>で始まる場合は次のページを読み込むセレクタ(オプション)
- 1つのブロックは3つのセクションで構成
- ファイル例
curl https://news.ycombinator.com/
.title .titleline
span > a
.sitebit a
--interval 60で指定した間隔(60秒)ごとに再実行可能--on-change CMDで内容が変更されたときに実行するコマンド
まだコメントはありません。