dsq - JSON、CSV、Excel、Parquet などに SQL クエリを実行する CLI ツール
(datastation.multiprocess.io)- オープンソースのデータ IDE である DataStation が別途公開した、Go ベースの CLI オープンソース
→ 内部では DataStation ライブラリと SQLite を使用
$ dsq testdata.json "SELECT * FROM {} WHERE x > 10"
- 複数のファイルを渡し、それぞれを別個のテーブルとして Join 可能
$ dsq users.csv ages.json "select {0}.name, {1}.age from {0} join {1} on {0}.id = {1}.id"
- パイプ処理をサポート
$ dsq users.csv "SELECT * FROM {} ORDER BY CAST(age AS INT) DESC" | jq
$ cat testdata.csv | dsq -s csv "SELECT * FROM {} LIMIT 1"
- CSV を JSON に変換
$ dsq testdata.csv "SELECT * FROM {}"
- 対応フォーマット : CSV, TSV, JSON, NDJSON, Parquet, Excel, ODS, Apache Error Logs, Apache Access Logs, Nginx Access Logs
1件のコメント
SQ - データ向けスイスアーミーナイフ https://ja.news.hada.io/topic?id=3841
q - CSVファイルにSQLクエリを実行 https://ja.news.hada.io/topic?id=3000