Miller - CSV/JSONデータ処理向けCLIツール
(github.com)- CSV、TSV、表形式JSONなどの named-index データを処理
→ キー・バリューデータに対して awk、sed、cut、join、sort の機能を提供
- データのクレンジングと縮約、統計作成、DevOps、システム管理、ログファイル処理、ファイル形式変換、DBクエリの後処理などに有用
→ R、Pandas、SQL Output などを処理する補助ツール
-
ストリーミングをサポートし、Unix Pipe ともスムーズに連携
-
内部では Insertion-Ordered Hash Map によりデータを処理
-
オープンソース:当初はCで書かれていたが、6.0からはGoに変更
2件のコメント
頻繁に使うことはないのですが、説明書を横に表示して少しずつ使ってみても、これまで使ってきたどのツールよりも優れていますね!
いいですね。大容量のcsvをアドホックに処理する場合、ちょうどいいツールがなかなかなかったのですが、使いやすそうです。