SQLite-lines - 大きなファイルを行単位で読む拡張

xguru · 2022-08-03T09:05:02+09:00

NDJSON、JSON Lines、logs、txt などのファイル、または Blob から高速に読み込む拡張 py-pandas より 52 倍、sqlite-utils より 18 倍、dsq より 16 倍高速使い方 .load ./lines0 select line ->> '$.countrycode' as countrycode, count(*) from lines_read('./calendar.ndjson')

(github.com/asg017)

6 ポイント投稿者 xguru 2022-08-03 | まだコメントはありません。 | WhatsAppで共有

NDJSON、JSON Lines、logs、txt などのファイル、または Blob から高速に読み込む拡張
py-pandas より 52 倍、sqlite-utils より 18 倍、dsq より 16 倍高速
使い方
.load ./lines0
select line ->> '$.countrycode' as countrycode, count(*) from lines_read('./calendar.ndjson')

SQLite-lines - 大きなファイルを行単位で読む拡張

関連記事

まだコメントはありません。