streaming APIを使ったNAVER Payの大規模XLSXファイルダウンロード実装

• JavaScriptでXLSXファイルを生成する

→ ExcelJS を選択 : XLSXストリーミングをサポート、書式を提供、rowを1つずつメモリからflush可能

• Java POI vs. ExcelJS

• TomcatからNode.jsへデータを渡す : spring-webflux を利用し、Node.jsへrowを1件ずつstreaming

• POIをExcelJSに置き換える際に発生した課題

[galadbran]

いや、元コメントにMySQL基準で説明してくださった方がいるんですね!!（灯台下暗し… 泣）

[galadbran]

量が分からない大きなデータなのに、DBでは単にページング（offsetやlimitのようなものですよね？）なしで select * してしまい、プロデューサースレッドを休ませたり起こしたりしながらデータを読むというのが、すごいと思う一方で、本当にそれで成り立つのか？という気もします...

この部分をしっかり理解したいのですが、大量データを読むならたいていページングしろという資料ばかりで... ^^;

[xguru]

管理ツールでのExcelファイルのダウンロード機能はよく使われる機能ですが、ExcelJSを使った例のように、押した瞬間にダウンロードが始まるのはユーザー体験の面で本当に重要だと思います。