AWSはS3の圧縮をgzipからzstdに変えて、サイズを約30%削減

• Yann Colletが作ったzstdがどれほど無駄を減らしたのかという質問に対して、Adrian Cockcroftが答えた内容
• S3のエクサバイト規模では、30%は非常に大きなコスト削減になる
• TwitterもHDFSでzstdに切り替え、毎年数十億ウォン規模（~ mid 8 figs/yr）を削減したとのこと

[alstjr7375]

UberもGZIP/SNAPPYからZSTDへ変更しました。
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/

[jaehong747]

zstdはすごいですね！

リンクに圧縮性能の比較資料があるので共有します。
https://github.com/facebook/zstd

[jaehong747]

今日初めてzstdを使ってみました。
macに標準で入っていたんですね。

圧縮する: zstd file => file.zst
展開する: unzstd file.zst => file

[xguru]

• 圧縮アルゴリズム・ルネサンス
• ファイルシステムのアップグレードでSSDコストを数百万ドル節約した話
• Arch Linux がパッケージ圧縮ツールを xz から Zstandard に置き換え