Meta（旧Facebook）は、社内で使用してきた高性能データ圧縮フレームワーク「OpenZL」をオープンソースとして公開しました。特にAIや機械学習のワークロードのように膨大な量の特殊なデータセット処理に最適化されたOpenZLは、既存の汎用圧縮ソリューションの限界を超える高い圧縮率と高速性を同時に提供します。
特徴と機能
OpenZLの最大の特徴は、データ形式に最適化されたカスタム圧縮器を生成する「Format-Aware」圧縮方式にあります。データの構造を分析して最も効率的な圧縮アルゴリズムを構築するため、データセンターのワークロードで求められる高速な処理速度を維持しながら、汎用圧縮器では不可能だった水準の高い圧縮率を実現します。
また、生成されたすべての特殊圧縮器は単一の汎用展開器と互換性があるため、システム保守が容易であり、「Trace Visualizer」ツールによって圧縮過程を視覚的に分析できる機能も提供します。
性能データ（シレジア圧縮コーパス SAO データ基準）
| 区分 | OpenZL | zstd -3 | xz -9 |
|---|---|---|---|
| 圧縮率 | x2.06 | x1.31 | x1.64 |
| 圧縮速度 | 203 MB/s | 115 MB/s | 3.1 MB/s |
| 展開速度 | 822 MB/s | 890 MB/s | 30 MB/s |
今回のMetaによるOpenZLのオープンソース公開は、大容量データ処理が不可欠なAIおよびさまざまな産業分野において、データの保存および転送コストの削減と、作業効率の大幅な向上に貢献すると期待されます。
3件のコメント
OpenZL: ファイル形式を認識できるオープンソース圧縮フレームワーク
Facebookの紹介文をAIが翻訳したものもあわせて参考にしてください
圧縮はMetaがリードしていますね。zstdも大きな進歩でしたが
社内ですでにかなり活用していたものを……公開するということは、
さらに大きな一手が来るということですね。