10PB超のデータを保存するスタートアップなら、どのストレージオプションがよいか?
(news.ycombinator.com)HNに投稿された質問と、さまざまな回答。現在はS3に保存しており、今後さらに増えていくとのこと
- HWコストの面では、自社ホスティングのほうが当然安い:HP Apollo や RackMountPro など
→ ただし隠れたコストがある:ストレージエンジニアの採用、機器以外の設置場所の費用、災害復旧、ハードウェア交換、CAPEX/OPEX など
→ ファイルシステムの構成と管理も問題:Ceph、MinIO、ZFS
-
Backblaze B2 / Wasabi / Scaleway など、ほかの専用クラウドストレージサービス
-
Cloudian / Scality / NetApp Storagegrid などのオンプレミスS3
-
AWS Direct Connect
-
その規模なら AWS/Azure/GCP と価格交渉して下げる
-
大規模データを保存する人たちが集まるサブレディット https://www.reddit.com/r/DataHoarder/
3件のコメント
スタートアップで10+PBとは、ちょっと想像がつきませんね。こういうのが日常的なんでしょうか?
あの会社は KeepSafe という個人向け有料写真・動画保存サービスの事業者です。
暗号化技術で安全に保存してくれることで、それなりに知られている会社ではあります。
MinIO - 高性能なK8Sベースのオブジェクトストレージのオープンソース https://ja.news.hada.io/topic?id=4211
Backblaze B2、S3互換APIを公開 https://ja.news.hada.io/topic?id=2020