Garage - S3互換の分散オブジェクトストレージのオープンソース

 (git.deuxfleurs.fr)
25 ポイント 投稿者 xguru 2024-07-22 | 2件のコメント | WhatsAppで共有
  • 中小規模のセルフホスティング向けに設計された、Amazon S3互換の分散オブジェクトストレージサービス
  • 異なる物理的ロケーションで稼働するノードで構成されるストレージクラスタ向けに設計
    • マルチサイトをサポートしつつ軽量
    • 高い耐障害性: ネットワーク障害、ネットワーク遅延、ディスク障害、システム管理者のミスに強い
  • すべてのLinuxディストリビューションで動作する、依存関係のないバイナリを提供
  • 迅速なデプロイ、安全な運用: システム管理者に優しい設計
  • 対応機能
    • S3 API互換（一部未対応）
    • Geo-distribution : 障害対策のため複数の場所にデータのコピーを保存
    • シンプルなデプロイ。外部依存関係なし
    • 柔軟なトポロジー : ノードの追加・削除が容易で、自動的にリバランシング
    • 複数のレプリケーションモードをサポート : 1,2,3,5,7,,,
    • 重複排除および任意で圧縮（Zstd）
    • 速度を低下させるRAFTなし
    • 静的Webサイトホスティング用のWebサーバー
    • バケットが複数のAliasを保持可能
    • クラスタ管理API
    • Prometheusデータフォーマットベースのメトリクスを提供
    • KubernetesおよびNomad連携
    • IP変更をサポート
    • K2V API（実験的）: Key/ValueストレージAPI

関連記事

2件のコメント

 
sftblw 2024-07-22

ホームページは https://garagehq.deuxfleurs.fr/ です
 
xguru 2024-07-22

Hacker Newsの意見

  • Minioを2年間使った後、Garageに移行した

    • Minioは小さなファイルの処理が苦手
    • SSDならある程度は解決するが、HDDではそうならない
    • 同期モードでもMinioでは性能低下が発生する
    • Garageに移行してから20〜30倍の性能向上を体験した

  • コンテンツアドレス指定のBlobストレージが必要

    • 不変のブロブをハッシュで保存すれば、複雑さと性能オーバーヘッドを減らせる
    • ソフト削除と組み合わせると、すべての操作が冪等になり、ブロブは簡単にキャッシュできる
    • IPFSのような大規模ソリューションはあるが、ローカル配備向けにはS3の代替が必要

  • Garageを長く使ってきたが、AWS sigv4プロトコルは使いづらい

    • APIキーをヘッダーで送りたい
    • AWS SDKを使わずにファイルをやり取りしたい
    • AWS sigv4のセキュリティ上の利点には関心がない
    • 別の認証方式も検討してほしい

  • SeaweedFSも素晴らしい

  • Garageの低メモリ使用量を高く評価している

    • 一部のバケットをAWS S3へ自動バックアップする機能が必要

  • Garageはペアでのストレージ複製をサポートしている

    • 10GBディスクと1TBディスクがある場合、RAID1に似たミラーリングしかサポートされない
    • 保存容量は10GBに制限される

  • Apache OzoneはHadoop上で動くオブジェクトストレージの代替

  • ローカルでS3互換性を備えたシンプルなソリューションが必要

    • 開発作業やテスト向けにおすすめがあるか知りたい