1 ポイント 投稿者 GN⁺ 2024-12-22 | 1件のコメント | WhatsAppで共有
  • S2 紹介

    • S2 はクラウド時代向けのストリーミングデータストレージで、データシステムの中核を強化するためのソリューションです。
    • 従来のオブジェクトストレージでのサーバーレス体験をストリーミングデータにも適用することを目指しています。
    • S2 はストリームをクラウドストレージの基盤要素として扱います。
  • ストリームがオブジェクトに優先されるなら?

    • オブジェクトストレージはデータが静的な状態のときに適しており、ストリームストレージは移動中のデータの要件に応えるよう設計されています。
    • S2 はレコード単位でデータを処理し、複数の書き込み元が同時に動作しても、すべてのレコードを順次処理します。
    • S3 と異なり、S2 はストリームをリアルタイムで追跡できます。
  • サーバーレス ― そのコストは?

    • S2 はオブジェクトストレージの無限のスケーラビリティと耐久性を基盤に構築されています。
    • ユーザーはストリームごとに遅延とコストのバランスを調整できます。
    • StandardExpress の2種類のストレージクラスを提供しており、それぞれ AWS の S3 Standard と S3 Express One Zone をベースにしています。
    • Express クラスは、ディスクベースのクラウドストリーミングシステムに近い遅延を提供します。
  • S2 の次のステップ

    • S2 は実績のあるクラウドインフラを基盤にしており、Rust コードベースでテストされています。
    • 現在は gRPC API、Rust SDK、CLI を提供しており、REST API も開発中です。
    • 今後の計画として Kafka プロトコル互換性、マルチリージョンベース、5ミリ秒未満の遅延時間を目標にしています。
    • S2 は、ストリーム数やスループットに制限のないクラウドストリーミングを求めるユーザーに適したソリューションです。

1件のコメント

 
GN⁺ 2024-12-22
Hacker News のコメント
  • 製品名を S2 として、AWS S3 を改良する技術だと紹介するのは、Amazon の商標権の問題を引き起こす可能性があります
  • API は見た目も使いやすく、プロジェクトで使いたいですが、この形のままでは長続きしなさそうです。もし成功すれば、AWS がより良いバージョンを作る可能性が高いです
    • Papertrail のようなエンドユーザー向けプロダクトとして出荷されていれば、もっと意味があったでしょう
    • S3 互換のバックエンドを追加できれば、クラウドに依存しない優れた製品になるでしょう
  • WarpStream と似ていますが、Kafka 互換の代わりに低レベル API を提供しているようです
    • 長期的に採用されるなら、S3 相当のストリーミング API はかなり価値があります
  • AWS のインターネット転送コストが $0.09/GB なのに $0.05/GB と請求される理由が知りたいです。AWS の非公開の転送料金にアクセスできるのでしょうか
  • 技術は素晴らしいのですが、ソースが公開されていないのは残念です。FSL のようなライセンスで完全なセルフホスティングが可能なら、商用サービスとして検討します
  • S3 でないことを説明するために、人生をかけることを選んだようです
  • ストリームの『イベント』を任意時点でクエリ可能な表現にするものを誰かが構築してほしいです
    • 特定のデータベースというより、特定のインメモリでクエリ可能なデータにするパターンやフレームワークのほうがよいでしょう
  • すべての書き込みが S3 に保存された後にのみ認められるサービスモデルの価値提案が分かりにくいです
    • AWS が Kafka の再実装のようなプロトコル互換サービスを実装する可能性があります
  • Java SDK がないのは残念です。ほとんどの企業が Spring や Kafka クライアントを使っているため、PoC さえ難しくなります
  • AWS の Kinesis Data Streams とかなり重複しているようです。AWS に対抗する存在が生まれるのは良いことです