- Hopsworksは、AWSの高いegressコストを削減するため、2024年第4四半期にOVHCloudへの移行を成功させ、コストを62%削減した
- 特にネットワーク送信コストは、AWSでは1TBあたり$90かかっていたのに対し、OVHでは1TBあたり$11と8分の1程度にすぎず、全体のコスト削減の主な要因となった
- AWSは成熟したエコシステムと高い信頼性を提供する一方で、OVHCloudはシンプルな価格体系とより低コストで競争力のある性能を提供する
- マネージドKubernetes: AWS → $0.10/時間/クラスター ($72/月) / OVHCloud → 無料
- ネットワーク送信コスト: AWS → 1TBあたり$90 / OVHCloud → 1TBあたり$11（ローカルゾーンでは無料）
- S3ストレージ: AWS → 1TBあたり$2300/月 / OVHCloud → 1TBあたり$800/月
- Put/Getリクエスト費用: AWS → 1億件あたり$566 / OVHCloud → 無料
- コンテナレジストリ: AWS → 5TBあたり$212/月 / OVHCloud → 5TBあたり$212/月（600GBは$44/月）
- アベイラビリティゾーン間データ転送: AWS → 100TBあたり$2000 / OVHCloud → 無料
- EBSインスタンス: AWS → 1TBあたり$81.92/月 → OVHCloud / 1TBあたり$97.28/月
Hopsworksの紹介
- Hopsworksは、大規模AIシステムを開発・運用するためのオープンプラットフォーム
- あらゆるKubernetesクラスターにデプロイ可能（パブリッククラウド、独立型データセンターを含む）
- AWS Sagemaker、GCP Vertex、DatabricksのようなMLOpsプラットフォームの代替として利用可能
- SIGMOD24の研究論文では、より高性能なリアルタイムAI、PythonとLakehouseの優れた統合性が強調されている
- 最初のML向けFeature Storeとして認められている
- データとコンピューティングのサポート
- Lakehouseレイヤー: Delta Lake、Apache Hudi、Iceberg（近日対応）を使用 → 大規模なヒストリカルデータ保存とバッチ推論をサポート
- 低レイテンシデータベース RonDB: リアルタイムAIワークロードおよびスノーフレークスキーマのデータモデルをサポート
- コンピューティングサポート: Kubernetes上でPython、Spark、RayおよびGPU共有/最適化をサポート
- 独自のコンピューティングを提供可能 → Hopsworksをデータレイヤーとして使い、AIパイプラインを統合
- モデルレジストリおよびデプロイ支援: KServe/vLLMでモデルをデプロイ可能
- Hopsworks Serverless（プレミアム版）
- 無料ストレージを提供（50GBのLakehouseデータ、100MBのRonDB特徴データ）
- 最大100個のモデルレジストリと2件のモデルデプロイをサポート
- 大半は無料ストレージを提供し、コンピューティングリソースは無料提供なし → AWSホスティングコストは月約$8K水準を維持可能
AWSからOVHへの移行を決めた背景
- Hopsworks Query Serviceのリリースにより、データ送信コスト（egress）増加への懸念が生じた
- PythonクライアントでArrowおよびDuckDBを使用 → 数百MB〜GB規模のデータをPandas DataFrameで読み込み可能
- AWSのegressコストが急増する可能性 → コスト上昇リスクを認識
- OVHCloudへの移行決定
- OVHは欧州を拠点とするクラウドプロバイダーで、必要なマネージドサービスをすべて提供
- マネージドKubernetes、マネージドコンテナレジストリ、S3互換オブジェクトストレージを提供
- Helm Chartsを使ってOVHにHopsworksをインストール → 問題なく動作することを確認
- ユーザーの大半が北米にいるため、北米にOVHインフラを維持することを決定
コスト削減効果
- OVHへの移行後、コストを62%削減
- AWSの高額なegressコスト負担を解消
- サーバーレス環境でストレージとコンピューティング性能を維持しながら、コスト効率を改善
AWSサービスからOVHCloudサービスへの移行
- KubernetesとS3への依存のみ → クラウド固有サービスに依存しないよう設計
- 観測スタック: OpenSearchおよびOpenSearch Dashboardsベース
- メトリクススタック: PrometheusおよびGrafanaベース
マネージドKubernetesサービスの比較
- AWSとOVHCloudはいずれもマネージドKubernetesサービスを提供
- AWSは成熟したエコシステムと高い信頼性を提供
- OVHCloudは無料で提供され、コスト面で有利
- AWSではAmazon Elastic Kubernetes Service（EKS）を提供しており、成熟して広く使われ、高可用性と強力なエコシステムを備える。しかし、クラスターあたりのコントロールプレーン費用は1時間あたり$0.10で、月約$72のコストが発生する
- OVHCloudではOVHCloud Kubernetes（フルマネージドKubernetes）を提供しており、安定性は高いが、etcdの400MB容量制限が一部のKubernetesクラスターで問題を引き起こす可能性がある。しかし、マネージドKubernetesのコントロールプレーン費用は無料
ネットワーク送信コストの比較
- OVHCloudはネットワーク送信コストが非常に安い
- OVHCloudでは一部の新しいリージョンでのみ送信コストが発生（AWSの8分の1水準）
- 多くのクラウドリージョンで送信コストが無料（2025年3月時点）
- AWSは送信コストが非常に高く、コスト負担が大きい
- AWSでは世界中でサービスを提供しており、データ送信コストはGBあたり$0.09で、1TB転送時に月$90のコストが発生
- OVHCloudでは欧州および北米でサービスを提供
- 「ローカルゾーン」では送信コストが無料
- その他のリージョンではGBあたり$0.011で、1TB転送時に$11のコストが発生
S3ストレージサービスの比較
- AWS S3は信頼性と可用性が高いがコストが高い
- AWSはクラウドベースのオブジェクトストレージサービスで最高水準の性能を提供
- OVHCloud S3は信頼性を維持しつつ、コストはAWS比で約3分の1
- AWS S3は最も信頼性の高いサービスと評価されており、保存コストはGBあたり$0.023で、100TB保存時に月$2300のコストが発生
- Put、Copy、List、Postは1000件あたり$0.005、GET、SELECTは1000件あたり$0.0004で、1億件の操作時に月約$566のコストが発生
- OVHCloud S3は信頼性が高く、保存コストが安い
- 保存コストはGBあたり$0.008で、100TB保存時に月$800のコストが発生
- Put/Get操作の費用は無料
コンテナレジストリサービスの比較
- AWS ECRは成熟していてスケーラブルなマネージドサービス
- 高度にスケーラブルで、設定の柔軟性が高い
- OVHCloud Harborは固定料金制で、スケーラビリティに制限がある可能性がある
- AWS ECRは拡張性が高く成熟したサービスを提供
- 保存コストはGBあたり$0.10で、5TB保存時に月$212のコストが発生
- サービス全般でOVHCloudより優れた性能を提供
- OVHCloud Harborには同時接続数の制限（45または90）がある
- 保存コストは600GBで月$44、5TBで月$212
- 5TBを超える保存容量に対する柔軟な拡張はできない
アベイラビリティゾーン間データ転送コストの比較
- Hopsworksはアベイラビリティゾーン（AZ）障害に耐えられるよう、インスタンス間でサービスを複製している
- 異なるアベイラビリティゾーンにあるインスタンス間でネットワークトラフィックが発生
- AWSではデータ転送コストがGBあたり$0.02発生（送信$0.01 + 受信$0.01）
- OVHCloudではアベイラビリティゾーン間のデータ転送コストは無料
EBSインスタンスの比較
- Hopsworksは永続ボリュームが必要なサービスにEBS（Block Storage）を使用
- AWSはElastic Block Storageを使用
- OVHはCephベースのBlock Storageを使用
- 一部のインスタンスはローカルNVMeディスクを使用 → OVHは小容量ストレージ（1〜4TB）でより高いスループットを提供
- AWSはより多様なインスタンスを提供するが、NVMeローカルストレージは大容量ディスクでのみ利用可能
- コストはGBあたり$0.08で、1TBあたり月$81.92
- OVHCloudはインスタンスの種類は少ないが、小容量ストレージでNVMe性能に優れる
- コストはGBあたり$0.095で、1TBあたり月$97.28
実際のマイグレーション過程
- メンテナンス日程の案内
- 2024年11月26日、24時間のメンテナンスウィンドウを告知
- バックアップとマイグレーションの実施
- HopsworksクラスターをAWS S3バケットにバックアップした後、OVHCloudのS3バケットへマイグレーション
- 一部ダウンタイムは発生したが、問題なくマイグレーションを完了
- テストと運用再開
- Helm chartsでOVH上にHopsworksクラスターをデプロイ
- テストプロセスを経て問題がないことを確認し、ログインを再開
- マイグレーション後、ユーザーアカウントの問題は発生しなかった
まとめ
- 2024年第4四半期にAWSからOVHCloudへ数千人のユーザー移行を完了
- OVHとHopsworksはいずれも欧州で開発された技術だが、Hopsworksのサーバーレスサービスは大半のユーザーがいる北米で提供されている
- OVHのシンプルで低価格な料金体系は魅力的
- ネットワーク送信コストだけでなく、大半のサービス費用がより安い
- 全体的なサービス品質も優れている
2件のコメント
AWSは事例が多い点も強みの一つですが、
エンタープライズアプリケーションを運用しようとすると、
コストはかなり高い気がします。
他のCSPでも事例が多く、安定性が担保されているなら、コストが安い場合は移行を検討すると思います。
Hacker Newsのコメント
OVHはAWSと比べて安価なホスティング事業者として知られている。エンジニアリングや高可用性の面でそれを補えているのか気になる
カナダではAWSを離れることを検討している。OVHはカナダでの評判がよくない
チームの一員として、移行について質問があれば喜んで議論する用意がある
うちの会社もOVHを使っている。かなり良くて安い
AWSと3年間仕事をしてきたが、AWSは悪くないビジネスパートナーだ
数字が合っていて移行できるなら良いことだ
個人プロジェクトでOVHを使っていたが、やめた。iCloud Private RelayネットワークのIPを無作為にブロックする
OVHにデータを移すときは、すべてのデータを別の事業者にもバックアップすべきだ
OVHではなくScaleway.comを選ぶ理由が気になる
AWSやAzureにとどまる理由はないが、代替案はマーケティングが弱いため、経営陣を説得しにくい