Hydro: Rust向け分散プログラミングフレームワーク

• 紹介

  • HydroはRust向けの高水準分散プログラミングフレームワーク。
  • Hydroはスケーラブルな分散サービスを迅速に作成できるよう支援し、Rustがメモリ安全性を保証するように、分散安全性を保証する。
  • テストモードやデプロイモードで分散プログラムを簡単に実行できるよう支援する。

• Hydroの特徴

  • Hydroは高性能なシングルスレッドDFIRランタイムで動作する分散データフロー言語。
  • 従来のアクターやRPCのようなアーキテクチャとは異なり、複数の場所にまたがって計算を記述できるコレオグラフィックAPIを提供する。
  • Hydro Deployと統合されており、ローカルやクラウドで分散Hydroプログラムを簡単にデプロイして実行できる。

• コンパイルとデプロイ

  • Hydroは2段階のコンパイルアプローチを採用している。
  • Hydroプログラムは標準的なRustプログラムであり、開発者のノートPC上でデプロイ計画を生成する。
  • この計画はDFIRへコンパイルされ、分散システムの各マシン向けの個別バイナリを生成する。
  • 生成された計画とクラウドリソースの仕様を使ってクラウドにデプロイされる。

• 活用事例

  • Hydroは、2相コミットやPaxosのような高性能分散システムの実装に使われている。
  • こうしたプロトコルを再利用可能なコンポーネントとして提供する分散システム標準ライブラリを開発中。

• 注意事項

  • Hydroのドキュメントはまだ作業中であり、質問やバグがある場合はHydroのGitHubリポジトリにIssueを投稿することが推奨されている.

[GN⁺]

Hacker Newsの意見

• YouTubeにHydroプロジェクトに関する良い講演がある
  • DFIRに重点を置いた内容
• 実際の適用事例があると理解の助けになりそう
• 中間言語と独自ランタイムがあるなら、Rustの利点を失うことにならないのか気になる
  • Rustバイナリを一貫性があり機能的な分散システムへ調整する言語を期待していたが、DFIRを書く形に見える
• このプロジェクトは本当に興味深い
  • この分野に詳しい人が過去の事例を教えてくれるとありがたい
  • 他の言語で似たようなフレームワークを構築した人たちがいるのか気になる
  • データフローに取り組んできた人たちがおり、Materializeはとてもクールだと思った
  • Kafka Streamsを使った経験があり、これを統合するフレームワークが必要だと思っていた
• 努力は素晴らしいが、Rustエコシステムに"akka.rs"が来てほしい
• データフローの観点でTimelyと比べるとどうなのか気になる
  • IRでループのような制御フローを表現できるのか気になる
• 各"プロセス"は別々のバイナリとしてデプロイされ、別プロセスとして実行されるのか気になる
  • そうだとするとオーバーヘッドが増える問題がありそう
  • 高速な通信はどう実現されるのか気になる
  • 高速な共有メモリIPCメカニズムがあるのか気になる
  • 非同期との統合への言及がないように見える
  • ネットワーキングを扱うコードの大半は非同期に移行している
  • ネットワーキングが必要な多くのものについて、良い非同期ライブラリを見つけるのが難しい
• 本当にすごく良さそうで、特にデプロイ部分が独特に見える
  • より詳しいドキュメントが期待される
  • 特に重要なStreams、Singletons、Optionalsの部分が気になる
• プログラミングモデルが気に入った
  • アプリケーションを書き換える際にネットワーク最適化を行うのか気になる
  • ネットワークのボトルネックや輻輳をどう処理するのか気になる
• データパイプラインにBallistaを使うのと比べてどうなのか気になる
  • 後者はApache ArrowとApache Datafusionを基盤に構築されており、多くの利点がある