Fly.io、GPUを搭載

 (fly.io)
1 ポイント 投稿者 GN⁺ 2024-02-14 | 1件のコメント | WhatsAppで共有

AIは本当にすごい

  • Fly.ioは、ユーザーの近くにコンピューティングパワーを配置できる新しいパブリッククラウドサービス。
  • これでGPUを使って、エッジコンピューティング環境でAIワークロードを処理できる。
  • Fly.ioは、フルスタックアプリやFly Machines APIをベースにした開発プラットフォームを、ユーザーの近くで実行できるようにする。

Fly.io GPUの実際の活用例

  • Fly.ioのクラウドバックボーン上に、自分のコードと好みのモデルをデプロイできる。
  • Fly.io GPUを使えば、Ollama（テキスト生成界隈の仲間たち）を動かすGPUアプリを2ステップで簡単に起動できる。
  • fly.tomlに設定を追加し、fly apps create sandwich_ai && fly deployコマンドを実行してアプリをデプロイできる。

光の速さには限界がある

  • GPUを素早く起動できるのは良いことだが、Fly.ioはエッジでの推論でこそ真価を発揮する。
  • たとえば、ユーザーがキッチンにある材料を入力すると、すぐにサンドイッチのレシピを受け取れるアプリが考えられる。
  • Fly.ioは世界中のデータセンターにGPUを備えており、GPU対応のあるすべてのリージョンで同じプログラムを実行できるようにしている。

本当に必要なときだけ

  • GPUは強力な並列処理デバイスだが、安くはない。
  • fly.tomlファイルにservicesセクションを追加して、アプリのスケールアップおよびスケールダウン方法を指定できる。
  • ユーザーがサンドイッチのレシピをリクエストしていないときにGPUの費用を払わなくて済むよう設定できる。

詳細情報

  • 米国、欧州、シドニーの複数リージョンで利用できるGPUを提供している。
  • さまざまなGPUオプションと価格を用意しており、すべてのデプロイでデフォルトで8個のAMD EPYC CPUコアが使われる。
  • ボリュームは最大500GBまで接続でき、リザーブドインスタンスと専用ホスト向けの割引も提供している。

GN⁺の意見:

  • Fly.ioは、AIワークロードをエッジコンピューティング環境で処理できる革新的なクラウドサービスを提供し、ユーザー体験の改善に注力している。
  • GPUを活用したサービスは、高速な推論速度とコスト効率の両方を考慮したソリューションを提供しており、特にリアルタイムで高いコンピューティングパワーが求められるアプリケーションに適している。
  • このサービスはAI技術へのアクセス性を高め、開発者が新しく革新的なアプリケーションを作るのを助ける可能性があり、非常に興味深く有益な進展だ。

関連記事

1件のコメント

 
GN⁺ 2024-02-14
Hacker Newsの意見
  • あるユーザーは、Flyの基本機能に失望したと述べている。サポートチームが内部プラットフォームの問題を確認できず、エラーメッセージが曖昧だったり、存在しなかったりする点を指摘している。このユーザーは、Kubernetesへの恐れや無知からFlyを使う人にとっては魅力的かもしれないが、自分はKubernetesが恋しくなったとしている。
  • Fly.ioのデベロッパーリレーション担当者は、GPUが一般ユーザー向けに公開されたと紹介し、ユーザーがGPUを試せるようになったと述べている。また、GPUに関するブログ記事へのリンクを共有し、質問があれば聞いてほしいと勧めている。
  • 別のユーザーは、FlyがFirecrackerを使ってVMを動かしていると言及し、FirecrackerがデフォルトではGPUをサポートしていない点を指摘している。FlyがどのようにGPUサポートを実装したのか気になっており、それに関する技術的な記事を期待している。
  • あるユーザーは、Flyのゼロスケーリング機能を称賛し、ほとんど利用者のいない実験的なサイトを運営する際にサーバー費用を節約できると述べている。リクエストごとの課金時間についての例を求めている。
  • Fly向けのS3代替サービスがないことを残念がるユーザーがいる。GNU Afferoプロジェクトを代案として挙げているが、ビジネスには向いていないと感じている。Flyのシンプルさ、コストパフォーマンス、内蔵VPNは気に入っているものの、ユーザー資産を保存するためにFlyを離れなければならない点が、次のプロジェクトでFlyを使わない決定的な理由だとしている。
  • Flyのターゲット市場が何なのか気になっているユーザーがいる。AIモデルを動かす必要はあるがホスティングサービスは使わない、小規模または未検証のアプリが対象なのか、それとも別の目的があるのかと疑問を呈している。
  • Flyのパフォーマンスに関する経験を尋ねるユーザーがおり、第一印象では高いと感じている。たとえばHetznerのCPUマシンと比較している。
  • Beam.CloudサービスとFlyを比較した経験があるかを尋ねるユーザーがいる。
  • スケールを0にしたときの速度がどれほど速いのか、もし速いなら非常に興味深いと述べるユーザーがいる。
  • Flyがreplicateで使われるcogファイルを実行できるのか、また同じ予測APIで事前パッケージ化されたモデルを実行できるのか気になっているユーザーがいる。replicateのせいでためらうかもしれないが、これを採用すればよりスムーズな体験を提供できるだろうと考えている。