[NAVER] ML GPUモデルサーバーの性能を維持したままCPUサーバーへ移行した経験の共有（feat. torchserve）

 (medium.com)
3 ポイント 投稿者 ninebow 2023-07-26 | 3件のコメント | WhatsAppで共有
  • この記事は GPT-4 を使用して自動生成した説明であり、誤った内容が含まれている可能性があります。
  • 誤りを見つけた場合は、コメントでお知らせいただけますと幸いです！

紹介

この記事は、NAVER Place 開発チームが ML モデルサーバーを GPU から CPU に移行する過程を共有するものです。この移行は、サーバーコストを削減し、サーバー運用をより効率的にすることを目的としています。

要約

1. モデルサーバーの GPU から CPU への移行

  • NAVER Place 開発チームは、モデルサーバーを GPU から CPU に移行する作業を進めました。これは、サーバーコストを削減し、サーバー運用をより効率的にすることを目的としています。この作業には、モデル学習（training）に使用される GPU を CPU に置き換えることが含まれます。

2. モデルサーバーの構成

  • モデルサーバーは大きく 3 つの部分で構成されています。モデル学習、モデルサーバー、そしてクライアントです。モデル学習はデータセット（dataset）を使ってモデルを学習する過程を含み、モデルサーバーは学習済みモデルをホスティングし、クライアントはモデルサーバーにリクエストを送ってレスポンスを受け取ります。

3. GPU から CPU への移行

  • GPU から CPU への移行には複数の段階があります。まず、モデル学習コードを CPU 上で実行できるように修正します。次に、モデルサーバーを CPU 上で実行できるように設定します。最後に、クライアントコードを修正して、CPU 上で動作するモデルサーバーにリクエストを送れるようにします。
  1. 移行後の結果
  • 移行後、サーバーコストは大幅に削減され、サーバー運用もより効率的になりました。また、CPU 上で動作するモデルサーバーは、GPU 上で動作するモデルサーバーと比べても性能低下なく良好に動作しました。

参考

  • Naver Place Dev Blog
    • このブログでは、NAVER Place 開発チームのさまざまなプロジェクトや経験が共有されています。この記事で言及された GPU から CPU への移行作業について、さらに多くの情報を得ることができます。

関連記事

3件のコメント

 
xguru 2023-07-27

文章を修正しておきました。
記事の冒頭に警告文がある場合、Slack/Twitterではその警告文だけが表示されてしまいます。
可能であれば、記事の冒頭には要約が来るようにお願いします。
 
ninebow 2023-07-27

今後は注意いたします。ありがとうございます！ :)