AIコストを毎日100ドルから1ドルに削減した方法：GPT-4を使ったMixtralのファインチューニング

• AIベースのキャリア探索アプリを作ったところ、急成長に伴ってGPT-4のコストが1日100ドル以上かかり始めた
• レイテンシを下げ、品質を維持しながら、AIコストを最大99%削減するために使った方法
  • 最も強力なモデル（GPT-4）で結果を出し、その結果を使ってより小さなモデルをファインチューニング
  • AIのリクエスト/レスポンスを簡単にExportできるよう保存する。Helicone AIを利用。OpenAI APIをそのまま差し替えるだけで、テーブルにAIリクエストを保存してくれる
  • およそ100〜500組のリクエスト/レスポンスのペアがたまったら、Exportして高品質にデータを整形
  • このデータセットを使って、Together/AnyscaleのようなホスティングサービスでMixtral 8x7Bをファインチューニング
  • GPT-4を新しくファインチューニングしたモデルに置き換える

[kuroneko]

ということは、GPT-4の利用規約とMixtralのライセンスの両方に違反したということですか……？ @_@

[xguru]

そういうことだと思います。これが目に見えて表れるものではないため、多くの人がそうしているようです。

[kuroneko]

こっそり使っていたり、あるいは研究用として公開したものはありましたが、
ここまであからさまに「私たちが使いました！」と宣伝したのは、ちょっと……珍しいですね。

何か言われたりしないんでしょうか……？

[xguru]

Hacker Newsの意見

• ほとんどのテック企業は、中核研究を除けば少なくとも半年の間、GPT-4または3.5を使って学習データを生成し、それを基にQLoRAを微調整して「独自」のAIモデルとして公開している。経営陣は大きな成果を主張し、自社が「特定業界」AI分野のリーダーだと語る。このプロセスには機械学習の知識はほとんど必要なく、クラウドコンピューティング費用も1,000ドル未満で済む。しかし実際の作業ではGPT-3.5レベルの結果しか得られず、特にクラウドGPUを使う場合はコスト面でもGPT-3.5に対抗しにくい。
• この人のアプリWandererを確認してみたが、利用規約、プライバシーポリシー、明確な料金体系、AIへの言及がまったくなく、非常に怪しい。GPT-4を使うアプローチは、モデルがGPT-4のように賢いふりをするには向いているが、本当に重要な場面では劣ったモデルであることが露呈する。
• Together.aiのドキュメントによれば、Mixtralは微調整に使えず、微調整済みモデルをサーバーレスで実行していないように見える。これは話の整合性に疑問があることを示している。
• 倫理的な問題や限定的な条件はひとまず置くとして、投稿者がやったことにGPT-4は必要なかったかもしれない。Mixtralや3.5で最初の100件の良いプロンプト・応答ペアを生成し、投稿者がそれを手動で調整した場合と比べて、どれほど悪かったり難しかったりしたのだろうか。
• AIを使って大規模にコンテンツを要約する副業プロジェクトのアプリを開発しており、これが収益を生むSaaSになることを期待している。迅速なリリースのため、当面はOpenAIを使う予定だが、後に自前ホスティングのLLMオプションへ移行することが、経済面でも技術面でも可能だと考えている。これに関して経験のある人がいれば、コツやテクニックを共有してほしい。
• これがOpenAIの利用規約に違反しないのか気になる。
• コストが1ドルに下がった方法を説明してほしいという要望。GPT-4をMixtral 8x7bの調整版に置き換えたが、これには複数のGPUが必要だ。たとえ独自に量子化したモデルだとしても、ハードウェアやインフラのコストがかかり、それは1ドルを超えるはずだ。もしかして自前ホスティングなのだろうか。
• 古典的な知識蒸留の方法論への言及。ここでは微調整に8x7bは必要ないだろうと主張しており、近いうちにphi-2やphixtralモデルがこの種のドメインには十分強力になるだろうとしている。
• 特に変更を加えなくてもopenhermes 7b chatで素晴らしい結果が得られ、GPT-4のユースケースの90%をカバーし、しかも高速に動作する。おすすめだ。