Phind-70B公開 - GPT-4 Turboとのコード品質差を縮めつつ4倍高速で実行可能なモデル

 (phind.com)
6 ポイント 投稿者 GN⁺ 2024-02-23 | 3件のコメント | WhatsAppで共有
  • 1秒あたり最大80トークンを処理（GPT-4 Turboは1秒あたり約20トークン）
  • 32Kトークンウィンドウをサポート
  • CodeLlama-70Bモデルをベースに、追加の500億トークンでファインチューニング
  • HumanEvalで82.3%を記録し、81%のGPT-4 Turbo（gpt-3-0125-preview）を上回る
  • MetaのCRUXEvalでは59%で、GPT-4の62%にはやや届かず
  • コード生成の面では、ほぼGPT-4 Turboと同等か、一部のタスクではこれを上回る
  • GPT-4 Turboより"Lazy"ではなく、詳細なコード例の生成をためらわない

関連記事

3件のコメント

 
cosine20 2024-02-27

1年ほど前にGeekNewsでPhindを知って以来、コードに関する質問はほとんどPhindにしてきました。たまに迷っているように見えることもありますが、それでも今ではコツがつかめて、あまり迷わないように質問できるようになっています。
 
GN⁺ 2024-02-23
Hacker Newsの意見

  • Phindの使用体験の共有

    • この3〜4週間、ほぼ毎日Phindを使っており、生成されるコードの品質が高く、実行もうまくいく。
    • ChatGPTより精度が高く、より正しい方向を示してくれる。
    • ChatGPTはここ2か月以上で遅くなったが、トピックを学ぶ用途ではChatGPTのほうがより詳しく説明的である。

  • コード品質評価への疑問

    • GPT-4が提示した正規表現で文字列を分割する問題を解決し、必要な単体テストを追加して無事にコミットした。
    • 70Bモデルは何度試しても、この問題に対する答えを提示できなかった。
    • GPT-4以外のモデルを試すたびに、時間の無駄のように感じる。

  • Phind創業者からの案内

    • Phind-70Bモデルは、ログインなしで無料で試すことができる。

  • Phindの応答速度と品質に対する印象

    • 応答速度には感心したが、品質にはそれほど満足していない。
    • GPT-4は数回の試行の末にPOSTリクエストも考慮して処理するが、Phindは主にGETリクエストにしか注目しない。

  • LLMへの面白い挑戦

    • 基本的な論理パズルをLLMに出して、問題解決能力を試した。
    • Phind-34Bは特に面白い反応を見せ、ときどきループに陥る。

  • Wiresharkプラグイン作成経験の比較

    • PhindとChatGPTを比較し、Wiresharkプラグイン作成の経験を共有した。

  • API連携の可能性に関する問い合わせ

    • PhindのAPIが、コーディングでGPT-4を使うよう最適化されたaider.chatに連携できるかを質問した。

  • Phindの使用体験の共有

    • 1年以上Phindを使っているユーザーで、GPTより好んでいる。
    • 長い質問スレッドの後に、繰り返しやループに陥る問題があった。

  • コード翻訳に対するPhindの反応

    • ChatGPT 3.5/4はときどきGoファイル全体をC#に翻訳する一方で、Phindはコード全体の翻訳を拒否する。

  • Phind-70Bの速度と性能

    • Phind-70BはGPT-4 Turboよりはるかに高速で、これはNVIDIAのTensorRT-LLMライブラリとH100 GPUを使うことで実現されている。