23 ポイント 投稿者 xguru 2023-03-02 | 4件のコメント | WhatsAppで共有
  • これで ChatGPT および Speech-To-Text 機能を自社アプリ内で活用可能
  • 12月の ChatGPT 発表以降、最適化によって 90% のコスト削減を達成し、これを API ユーザーに提供

ChatGPT API

  • gpt-3.5-turbo モデルを使用し、現在 ChatGPT 製品で使われているものと同じ
    • 1k トークンあたり $0.002 で、従来の GPT-3.5 より 10 倍安価
    • チャット以外の用途でも最良のモデルで、既存の text-davinci-003gpt-3.5-turbo に簡単に切り替え可能(切り替えを推奨)
  • API はトークンで構成された非構造化テキストを入力として受け取る
    • 内部的には ChatML と呼ばれるトークンのシーケンスとしてレンダリングされる
  • gpt-3.5-turbo は今後も最新版へ継続的にアップグレード予定。現在は gpt-3.5-turbo-0301 を 6/1 までサポート予定
  • 4月に新しい安定版をリリース予定
  • Dedicated Instance も別途提供(より長いコンテキストをサポートし、1日に 4.5 億トークン以上を実行するユーザーに適している)

Whisper API

  • 2022年9月にオープンソースとして公開した Speech-To-Text モデル
  • 開発者コミュニティで高く評価されたが、運用は難しかった
  • large-v2 モデルを API として利用可能で、$0.006/分
  • transcriptions / translations エンドポイントで利用可能
  • m4a, mp3, mp4, mpeg, mpga, wav, webm フォーマットをサポート

初期導入企業

  • Snap : Snapchat+ 向けの ChatGPT ベースのチャットボット My AI を提供。おすすめや友人向けの詩(俳句)を作成
  • Quizlet : 学習履歴に合わせて質問する適応型 AI チューター Q-Chat に ChatGPT を適用
  • Instacart : 食べ物について質問し、回答を得られる Ask 機能に導入
  • Shopify : Shop アプリにショッピングアシスタント機能を導入
  • Speak(韓国): Whisper API を利用した語学学習アプリ。

4件のコメント

 
frogred8 2023-03-02

原文には 1kトークンあたり $0.002 と書かれていますね。

It is priced at $0.002 per 1k tokens

そして、トークンの定義が気になって少し調べてみると、input/output の文字数に応じて決まるようです。

The number of tokens processed in a given API request depends on the length of both your inputs and outputs. As a rough rule of thumb, 1 token is approximately 4 characters or 0.75 words for English text.

 
xguru 2023-03-02

あっ、重要な部分で誤字がありました (T_T) 修正しました

 
lukaid 2023-03-02

毎週新しいAIニュースがあふれてきますね……期待もありますし、怖さもありますが……トレンドを見逃すまいとすると、かなり疲れを感じることもあるようです。

 
functor 2023-03-02

OpenAIは本当にすごいですね