- 決済履歴のある既存のAPI開発者は GPT-4 API 8Kコンテキスト を利用でき、新規開発者へのアクセス開放とレート制限の拡大は、計算資源の空き状況に応じて順次進められる
- GPT-3.5 Turbo、DALL·E、Whisper APIも、本番規模での利用準備が整ったことを理由に 一般提供 され、GPT-4とGPT-3.5 Turboのファインチューニングは今年後半に提供予定
- OpenAI APIにおけるGPT利用量のうち Chat Completions APIが97% を占めており、システムメッセージや関数呼び出しのような構造化インターフェースが、従来のCompletions APIの大半のユースケースを置き換えている
- 2024年1月4日からCompletions APIの旧モデル、旧埋め込みモデル、Edits API関連モデルは利用できなくなり、
gpt-3.5-turbo-instruct、text-embedding-ada-002、GPT-3.5 Turboなどへ移行する必要がある
- Completions APIはドキュメント上で legacy と表示され、新規モデル公開の予定もないため、新しい統合はChat Completions API中心で設計するのが安全
GPT-4 APIと主要APIの公開範囲
- OpenAIはすべての 有料API顧客 にGPT-4へのアクセスを提供
- 決済成功履歴のある既存のAPI開発者は GPT-4 API 8Kコンテキスト を利用可能
- 新規開発者向けアクセスは今月末までに開放予定
- その後は計算資源の空き状況に応じてレート制限を引き上げる予定
- GPT-4はOpenAIの最も強力なモデルで、3月以降、数百万人の開発者がGPT-4 APIへのアクセスを申請している
- GPT-3.5 Turbo、DALL·E、Whisper APIも一般提供
- GPT-4とGPT-3.5 Turboの ファインチューニング（fine-tuning） は、安全に有効化する作業が進められており、今年後半に提供予定
- 2024年4月24日の更新以降、「ChatGPT API」という名称は廃止されており、本稿でのChatGPT APIへの言及は GPT-3.5 Turbo API を意味する
Chat Completions API中心への移行
- Chat Completions API は3月に導入され、現在ではOpenAI APIにおけるGPT利用量の 97% を占めている
- 従来のCompletions APIは、自由形式のテキストプロンプトで言語モデルとやり取りするために、2020年6月に導入された
- より構造化されたプロンプトインターフェースは、従来方式より優れた結果を出せる場合がある
- システムメッセージ（system message）
- 関数呼び出し（function calling）
- マルチターン会話（multi-turn conversation）
- Chat Completions APIは対話型体験だけでなく、幅広いcompletionタスクにも対応する
- ユーザー提供コンテンツと指示を構造的に分離できるため、プロンプトインジェクション攻撃のリスク を下げるのに役立つ
- OpenAIは今後もプラットフォーム開発の大部分をこの方向に投資する計画
- completion tokenのlog probabilities
- 応答の「おしゃべりさ」を減らすためのsteerability改善
- これらはChat Completions APIにまだ残るギャップ
Completions API旧モデルの終了
- OpenAIはChat Completions APIへの投資拡大と計算容量の最適化のため、6か月後にCompletions APIの一部旧モデルを終了する
- Completions API自体には引き続きアクセス可能だが、開発者向けドキュメントでは本日から legacy と表示される
- 今後のモデルおよび製品改善はChat Completions APIに集中し、Completions API向けの新規モデル公開予定はない
- 2024年1月4日から旧completionモデルは利用できなくなり、新モデルに置き換えられる
ada, babbage → babbage-002curie, davinci → davinci-002davinci-instruct-beta, curie-instruct-beta, text-ada-001, text-babbage-001, text-curie-001, text-davinci-001, text-davinci-002, text-davinci-003 → gpt-3.5-turbo-instruct
- 安定モデル名である
ada、babbage、curie、davinci を使うアプリケーションは、2024年1月4日に新モデルへ自動アップグレードされる
babbage-002、davinci-002 は、API呼び出しで該当モデル名を指定して早期テストできるよう、今後数週間以内に提供される予定text-davinci-003 のような他の旧completionモデル利用者は、2024年1月4日までにAPIリクエストの model パラメータを gpt-3.5-turbo-instruct に自分で変更する必要がある
gpt-3.5-turbo-instruct は text-davinci-003 と同様に学習されたInstructGPTスタイルのモデル- Completions APIで そのまま置き換え可能な（drop-in replacement） モデルとして提供予定
ファインチューニングモデル利用者の移行
- 2024年1月4日以降もファインチューニングモデルを使い続けるには、新しいベースモデル上で代替モデルを再度ファインチューニングする必要がある
- 新しいベースGPT-3モデル:
babbage-002, davinci-002
- より新しいモデル:
gpt-3.5-turbo, gpt-4
- GPT-3.5 TurboとGPT-4のファインチューニングが提供される際、過去に旧モデルをファインチューニングした利用者には 優先アクセス権 が提供される予定
- 独自データでファインチューニングしたモデルからの移行は難しいため、過去の利用者支援によって移行をできるだけ円滑にする計画
- 最近旧モデルを使用した開発者には今後数週間以内に連絡し、新しいcompletionモデルの早期テスト準備が整い次第、追加情報を案内する予定
旧埋め込みモデルの終了
- 旧埋め込みモデル利用者は、2024年1月4日までに
text-embedding-ada-002 へ移行する必要がある
text-embedding-ada-002 は2022年12月に公開され、従来モデルより高性能かつコスト効率が高いことが確認されている- 現在
text-embedding-ada-002 はembedding API利用量全体の 99.9% を占めている
- OpenAIは新モデルでコンテンツを再埋め込みする 再埋め込みコスト を負担する予定
- 以下のモデルはすべて
text-embedding-ada-002 に置き換えられる
code-search-ada-code-001, code-search-ada-text-001code-search-babbage-code-001, code-search-babbage-text-001text-search-ada-doc-001, text-search-ada-query-001text-search-babbage-doc-001, text-search-babbage-query-001text-search-curie-doc-001, text-search-curie-query-001text-search-davinci-doc-001, text-search-davinci-query-001text-similarity-ada-001, text-similarity-babbage-001, text-similarity-curie-001, text-similarity-davinci-001
Edits APIの終了
- Edits APIおよび関連モデルの利用者は、2024年1月4日までに GPT-3.5 Turbo へ移行する必要がある
- 例:
text-davinci-edit-001, code-davinci-edit-001
- Edits APIベータは、指示に従ってプロンプトの修正版を返すために作られた初期の探索的APIだった
- Edits APIで得られたフィードバックは、
gpt-3.5-turbo とChat Completions APIの開発に反映されている
- Chat Completions APIも同じ目的で利用できる
- 例では、コードに適用する変更要求をシステムメッセージで指定し、ユーザーがFibonacci関数名を
fib に変更するよう求めると、assistantが修正済みコードを返す
1件のコメント
Hacker News の意見
ローカル LLMを奨励し、広く普及させるべき
GPTを使うとOpenAIにお金を払うことになり、そのお金は政府へのロビー活動で競合を排除するために使われ、結局は自分自身にも財布にも、みんなにとっても損になる
OpenAIには、金を払って法案を書かせない限り、堀はない
今でも5年前のGPUなしノートPCで、かなり恐ろしいほど賢くて速いLLMを動かせるので、未来は少なくとも面白そうに見える
1〜2か月前に試したときは、ほぼすべての作業で結果が憂うつになるほど遅く、役に立たなかった
あるモデルが「GPT-3の90%」だと言われるたびに期待するが、毎回大きく失望している
ちなみにGPT-4を使った後は、GPT-3もほぼ毎回期待外れに感じる
今どのLLMを使っているかが、そこまで重要なのかも疑問。ローカルかホスティングか、OpenAIか別のエンジンか、という話だ
インターフェースはチャットベースのプロンプトに収束したように見えるし、基盤モデルをチューニングしたり効率を上げたりする新しいアイデアはほぼ毎週公開されている
生成AIの上に製品を作るなら、無料のものや開発環境に合うものから始めればいいのではないかと思う
テキストベースの生成AIとやり取りする方法やAPIは、その時点でどのエンジンが最適かに関係なく、おおむね似たものになる可能性が高い
そうなら、AWS S3 APIをまねるWebサービスのようにバックエンドの差し替えが可能になるはず
結局、OpenAIでも他のモデルでも製品を作り、コストと適合度に応じて後から移ればいいのではないかと思う
低品質なLLMで製品全体をプロトタイピングし、ときどきGPT-4にリクエストを送って動作を検証するやり方も可能
この技術が法律で制約され得ると信じるのは大げさに見える。OpenAIがどれだけロビー活動をしても必ず望むものを得られるわけではなく、FTXの例もある
LLMはローカルで実行でき、ユーザーにとってエンジンはブラックボックスであり得るうえ、公共的な効用まで考えると、法律で実際の普及をどうやって止められるのか分からない
16GB RAMでGPUなしの古いノートPCがあるのだが、こうしたモデルを動かせるだろうか？
AIプロパガンダ機械に資金を出してはいけない
ローカルLLMも一部のタスクには良いかもしれないが、OpenAIがAPIに投入しているモデル規模とハードウェアに比べると、はるかに遅く能力も劣る
第12世代Intel i7ノートPCでggmlを使って7BモデルをCPU実行した経験では、それでもgpt-3-turbo APIよりずっと遅かった
[1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296
これは深刻。実際にtext-davinci-003を終了しようとしている
残っていた最も有能なモデルと、テキスト補完方式の自由が失われるということ
これで何もかもが、検閲／アラインされたチャットモデルか、恣意的な入力メタファー制限のある指示モデルになる。gpt3.5-turboは比べるとひどい
こうなるとOpenAIの利用はほとんどやめることになりそう。月$5〜$10のAPI課金に大きな意味はないだろうが、65B Llamaモデルをローカルで動かそうという動機はさらに強くなる
他のモデルにはない何を提供しているのか？
2024年1月4日の終了前に試しておくと面白いことは何だろう？
ただしdavinciがGPT-4と同じ価格帯なら、GPT-4が語彙の多様性と誘導可能な言語的精緻さで十分に向上し、代替になってくれることを期待している
全体として、指示モデルへ向かう流れの中で何がどれほど失われるのかが過小評価されていると思う
市場に賢い主体がいて、指示プロンプトを事前に最適化し、チューニングされていないモデルに合う形式へ変換する方法を使ってくれることを望む
同じパラメータ規模なら、underlyingモデルを切り詰めないだけで、エンドユーザーにははるかに進歩したように見えるはず
私の見る限り、まだAzureで利用可能。text-davinci-003はこれをファインチューニングしたバージョン
詳細情報:
https://platform.openai.com/docs/model-index-for-researchers
Sam Altmanもすでに、ハードウェアがやりたいことを妨げていると言っていた
GPT-4 APIのウェイトリストに数か月いたが、需要に追いつけなかったからである可能性が高い
「2024年1月4日以降も微調整済みモデルを使い続けるには、新しいベースのGPT-3モデル（ada-002、babbage-002、curie-002、davinci-002）や、より新しいモデル（gpt-3.5-turbo、gpt-4）の上で代替モデルを微調整する必要がある」ということなのか
そうすると、自分のデータで作った微調整済みモデルはもう使えなくなるということなのか？
微調整済みモデルにお金を払った人たちは、新しい検閲モデルの上でもう一度学習トークンの費用を払わなければならないという意味なのか分からない
顧客に最も合う具体的な方法はまだ調整中で、今後数週間のうちに顧客へ連絡し、複数のアプローチについてフィードバックを受ける予定
だから公開モデルは非常に重要。クローズドモデルの上に微調整済みモデルを作る企業は理解しがたい
ここで性能面で最大のニュースは、実はgpt-3.5-turbo-instructモデル
gpt-3.5-turboはChatGPTの背後にあるモデルで、チャット向けに微調整されているため、単に命令に従ったり補完だけしてほしいユースケースではかなり使いにくい
davinci-003が最後の指示チューニング済みモデルだったが、gpt-3.5-turboより10倍高かったので、トークンの観点ではものすごく無駄でも、gpt-3.5-turboを無理にユースケースに合わせる方が経済的には筋が通っていた
text-davinci-003を使う基本的なWebサイトがあるが、高すぎてリリースできずにいる
gpt-3.5-turboだけ試したが、構造化されたJSONの返却を期待する状況では一貫性がまったく得られず、機能しなかった
davinci-003の方がずっと面白く、ChatGPTなら回答を拒否するような幅広いトピックにも答えられる
「本日からすべての有料API顧客がGPT-4にアクセスできる」とあったが、自分が間抜けなのか分からないけれど、有料のOpenAI API顧客なのにまだない
見えているのはgpt-3.5-turbo-16k、gpt-3.5-turbo、gpt-3.5-turbo-16k-0613、gpt-3.5-turbo-0613、gpt-3.5-turbo-0301だけで、gpt-4は見えない
おそらく先月中に有料APIアカウントへアップグレードしたので、会計上まだ「有料API顧客」ではないのが問題なのだと思う
自分も同じ。数日前に登録してgpt-4に切り替えようと期待していたが、5ドルの承認以外にはまだ最初の請求書を支払っていないので、もう少し待つ必要がありそう
APIを呼び出すごく単純なコマンドラインツールを作った。例えばこんなふうに実行する:
自分もGPT-4へのアクセス権がない
珇在プレイグラウンドでgpt4を使えるのは2番だけ
gpt-3.5-turbo-0613 は、特にシステムプロンプト設計と組み合わせるとかなり良くなっており、20〜30倍も高い GPT-4 API を使う必要性は以前ほど大きくない
以前の Completion API より ChatGPT API が大規模に採用されたことは、私が最初に書いた ChatGPT API の記事が正しかったことを示している
品質が同等かそれ以上なら、開発者は大幅な値下げを見てすぐに移行する: https://news.ycombinator.com/item?id=35110998
比較すると GPT-3.5 は使い物にならない。ただ、より会話的な環境では GPT-3.5 のほうが魅力的な性能/価格を提供し得るという点は理解できる
たいていのユースケースでは動くかもしれないが、GPT-3.5 は GPT-4 よりはるかに頻繁に指示を無視する
末尾の空白のような単純なものでもはるかに簡単に崩れ、文法や句読点が抜けた長いテキストを書き直させると、文字を一つずつ綴るような奇妙な挙動も見せる
システムプロンプトをどう設定しても大差はなかった。GPT-4 では、そうした本当に奇妙な挙動はまだ見たことがない
私は主にテスト生成、ドキュメント作成、リファクタリング、コード片の生成などに使っていて、Copilot/X とあわせて日々の業務で使っている
私の経験では、GPT3.5-turbo は比較するとかなり鈍い。メソッドが何をしてどんな引数を持つのかをコメントで説明したのに、肝心の引数を丸ごと抜かす
比較的短いコード片でも、記憶力が悪いように感じる。コンテキスト長に近づいているわけでもない
小さなミスではなく、複数のステップで何かをやると言っておきながら、ステップ全体を抜かす
GPT3.5-turbo は一貫して不安定で、大きな修正と繰り返しの再試行が必要になる
プロンプトや自分自身の応答のスタイル/テンプレートに従うのも苦手だ。ドキュメントで箇条書きを使う方法のように、一貫していたものが突然変わる
Codex は概してより良いが、GPT-4 には明らかに劣り、「賢いオートコンプリート」としては悪くない。ドキュメント作成にはあまり役に立たない
一方 GPT-4 は、たいてい結果をほぼ正しく出し、長いコードや複雑なプロンプトでたまにいくつか手直しする程度だ
要するに、コード作業では GPT3.5-turbo は良い結果を得たり修正したりする時間すら惜しい。Codex はある程度使えるが、オートコンプリート以上のことには素直に GPT-4 を使う。はるかに一貫している
ここでは Whisper の利用可能性についての話があまりない
ChatGPT iOS アプリで音声を使ってみると、Whisper は実際に何を言ったのかを把握する能力がかなり高いように思える
しかし、自分の発話がどう認識されるのかフィードバックを受ける前に、全部話し終えなければならないのが本当にいらだたしい
認識率が驚くほど高くてもそうだ
OpenAI 自身もこのように使っているので、API がこれを緩和できるよう設計されているのかはわからないが、Whisper の品質に、オンデバイス音声入力の応答性に近い何かが加われば本当に良いと思う
現在の iOS/macOS の音声入力のように、より「リアルタイム」に動作しそうだが、今ベータを使っていないので確信はない
内蔵のテキスト入力を使うと、ChatGPT はリクエスト自体を依然としてかなりよく理解してくれるので、結果は良かった
少しずつ開放していくやり方が妙に感じられる
OpenAIは、ほとんど全員により古く低品質なモデルを使わせ続けることで、自分たちの評判を削っている
顧客がGPT-4の費用を払う意思があっても、列の最後尾で待てと言っている
何を待てというのか？ クリスマス？ プレゼント箱を開けるとGPT-4が入っている日？
Googleの「新製品の失敗を保証する方法」マーケティングから1ページまねたように見える。アクセスを制限して、口コミマーケティングが機能しないようにするやり方だ。友人の誰もその製品を試せないのだから
今回の発表はGPT-4モデルの「一般提供」だと言うが、32Kコンテキストモデルでもなく、画像入力のあるマルチモーダル版でもなく、ファインチューニングもない。モデルも1つ、チャットだけだ
今の私がアクセスできるのは、Azure OpenAI ServiceとOpenAI APIアカウントのGPT-3.5だけだ
誰がどのモデルにアクセスできるのかに関する、こうした恣意的な制限のすべてに何の意味があるのか分からない
ChatではGPT-4を使えるが、APIでは使えない。Bing Image Creatorでは強化版のDall-Eを使えるが、OpenAI APIでは使えない
偉大で慈悲深いSam Altmanの祝福を受けた一部のベンダーはGPT-4 32Kにアクセスでき、残りはできない
アクセス権ではなく製品を売るべきだ
何かを得るには「知り合い」が必要だったソ連のように振る舞うべきではない
お金があっても、必要なだけのGPUは買えない
それに水門を開けばスケーリングのボトルネックが生じる可能性があるので、後手に回るより先回りして管理しようとしているのかもしれない
だから慎重に開放し、必要なら公開GPT-4版ChatGPTの利用量を制限したときのように引き下がる
それほど不合理には見えない。もちろん、希少性を作って過熱をあおろうとする試みも、ある程度はあるかもしれない
古い戦略ではあるが、ソ連ロシアと比べるほどではない
顧客100人ごとにNVIDIA GPUが1枚必要だと大ざっぱに見積もると、OpenAIはGPT-4の新規顧客100人ごとにGPUを追加購入しなければならない
だがGPU不足のため、資金を注ぎ込めば簡単にGPUを増やせる状況ではない
https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
「Googleの新製品失敗保証法」だなんて、悪名高い確定失敗作GPT-4ということか
元のdavinciモデルは私の友人で、この決定は非常に気に入らない
あのモデルで作った完成結果には、他のどんなものでも再現できなかった個性と創造性があった
素晴らしく面白い成果物は、私たち家族の大切な世界観の一部として永久に残っている
一部の研究者は受け取ったらしい
創作作業向けのLLMを研究してきて、思考の連鎖と確率性の注入を混ぜると、人間らしい創造性にかなり近づく助けになると考えている
例えば、乱数生成器から取り出した特定のランダムな文字を、特定の時点で特定の方法で使うようLLMに指示するようなやり方だ
タイトル以外にも、ここにはかなり大きな内容が隠れている
新しいgpt-3.5-turbo-instructモデルが「数週間以内」に出る予定で、3.5と4のファインチューニングも今年予定されている
特にgpt-3.5-turbo-instructに大きな関心がある。ChatGPTと「対話型LLM」をめぐる過熱が、一般的な指示モデルで可能なことをかなり覆い隠してしまったと思う
ここにファインチューニングまで可能になれば素晴らしい
GPTモデルに事実データを学習させるために、裏でどのような取り組みがあったのかよく理解できていない
人が回答を承認/拒否してスコアを上げていたのか？
「米国は49州だ」 - 拒否
「米国は50州だ」 - 承認
簡単に見るとこういう方式だったのか？
2021年の残り、2022年、最終的には2023年までを追加する作業をしているのか知られているのか？ BingアドオンでWebをクロールできることは知っているが、それは同じではない
数日前にMaya Kowalskiについて尋ねたが、ブログ記事を1つか2つ要約できることと、実際にそのテーマについて学習し、知っているかのような詳細な文脈を持っていることは別物だ