OpenAI DevDay: 新モデルと開発者向け製品
(openai.com)- OpenAIはDevDayで、APIプラットフォームの中核モデルを GPT‑4 Turbo へ拡張し、Assistants APIやマルチモーダル機能、価格引き下げもあわせて発表し、開発者向け製品群を大幅に拡充した
- 128Kコンテキスト と2023年4月までの知識を備えたGPT‑4 Turboは、GPT‑4より入力トークンが3分の1、出力トークンが2分の1の価格で提供される
- 新しい Assistants API は、Code Interpreter、Retrieval、関数呼び出し、長さ制限のない永続スレッドをまとめ、アプリ内で目的指向のAI assistantを構築できるようにする
- APIには ビジョン入力、DALL·E 3、テキスト読み上げ（TTS）が追加され、GPT‑3.5 Turboは標準で16Kコンテキスト、JSON mode、並列関数呼び出しをサポートする
- 有料GPT‑4顧客の1分あたりトークン上限は2倍に拡大され、Copyright ShieldはChatGPT Enterpriseと開発者プラットフォームの一般提供機能に対する著作権侵害請求の防御と費用負担を提供する
GPT‑4 TurboとGPT‑3.5 Turboのアップデート
- GPT‑4 Turbo はGPT‑4の次世代モデルpreviewとして公開された
- すべての有料開発者はAPIで
gpt-4-1106-previewを指定して利用できる - 安定した本番利用向けモデルは数週間以内に公開される予定
- 128Kコンテキストウィンドウにより、単一のプロンプトに300ページ超に相当するテキストを入力できる
- 世界知識は2023年4月まで含む
- すべての有料開発者はAPIで
- 価格はGPT‑4より低い
- GPT‑4 Turbo入力トークン: $0.01/1,000 tokens
- GPT‑4 Turbo出力トークン: $0.03/1,000 tokens
- 入力はGPT‑4より3倍、出力は2倍安い
- 関数呼び出し(function calling) は1つのメッセージ内で複数の関数を呼び出せるようになった
- たとえば「車の窓を開けてエアコンを切って」といったリクエストは、以前のように複数回のやり取りをせず、単一メッセージで処理できる
- GPT‑4 Turboは正しい関数パラメータを返す可能性がより高くなった
- JSON mode はモデル応答を有効なJSONに制限する
- 新しいAPIパラメータ
response_formatにより、文法的に正しいJSONオブジェクトの生成を強制できる - 関数呼び出し以外でChat Completions APIを使ってJSONを生成する開発者に有用
- GPT‑4 Turboは「常にXMLで応答」のような特定形式の指示に従うタスクで従来モデルより性能が向上している
- 新しいAPIパラメータ
- 再現可能な出力と対数確率も追加された
seedパラメータは多くの場合で一貫したcompletionを返し、再現可能な出力 をサポートする- リクエスト再生デバッグ、より包括的な単体テスト、モデル動作の制御に活用できる
- GPT‑4 TurboとGPT‑3.5 Turboの最も確率の高い出力トークンに対する 対数確率 の返却機能は数週間以内に公開予定
- 検索体験のオートコンプリートのような機能を作る際に有用
- 新しい GPT‑3.5 Turbo は標準で16Kコンテキストウィンドウをサポートする
- APIでは
gpt-3.5-turbo-1106で利用可能 - 指示追従の改善、JSON mode、並列関数呼び出しをサポートする
- 社内評価ではJSON、XML、YAML生成のような形式順守タスクが38%改善した
- 既存の
gpt-3.5-turbo-0613モデルは2024年6月13日まで引き続き利用可能 gpt-3.5-turbo名を使うアプリケーションの自動アップグレードは今後行われない
- APIでは
Assistants API、Retrieval、Code Interpreter
- Assistants API は、開発者がアプリケーション内で エージェント型体験 を作れるようにする第一歩として公開された
- assistantは特定の指示を持ち、追加知識を活用し、モデルとツールを呼び出して作業を行う目的指向のAI
- 自然言語ベースのデータ分析アプリ、コーディングassistant、AI旅行プランナー、音声操作DJ、スマート視覚キャンバスのようなユースケースを想定している
- OpenAIの新しいGPTs製品を実現するcustom instructions、Code Interpreter、Retrieval、関数呼び出しなどの機能の上に構築されている
- 中核となる変化は 永続的で長さ制限のないスレッド
- 開発者はスレッドの状態管理をOpenAIに任せられる
- コンテキストウィンドウの制約を回避するため、既存の
threadに新しいメッセージを追加する方式で動作する
- Assistants APIは複数のツールを呼び出せる
- Code Interpreter: サンドボックス実行環境でPythonコードを記述・実行し、グラフやチャートを生成し、さまざまなデータや形式のファイルを処理する
- Retrieval: 独自ドメインデータ、製品情報、ユーザー提供文書のようなモデル外部の知識でassistantを強化する
- Retrievalを使えば、開発者が文書埋め込み保存、chunking、検索アルゴリズムを自前で実装する必要がない
- Function calling: 開発者が定義した関数をassistantが呼び出し、関数応答をメッセージに反映できる
- APIに渡されたデータとファイルはOpenAIのモデル学習には使われず、開発者が適切と判断した時点で削除できる
- Assistants APIはbetaとしてすべての開発者に提供され、コードなしで Assistants playground から試せる
- Assistants APIとツールの価格はOpenAIの価格ページで案内されている
APIに追加されたビジョン・画像・音声機能
- GPT‑4 Turbo with vision はChat Completions APIで画像を入力として受け取れる
- キャプション生成、実画像の詳細分析、図を含む文書の読解といったユースケースをサポートする
- BeMyEyesはこの技術を、視覚障害者やロービジョン利用者の日常作業支援として、製品識別や店舗内移動などに活用している
- 開発者は
gpt-4-vision-previewで利用できる - ビジョン対応は安定版リリースの一部としてメインのGPT‑4 Turboモデルに含まれる予定
- 価格は入力画像サイズによって異なり、1080×1080画像1枚をGPT‑4 Turboに渡すコストは$0.00765
- DALL·E 3 はImages APIで
dall-e-3モデルを指定し、アプリや製品に統合できる- Snap、Coca-Cola、Shutterstockは、顧客向け画像やキャンペーン用デザインをプログラム経由で生成するためにDALL·E 3を利用している
- 以前のDALL·Eバージョンと同様、APIには不正利用防止を助ける組み込みmoderationが含まれる
- 形式と品質のオプションが提供され、価格は生成画像1枚あたり$0.04から
- テキスト読み上げ（TTS） APIは、テキストから人間レベルの音声を生成する
- 新しいTTSモデルは6つのpreset voiceを提供する
- モデルのバリエーションは
tts-1とtts-1-hdの2種類 tts-1はリアルタイム用途向け、tts-1-hdは品質最適化向け- 価格は入力1,000文字あたり$0.015から
モデルのカスタマイズ
- OpenAIは GPT‑4 fine-tuning の実験的アクセスプログラムを準備している
- 予備結果では、GPT‑4 fine-tuningはGPT‑3.5 fine-tuningで得られた大きな改善幅とは異なり、base modelに対して意味のある改善を得るためにより多くの作業を必要とする
- GPT‑4 fine-tuningの品質と安全性が改善されれば、GPT‑3.5 fine-tuningを積極的に利用している開発者はfine-tuning consoleでGPT‑4プログラム申請オプションを受け取る
- Custom Models program は、fine-tuningよりさらに大きなカスタマイズが必要な組織を対象とする
- 特に数十億トークン規模以上の非常に大きな独自データセットを持つドメインに適用される
- 選定された組織はOpenAI研究者の専任グループとともに、特定ドメイン向けcustom GPT‑4を訓練できる
- 追加のドメイン特化pre-trainingから、特定ドメイン向けcustom RL post-trainingまで、モデル学習プロセスの全段階を変更できる
- 組織は自分たちのcustom modelに排他的にアクセスする
- custom modelは他の顧客に提供・共有されず、他モデルの学習にも使用されない
- custom model学習のために提供された独自データは、他の文脈で再利用されない
- 当初は非常に限定的で高コストなプログラムとして始まる
価格引き下げとレート制限拡大
- OpenAIはプラットフォームの複数領域で価格を引き下げた
- すべての価格は 1,000 tokens基準
- GPT‑4 Turboの価格
- GPT‑4 8K: 入力 $0.03、出力 $0.06
- GPT‑4 32K: 入力 $0.06、出力 $0.12
- GPT‑4 Turbo 128K: 入力 $0.01、出力 $0.03
- GPT‑3.5 Turboの価格
- 従来のGPT‑3.5 Turbo 4K: 入力 $0.0015、出力 $0.002
- 従来のGPT‑3.5 Turbo 16K: 入力 $0.003、出力 $0.004
- 新しいGPT‑3.5 Turbo 16K: 入力 $0.001、出力 $0.002
- 新価格はこの日発表された新しいGPT‑3.5 Turboにのみ適用される
- 既存のGPT‑3.5 Turbo 4K利用者は入力トークン価格が33%下がる
- GPT‑3.5 Turbo fine-tuningの価格
- 従来のGPT‑3.5 Turbo 4K fine-tuning: 学習 $0.008、入力 $0.012、出力 $0.016
- 新しいGPT‑3.5 Turbo 4K・16K fine-tuning: 学習 $0.008、入力 $0.003、出力 $0.006
- 入力トークンは4倍、出力トークンは2.7倍安くなる
- 新しいGPT‑3.5 Turboモデルでは、4Kと同じ価格で16Kコンテキストfine-tuningをサポートする
- 新価格はfine-tuned
gpt-3.5-turbo-0613モデルにも適用される
- rate limit も拡大される
- すべての有料GPT‑4顧客の1分あたりトークン上限が2倍に増える
- 新しいrate limitはrate limit pageで確認できる
- 自動rate limit引き上げを決めるusage tiersが公開された
- アカウント設定から利用上限の引き上げを申請できる
Copyright Shieldとオープンソースリリース
- Copyright Shield は、顧客が著作権侵害に関する法的請求を受けた場合、OpenAIが防御にあたり、発生費用を負担する制度
- 対象はChatGPT Enterpriseと開発者プラットフォームの一般提供機能
- OpenAIは、システムに組み込まれた著作権保護機能で顧客を守るという立場を維持している
- Whisper large-v3 が公開された
- OpenAIのオープンソース自動音声認識モデルASRの次バージョン
- 複数言語で性能が改善している
- OpenAIは近い将来、Whisper v3をAPIでサポートする予定
- Consistency Decoder もオープンソースとして公開された
- Stable Diffusion VAE decoderのdrop-in replacement
- Stable Diffusion 1.0+ VAEと互換性のあるすべての画像を改善する
- テキスト、顔、直線で大きな改善をもたらす
1件のコメント
Hacker Newsの意見
発表された製品の大半と値下げは、OpenAI APIプラットフォームへの依存を強めようとする方向に近く見え、競争が激しくなっている状況を考えれば驚くことではない
特にGPTs/GPT AgentsとAssistantsのデモは、他所へ移せないブラックボックスの中のブラックボックスのように見えた
発表への評価は割れており、たった今更新されたAPIドキュメントの詳細をもっと見る必要がありそうだ: https://platform.openai.com/docs/api-reference
価格ページも更新された: https://openai.com/pricing
特にDALL-E 3 APIは画像1枚あたり$0.04で、この分野の他サービスより1桁ほど高い
キーノートで触れられなかった新しい価格体系の興味深い点は、ファインチューニングしたChatGPT 3.5が、今や標準のChatGPT 3.5の3倍のコストまで下がったことだ。以前の8倍から下がり、ファインチューニングがより説得力のある選択肢になった
自分で調べた限り、自分のLLMを完全に所有する最も現実的なエンドツーエンド構成は、民生用マザーボードに3090を数枚挿して24時間365日回すことくらいだが、運用コストがかなりかかるうえ性能も十分ではなく、それでもかなり高い
もう少し出せば128GB/192GBのApple Silicon構成を買って品質と運用コストを改善できるが、それでもOpenAIの「Turbo」サービスよりはるかにはるかに遅い
OpenAIから離れたくなった最大の理由は、チャット体験のほうがAPIよりずっと補助金で押し上げられているように感じられたことだったが、今回の発表でそのギャップはかなり埋まったようだ
要するにOpenAIは魅力的すぎる条件を出していて無視しづらく、これは大規模な補助金が入ったサービスだ。後の移行コストが今得られる利益を上回るとは思えない
新たな規制でもない限り、特定のユースケースでAnthropicを効果的に使う方法を学ぶコスト以外に、OpenAIからAnthropicのようなところへ移るのを妨げるものが何なのか分からない
OpenAIがデータベースからデータを抜き出すための別個のエクスポートフィードのようなものを持っているわけでもない
OpenAI管理画面の新しいThreadsインターフェースは、入力と出力をどう解釈しているかを正確に示し、ブラックボックス性を減らそうとしている
出典: https://platform.openai.com/docs/api-reference/runs/listRunS... を見ると、チェーンがどの段階を踏むのか正確に分かる。以前より可視性が高くなっている
Claudeは2回に1回くらい倫理の説教を始めるのでそのたびにコストがかかり、製品に埋め込みたいと思いにくくなる
2022年11月29日、WikipediaによればChatGPT公開前日から社会との接触がなく、今日戻ってきてOpenAIのキーノートを見たなら正気を失っていただろう
これらの製品の進歩の速さと有用性には本当に驚かされる
ちょうど The Singularity is Near を2回目読み終えたところでもあった
Code Interpreterとfunction callingは、指示に十分よく従って厳密にパース可能な形式でトークンを出力できる高性能LLMなら、すでに可能だった。出力をパーサーに通し、その結果を再びLLMに入れればよかった。ChatGPTのようなオンラインAPIでやるには不格好だったが、十分可能だった
カスタムチャットボットも以前から簡単に作れたし、Poe.comのような制作サービスもすでにあった
JSON出力も、トークン確率を出せて指示によく従うAIと、スキーマに合うJSONになるようトークンを選ぶスキーマバリデーターさえあればよい
GPT-4 128kは革命的に見えるが、Claude 100kはすでにあったし、LLMの評価はコンテキストサイズに対して二乗で増えるので、おそらくコンテキスト拡張のために何らかの工夫を使っている可能性が高い。「完全な」トークンではない気がする。間違っていたら喜んで認める
大きなコンテキストは有用だが、コーディングでは特定シンボルについて2〜3段階再帰的に「定義へ移動」した結果をコンテキストに埋める形で正しい文脈を与えれば、8kコンテキストでもある程度は可能だ
DALL-E 3が最も革新的に見えるが、使ってみるとSDより構図能力は大きく向上していても、なお破綻することがある
全体として今日の発表は、昨年の爆発的なブレークスルーの上に積み重ねられた磨き込みと洗練に近い印象だ
「ああ、また5分使って終わるチャットボット流行りか」と思ったが、完全に間違っていた
Whisper V3が出た: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
largeモデルの新しいチェックポイントのようだ。小さいモデル群も更新されるとよいが、Whisper V2を使っているものには統合しやすそう
自分のローカル音声AIにも追加するつもりなので楽しみ: https://www.microsoft.com/store/apps/9NC624PBFGB7
ChatGPT音声はすでにWhisper V3を使っていた気がするが、相変わらず典型的なWhisperの幻覚である「Thank you for watching!」が見られた。革命的な変化というよりは段階的な改善に見える
学習データには字幕付きの動画が多かったが、一部の動画/音声は途中で切れていて、字幕には最後の決まり文句がそのまま残っていたため、いまや無音をテレビ番組の締めのあいさつのように認識しているのではないかと思う
個人的には、今の音声のボトルネックはその周辺インフラだ。発話の開始と終了をどう検出するか、音や音声を再生しながらもユーザーが話す準備をどう維持するか、といった点だ
どれも不可欠な要素だが、全体としてうまく機能しておらず、ハードウェア/ソフトウェア統合が本当に必要だ
128,000トークンのコンテキスト、Assistants API、JSONモード、2023年4月時点の知識、GPT-4 Turbo、より低価格、カスタムGPTsまで、全体的に発表はかなり多かった
https://openai.com/pricing
いまや [1] カスタムgpt-nモデルの事前学習 に200万〜300万ドルを払える。あまり注目されていないが、かなりクールに見える
スタートアップがそのくらいの金額を出せるなら、確かに競争優位を与えると思う
[1] https://openai.com/form/custom-models
リンクを忘れていたので追加
約300万ドルでも魅力的な選択肢になりそうだ
だが、他の顧客のためにgpt-nモデルを事前学習する OpenAIの中間業者 なら、OpenAIが最終的にあなたを迂回しないと、なぜ思えるのか分からない
APIやプラットフォームの上に築かれたスタートアップを見れば、成功例1つにつき、APIやプラットフォームのルール変更によって生まれた墓場が山ほどある
コメント欄の懐疑的な人たちに言うと、みんなが認めたがらない部屋の中の象は、GPT-4が依然として他のすべてよりはるかに優れている という事実だ
平均的にはより良いのかもしれないが、すべての作業でより良いとは思わない
他のモデルもこれから改善し続けるだろう
クラウドソーシング学習はいまだに実現不可能なのか？
拡散モデルの世界が最初の1年でどれだけ速く動いていたかを覚えているが、Midjourneyに続くDALL-E 3との比較では、やや停滞しているように見える。テキストモデルも同じ状況なのか？
OpenAIが従っているプレイブックは AWS に似ている。テキスト生成、画像生成のようなプリミティブな機能から始め、EC2、S3、RDSのように基盤を作り、その上にAssistants APIのような付加価値サービスを積み上げるやり方だ
この点では、AWSや他の競合よりもはるかに先行している
AWSは実質的に7年間競争がなく、現在の他の大手クラウドはみな現実を直視していなかった
OpenAIにはすでに競合が多い。今はランキングで見劣りするかもしれないが、何年もこの分野を無視した末に後追いで追いつく、という状況ではない
このようなツールを使ってみた経験からすると、コードベースの保守にも役立ったのか気になる。直接的にであれ、より読みやすく整理されたコードを通じて間接的にであれ。
こうしたツールは新しいコードを書くのには非常に優れているように見える。私の経験では、1人の開発者が保守できるコード量には上限がある。結局、すべてを頭の中に保持できなくなり、何かを理解するために立ち止まらなければならず、そのせいで保守はさらに難しくなる。
こうしたツールがより多くのコードを書く助けにはなっても、保守には役立たないのだとしたら、新しいコードが大量に非常に速く書かれたあとで、誰もその中身を深く理解できず、すべてが止まってしまう状況が来るのではないかと気になる。
https://github.com/paul-gauthier/aider
リポジトリ全体のコードの抽象構文木を解析して「リポジトリマップ」を作り、これによってGPTがより大きなコードベースを理解できるよう支援している。
これはすべて tree-sitter で作られており、GitHubや多くの人気IDEのコード検索やナビゲーションを支えているのと同じツールだ。
https://aider.chat/docs/repomap.html
消費者はおそらくすぐに気づくだろうし、B2Bの側は数年間はだまされるかもしれないが、最終的には離れて、シニア人材を雇う、より品質の高い伝統的な競合へ移る可能性もある。
ただし、一貫したコードベースを育てて保守するのに長けたモデルが登場する可能性はある。今の地点から見ても、不可能な課題には思えない。ただ、指摘の通り、まだかなり先の話だ。
第一に、従来型のソフトウェアエンジニアの時代は終わり、デバッガの時代が来るかもしれない。人間のデバッガが一日中ブレークポイントを設定し、LLMが作ったコードの海の中からバグを見つけ出す、という形だ。
第二に、採用はLeetcodeの問題から、「デバッガを取り出して、このコードのどこが間違っているか見つけてください」へと変わるだろう。
より大きな文脈とは、潜在的にはコードベース全体を投入できるという意味だ。たいていの人は、小さなコードベースの詳細ですら頭の中に保ち続けるのが難しい。
次の段階はツールとより深く統合し、何を変更してもテストが通り、コードがコンパイルされることを保証することだ。テストを書くことも、このツールができることの1つだ。
だから、本来なら経済的に扱いづらいレガシーコードベースを AI支援で救うこと が可能になるかもしれない。
今後数年間で、AI支援による開発者の生産性は大きく伸びると予想している。個人的には、静的型付け言語のほうがよりうまく機能しそうだ。ツール側にとって推論がずっと容易だからだ。
https://ai.stepci.com
「今後数週間以内に、GPT-4 Turbo と GPT-3.5 Turbo が生成した最も可能性の高い出力トークンの 対数確率 を返す機能もリリースする予定で、これは検索体験におけるオートコンプリートのような機能を作るのに役立つでしょう。」
これはかなり驚きだ。GPT-4の出力で学習してモデルの能力を盗むだけでなく、本格的な ロジット知識蒸留 を人々が行うことを心配していないのだろうか？
そもそもロジットへのアクセスを防いでいた理由はそれだと、みんな思っていた。
「最も可能性の高い」というのは文字通りほんの数個のトークンなのかもしれないし、全体分布に占める割合としてはごくわずかしかカバーしないのかもしれない。
おそらく、その判断は正しいのかもしれない。