OpenAI、GPT‑Liveを公開
(openai.com)- ChatGPT Voiceをより自然なリアルタイム会話に近づけるため、GPT‑Live‑1とGPT‑Live‑1 miniを公開
- フルデュプレックス構造により、聞くことと話すことを同時に処理し、短い相づち、素早いやり取り、ユーザーが考えている間に待つ動作をサポート
- 従来のカスケード型・ターンベースの音声方式には、遅延、情報損失、不自然な割り込みの問題があり、GPT‑Liveは連続的なインタラクションでこの限界を減らそうとしている
- 検索・推論・複雑な作業は裏側でGPT‑5.5のような最新モデルに委任し、GPT‑Liveはその間も会話を続ける構造
- iOS、Android、ChatGPT.comで展開され、Go・Plus・ProではGPT‑Live‑1、FreeではGPT‑Live‑1 miniがChatGPT Voiceのデフォルトモデルになる
GPT‑Liveが変える音声会話の構造
- GPT‑Liveは、AI音声会話を実際の人同士の会話により近づけるための新世代の音声モデル
- 核心は、会話中に同時に聞き、話せる**フルデュプレックス(full-duplex)**構造
- ユーザーが話している間に「mhmm」「yeah」のような短い反応で、聞いていることを示せる
- 素早いやり取りの会話を処理する
- ユーザーが考える時間を必要とするときは、静かに待てる
- この構造によりChatGPT Voiceはより自然になり、長期的には、より複雑で時間のかかるエージェント型タスクにも音声を付けられるようになる
従来のChatGPT Voice方式の限界
- 初期のChatGPT Voiceのようなカスケード型音声システムは、複数のモデルを順番につなげて1回の発話を処理する
- original ChatGPT Voiceは、音声をテキストに変換するモデル、応答を作る大規模言語モデル、テキストを音声に変換するモデルをつなぎ合わせていた
- frontier AIモデルと音声で会話できるようにしたが、モデル間で情報が失われ、応答が遅くなったり硬くなったりする可能性があった
- ChatGPT Advanced Voice Modeのようなターンベースの音声モデルは、1つのモデル内で音声を処理・生成し、遅延を減らした
- それでもユーザーが話すのをやめてから応答するターン構造で動作する
- ターン検出が沈黙に基づくため、短い間や背景ノイズがターン終了として誤認識されることがある
- その場合、モデルが不自然なタイミングで割り込む可能性がある
連続的なインタラクションとタスク委任
- GPT‑Liveは個別のメッセージを順番に処理する代わりに、入力を継続的に受け取りながら出力を生成する
- モデルは1秒に複数回、インタラクションの判断を行う
- 話すか
- 聞き続けるか
- 少し止まるか
- 割り込むか
- ツールを呼び出すか
- この方式により、より自然なやり取り、より優れた時間感覚、リアルタイム翻訳が可能になる
- 深い作業はGPT‑Liveから切り離して処理する
- 検索、推論、よりエージェント的な機能が必要な質問は、GPT‑5.5のような別のモデルに委任できる
- 複数のタスクが裏側で処理されている間も、GPT‑Liveは会話を続ける
- 最新モデルとエージェントを活用しながら、自然な音声インタラクションを組み合わせる構造
モデルバージョンと展開計画
- OpenAIはGPT‑Live‑1とGPT‑Live‑1 miniの2バージョンを、世界中のChatGPTユーザーに順次展開し始めた
- APIでの提供も予定されており、開発者と企業はformで通知を申し込める
- リリース時点のGPT‑Liveは、バックグラウンドでGPT‑5.5を使用する
- GPT‑Live‑1 instantとGPT‑Live‑1 miniはGPT‑5.5 Instantモデルを使用する
- GPT‑Live‑1 MediumとGPT‑Live‑1 HighはGPT‑5.5 Thinkingモデルを、それぞれmediumおよびhighの推論努力で使用する
- OpenAIは新しいfrontierモデルが登場すれば、GPT‑Liveが使用するバックグラウンドモデルを継続的に更新する計画
評価結果
- OpenAIは、会話の楽しさと流れを測定するための新しい人間評価を作成した
- 5〜10分の調整された会話で、GPT‑Live‑1とGPT‑Live‑1 miniはAdvanced Voice Modeより強く好まれた
- 全体的な好み
- ターンのやり取り
- 割り込み
- 会話の流れ
- インタラクションの自然さ
- GPT‑Live‑1は複数のベンチマークでAdvanced Voice Modeより良い結果を示した
- GPQA: 生物学、化学、物理学全般の専門家レベルの科学推論をテストし、GPT‑Live‑1が大きくリード
- BrowseComp: エージェント型Web検索と見つけにくい情報を探す能力をテストし、GPT‑Live‑1が大きな改善を示した
- τ³-Voice Telecom: 現実的なマルチターンの通信事業者サポートタスクで音声エージェントをテストする内部バリエーションで、GPT‑Live‑1がより良い性能を出した
- τ³-Voice Telecom評価では、最新の推論モデルで駆動するカスタムユーザーモデルを使用する
ChatGPT Voiceで変わる体験
- 毎週1億5,000万人以上が、VoiceやDictationのような機能でChatGPTと会話している
- ユーザーは、ハンズフリーの日常支援、言語練習、寝る前のお話、通勤中の会話などに音声を使っている
- Voiceボタンを押すと、GPT‑Liveベースの体験が適用される
- より自然な会話
- より賢い回答
- より優れた聞き取り
- 視覚的な応答
- ユーザーは質問で割り込んだり、考えを整理するために止まったり、ChatGPTにゆっくり話すよう頼んだりできる
- ChatGPTは「mhmm」「got it」のような反応で、ユーザーの話についていっていることを示せる
- ChatGPTの9つの固有音声は、GPT‑Liveに合わせてリマスターされた
- ユーザーは推論レベルを選択できる
- Instant: 素早い応答
- MediumおよびHigh: ChatGPTにより長く考えさせる
- ChatGPT Voiceは、ユーザーが少し考えているときに割り込まず待てる
- ユーザーが静かに聞いているよう求めれば、その通りに従える
- 通り過ぎる車や周囲の会話のような背景ノイズがあっても、ユーザーの声によりよく集中する
- 天気、株式、スポーツなど一部のトピックは、会話中にリッチなビジュアルカードで表示できる
- Voiceは検索、メモリー、画像、ファイルアップロードを引き続きサポートする
安全策とモニタリング
- GPT‑Liveは最新モデルの安全性改善を基盤とし、音声専用の安全学習と新しい保護策を追加している
- OpenAIは実際の音声利用環境をよりよく反映するため、音声ベースの評価を拡大した
- Advanced Voice Modeで得た知見を基に、生成音声を使う合成評価も作成した
- 自傷
- 精神病症状および躁症状
- AIへの情緒的依存
- 暴力
- 性的コンテンツ
- 内部専門家は、音声に固有のリスクを対象にレッドチームテストを実施した
- テストでGPT‑Liveは、評価したほぼすべての領域でAdvanced Voice Modeと同等またはそれ以上の成果を出した
- 詳細なテストと保護策はGPT‑Liveのsystem cardで確認できる
- 音声会話がリアルタイムで進むため、モデルが話している最中にも作動する保護策が追加された
- 潜在的に安全でない出力を検知すると、より安全な応答へ誘導する
- 追加の安全メッセージやリソースを表示できる
- よりリスクの高い状況では音声会話を終了できる
- 自傷に関する会話には、専門家レビューを経た危機ヘルプライン支援を含め、ChatGPTの支援フローを音声向けに調整した
- ティーンユーザー向けの追加保護も設計された
- 年齢に適した振る舞いをモデルに直接学習させ、不適切な応答リスクを減らす
- 保護者はParental Controlsで、ティーンのChatGPT Voice利用可否を選択できる
- 連携された保護者は、潜在的な自傷や自殺意図の兆候がある高リスク状況で通知を受け取れる
- 情緒的依存に焦点を当てた長期測定とリリース後のモニタリングも行われる
- 以前のaffective use and emotional well-being研究を基盤とする
- 情緒的に敏感なインタラクションで新しいパターンを把握し、応答方法を改善するために使われる
- GPT‑Liveは会話のためのモデルであり、音声なりすまし用ではない
- ChatGPTの事前定義された音声セットを使用する
- 実在人物の声を模倣できないよう保護策を置く
サポート範囲と現在の制約
- GPT‑LiveはiOS、Android、ChatGPT.comで、世界中のChatGPTユーザーに展開中
- GPT‑Live‑1はGo、Plus、ProユーザーのChatGPT Voiceデフォルトモデルになる
- GPT‑Live‑1 miniはFreeユーザーのデフォルトモデルになる
- より詳しい提供範囲はHelp Centerで確認できる
- GPT‑LiveはChatGPTでよく使われる一部の言語に最適化されている
- 一部の言語では、非ネイティブのアクセントや流暢さに不足がある可能性がある
- OpenAIは複数の言語で体験を改善する作業を進めている
- リリース時点では、ChatGPTで音声ベースのビデオや画面共有をサポートしない
- OpenAIはこれらの機能を近く導入するため作業中
- StandardとAdvanced Voice Modeのような従来のChatGPT Voiceバージョンでは、これらの機能を引き続き利用できる
1件のコメント
Hacker Newsの意見
数週間先行で使ってみたけど、かなり良かった。犬の散歩をしながら1時間の会話をして、自分のプロジェクトの1つについてかなり良いブレインストーミングもできた
一番良い機能は、バックグラウンドで質問をGPT-5.5に委譲できる点で、もう最前線より何年も遅れた音声モデルに縛られなくて済むこと
面白いバグも報告した。まだ自分が話している途中なのに割り込んできて、冗談のつもりではなかった発言に笑ったりしていた。幸いその挙動は減ったようで、当時はちょっと失礼で見下された感じがした
使うのは楽しみだけど、Sesameみたいに不気味なくらい過剰演出されたひどいものではないといい。自分が望む方向ではエンゲージメントを大きく引き上げにくいだろうから、結局は偽のAI彼女路線に押し進めていくんじゃないかという予感がある
通勤や運動中にブレインストーミングするとき、ChatGPTの音声モードを使いたかったけど、過去に閉じ込められたような感じのせいであまり使わなくなっていた
質問すると、「興味深い質問ですね。お手伝いできます。Xについて知りたいことはありますか？」みたいに返してきて、聞き直しても同じ種類の無回答しか返ってこない
特にGeminiは毎回変な質問で終わるし、プロンプトでも安定して防げないので、結局STT → モデル → TTSだけを行う自前クライアントを実際のワークフロー用に作ることになった。STTとTTSはそれぞれ独立していても有用だ
モデルが素早く、よりニュアンス豊かに答えることに多少の価値はあるかもしれないが、大きくはない。回答が終わるまで待てるし、むしろ実際に役立つものであってほしい。デジタルの友達を探しているわけではない
委譲機能のおかげで、オーケストレーション的な性格の機能では音声モデルの価値が少し見えるが、コミュニケーション媒体が変わったという理由だけで機能やquirksが異なるモデルと会話しなければならないのはいまひとつで、なぜ好まれているのかもよく分からない
これはAIが進むべき方向の正反対だ。人間関係は私たちが持つ最も価値あるものなのに、技術は自然にその間を媒介し、今や置き換えようとしている
カトリック信者ではないが、AIを人のような対話相手にすることに反対する興味深い議論がこのポッドキャストにある: https://newpolity.com/podcasts-hub/debate-chatbots
人々は人間を助けることだと言うが、私は人間から人間らしさを吸い取っていると見る
被害が出た後で巨大企業は「私たちは事業競争に対応しただけだ」と肩をすくめるだろう。事業は人間ではないので人間らしさを知らない。企業と機械は人間を餌と見る存在で、人間はそれを進歩だと信じて作り出してきた。知的能力を必要とし、他の種を支配するのを助けたから進歩と呼んでいるが、イルカたちは私たちを笑っているだろう
人間の社交や会話を置き換えるAI音声モードのことなら、自分もcringeだと思うし完全に同意する。それはテキストでも音声でも同じだ
でも、ツールとしてのAIとやり取りする代替インターフェースなら、素晴らしい考えだと思う。疲れすぎてタイピングが難しいときや、もっと自由な形でブレインストーミングしたいときに、うまく機能する音声モードがあればよかったと思う瞬間はあった
もちろん、現在のAIを人格のように使うかツールのように使うかの区別は、完全にユーザー側にある。自分は後者を強く望んでいるし、誰かが前者として使いたいならそれは自分の問題ではない。ただ最終的には、この機能はツールとしての利点よりも、平均的な人がどれだけ退行的で還元的な使い方をするかによって評価されてしまいそうで残念だ
人間との相互作用のかなりの部分もテキストで行われている。たとえばこの文章もそうだ
ただ、もっとロボットらしくすべきだという主張も成り立つ。StarTrekのように。正直、仕事にはそのほうが向いているかもしれない。冷たく純粋な効率性だけがある「仕事処理モード」のようなもの
今回の発表で欠けていたのは、コネクタとツール使用の能力です。よく分かりません。Claude、ChatGPT、Gemini、Grok のような最前線のアシスタントのうち、音声モードでツールやコネクタを使えるものが一つもありません。
あまりにも当然に思えるのですが、会話しながら情報を調べ、文書を読み込み、メモを残し、生産的な作業をしたいです。アプリやサービスに接続するたびに音声モードを終えたくありません。
奇妙なのは、以前の Claude の音声モードではツールが使えたのに、再編でその能力を失い、今では Haiku に固定されている点です。
ついに最前線モデルベースで、Grok の音声と同じくらい優れていると期待できる音声モードが出てきたのはうれしいですが、音声モードで依然としてツール使用が見えないのは残念です。
まだ自分では使っておらず、発表を読んだだけです。
Sam の反応は「はい、タイマーのようなツールにはアクセスできません。既知の問題で、およそ1年以内に入るでしょう」でした。
クリップはこちら: https://www.youtube.com/shorts/Py2YgJe8fqQ
ツール使用まで付けて gpt-realtime-2 モデルを試せるように調整してある場所があります: https://sippet.ai/?enabler=hn
ただ、マルチモーダル処理のせいで、おかしなイベントや、メッセージとオーディオシーケンス間の競合状態をデバッグすることが多くありました。それでも全体としてはかなり優秀です。
今日このあとこのモデルに移してみる予定で、結果をまた書きます。
ともあれ、いつでも pi でバイブコーディングして一つ作れます。
多くの AI 機能と同じで、すごい一方で少し不気味でもあります。以前 Siri や Google 系、テレビにあるような 音声インターフェース を使ったことがないので、おそらく自分は対象ユーザーではありませんが、改善には見えます。
不気味な点は、私たちがかつてないほど互いに断絶した時代に生きていることです。本当に会話まで代替しなければならないのでしょうか？ 年配の女性たちが出てくるデモ動画は何かを示唆していて、すでに社会が高齢者をどう扱っているかという問題や、巨大な高齢者の孤独問題があると思います。実際には考えていない機械と人々が本当に親密になっていく姿を想像すると、悲しさがあり、明確な不快感を覚えます。
OpenAI の Atty です。
GPT-Live-1 は新世代モデルの最初のバージョンで、全二重アーキテクチャと委譲機能が人間と AI の相互作用にまったく新しい形を可能にすると考えています。
フィードバックを聞きたいです。
5年後に10代があなたたちのチャットボットとだけ時間を過ごしているという話を聞いたら、どの程度個人的責任を感じるのか、あるいはまったく感じないのか気になります。
そう言うと一般のクライアントにもその機能がないと誤解されかねないので、misleading です。
これを見て ChatGPT をまた購読してしまうかもしれなくて腹が立ちます。LLM 以前なら、自分が 音声機能 をこんなに使うようになるとは信じなかったでしょうが、現時点で ChatGPT がいちばん良い音声インターフェースを持っています。
Grok のインターフェースがその次で、その次が Claude だと思います。
お気に入りのユースケースの一つは、運転しながらランダムな話題について会話して学ぶことです。
以前よりはずっと良くなりましたが、それでも直接チャットよりかなり弱いです。
たとえば「ベクトルの大きさは有用な情報の大半をエンコードしていないとよく言われるのに、なぜ LLM のアテンションはコサイン類似度ではなく 内積 を使うべきなのか？」と尋ねました。
音声での回答は方向性は合っていましたが、細部が不足していて、少しごまかしている感じでした。
同じ質問に対するテキストチャットの回答は、はるかに品質が高かったです。
音声応答では「考えてみます…」と言っていたので、宣伝どおり 5.5 を呼んでいるようですが、明らかに弱いです。
両方とも推論設定は同じにしていました。
なのでテキストが多いなら、画面に表示するほうがよいです。
そんな会話はかなり気まずくなるでしょう。
PersonaPlex以外に公開されているオープンソースの全二重モデルがあるのか気になる。中国系の公開モデルの中で、Fun Audio chatに似た名前のモデルが全二重版を出すと言っていた気がするが、実際に出たのかは分からない。
私の夢は、関数呼び出しかごく基本的なテキスト出力を備えたオープンソースの全二重モデルだ。PersonaPlexも依然として興味深いが、出力処理を扱ったり簡単に暴走しないようにしたりするには、ファインチューニングが必要そうに見えた。
https://si.inc/posts/hertz-dev/
8.5Bしかなく、完全に会話型のようには聞こえない。
今は全部iMessageでやっているが、キッチンで手がふさがっているときに、音声で買い物リストに品物を追加するよう言えたらいいと思う。マイクやスピーカーに何を選ぶとよいかの助言もあるとうれしいし、頭脳のほうは手元に転がっているRaspberry Piを再利用するつもりだ。
Gemini liveは、すでに1年以上前からこれができていた。スマホでそのまま起動すると実際に驚くほどよく動き、特に割り込み処理が優れている。
95歳のオランダ人の祖母で試してみたが、英語とオランダ語を滑らかに行き来し、聴力があまり良くない点もうまく扱い、繰り返しの依頼にもきちんと応じていた。
OpenAIがここでこうして追いつこうとしているのは少し意外だ。
スマホを三脚に立てておけば、修理全体をステップごとに案内してくれる。
このモデルが特別なのは、会話しながら作業を最先端モデルに委任できる点にある。
最悪のシナリオは、人々が常に同意してくれるAIと会話することに慣れすぎて、自分と異なる視点を持つ相手や、自尊心をなでてくれない反応を返す相手と会話する能力を失うことだ。