Gemini「アヒル」デモ、リアルタイムでも音声でも進行していなかった
(twitter.com/parmy)- Googleの印象的な Gemini アヒルデモ は、公開動画が示唆していたものとは異なり、リアルタイムの対話や音声入力で実行されたものではなかった
- モデルには動画そのものを処理させたのではなく、場面から抽出した 静止画像 が提供されていた
- 人間のプロンプトが併用され、動画内の 音声ナレーション は後から追加されたと広報担当者が明らかにした
- 実際の進行方法は、最終動画で見える リアルタイム・音声インタラクション とは差がある
- Geminiデモを評価する際は、演出された動画とモデルに実際に与えられた入力を区別する必要がある
Gemini アヒルデモの実際の進行方法
- アヒルが登場するGoogleのGeminiデモは、リアルタイムで進行したものではなかった
- モデルは動画を直接リアルタイム処理せず、動画の場面から取り出した 静止画像 を入力として受け取っていた
- 人間のプロンプトがモデルに提供され、そのプロンプトの ナレーションは事後的に追加 された
- この進行方法は広報担当者を通じて明らかになった
関連リンク
- 詳細はBloomberg Opinionの記事へ: bloomberg.com/opinion/articl…
1件のコメント
Hacker News のコメント
大学でこういうことをやったことがある
最初のコンピュータサイエンスの授業で Raspberry Pi を受け取り、コーディング経験も指示もないまま「何か」を作れという課題だった。提出物はコードではなく、動作デモだけだった
私たち3人は湿度センサーを買って Pi に接続し、橋の下に設置して洪水直前に関係者へメールを送る洪水検知システムを作ると言った
実際のデモでは、教室の後ろで Gmail を開いていた友人が「洪水警告」メールを送る準備をしていて、スクリプトは単に
waitの合間に文を出力するだけだった。「水分待機中」と出力した3秒後に「水分検知」と表示する間にセンサーを水の入ったカップに浸し、続いて「xxx@yyy.com へメール送信中」と出力されると後ろの友人が送信を押してメールが届き、満点をもらった大きなプロジェクトがまだ準備できていなくても、顧客が一部だけでも完成したように見たいと思うことがあり、ユーザーから見えない作業が90%だという点を理解しないまま完成状態を期待する
ダミーの HMI をセットアップしてデモ中に誰かがボタンを押し、隣の部屋では別の人が出力と入力を手動で操作して、実際に動いているように見せることはかなりよくある
途中で手元にあった GPS 受信機を全部壊してしまったのだが、その RS-232 GPS モジュールのモデルは本当に脆かった。だから実際のリアルタイムナビゲーションをデモできず、そもそも完成度もまだ低かった
それでも GUI は仕上げたうえで「ナビゲーション中はこう見える」と装い、ナビゲーションコードは実際には走らせなかった。成績に反映される活動ではなかったが、今でも少し後ろめたい
これは本当に変だ。Google はこれらすべてのモデルの基盤であるトランスフォーマーを発明したのに、どうしてこうも失敗し続けられるのか分からない
Google Docs は2006年に登場したが、Microsoft に昼食を横取りされている。Google は VM をその場で切り替える機能と完全自動化されたデータセンターを作ったが、クラウドでは Amazon と Microsoft が先行している。自動運転も誰より長くやってきたのに Tesla が追いつき、おそらく勝つ可能性が高い
失敗の規模がものすごい
名前は違っていて SharePoint ではなかったと思うし、経費報告書のようなものに関係していた気がする。今の Google Docs ですら恥ずかしくなるほどだったが、自社製品を食いたくなかったのだ
製品には献身と反復作業が必要で、最後の**10%**が最も重要だ。ところが Google は製品をゴールラインの向こうまで押し切ることを拒み続け、諦めて悪名高い Google Product Graveyard に追加する
正直、何の意味があるのかと思う。中核の検索/広告だけ維持して、めちゃくちゃな面接プロセスをくぐって入ってきた高給エンジニア数万人に何十億ドルも使わなくて済む
生成AIの基礎研究を支配しながら、消費者向け製品で正面から転ぶのは、Stadia、GMail/Inbox、17個のチャットアプリを作った会社らしい流れだ
Google が自力でまともな製品をリリースしたのは Gmail 以降ほとんどなく、Gmail でさえ検索独占を無料の広告板のように使って成長させた
「Google Docs は、2005年8月にソフトウェア会社 Upstartle がリリースした Web ベースのワードプロセッサ Writely に端を発する」という内容もある
Google が常に気にかけてきたのは、何十億ものユーザーにアプリケーションを届けることだった
いま Google が世界で最も収益性の高い AI 企業だという点も忘れられている。すべての製品が機械学習と AI を使っている
では誰が負けているのか？ Gemini の目標は、Bard があるにもかかわらず ChatGPT のようなチャットボットを作ることではなく、10億ユーザー規模の製品10個に統合することだ
Gemini の Web ページとコンテンツ全体が妙に感じられた。Apple のマーケティング資料のように見せ、感じさせようとして不気味の谷に入り込んだ感じだった
大げさな文句、外科手術のように精密に合わせた人種/ジェンダーの多様性、不要なアニメーション、CEO の営業口調の発表まで、この分野の小さなプレイヤーが大きなプレイヤーのように見せようとしているようだった
Apple のキーノートは、不気味の谷を抜け出したばかりのロボットたちが人間のふりをしているように見える。5年後のキーノートが AI で作られるならこういう姿かもしれないので、Apple はキーノートのトレンドでも常に先を行っているわけだ
Google は自分たちが同じ土俵に立っているように見せたがっているようだ
マーケティングで多様性を使う理由は、狙う市場自体が多様だからだ。ただ、それが「外科手術のように精密」だというのが何を意味するのかはよく分からない
Sundar が、真偽が分かれ得る事実をモデルに大量に語らせるようプロンプトを入れていたのは、大きな危険信号だった
公開されたベンチマークの数値を見ると、ほとんどは僅差の改善で、つまりハルシネーション問題は解決していないということだ。ところがデモでは、まるで解決済みのように見えた。結局、モデルがたまたま正しかったり、一貫した情報を話したりした例を主に選んだのだと思う
能力を誇張してはいたが、複数のモダリティにまたがって実際に観察されそうな現象について一貫した概念へ収束するには、マルチモーダルモデルが必要になりそうではある。良い進展ではあるが、今度は特定の構造が実際に因果性をモデル化していることを説得力をもって示す必要がある
「熱い空気の袋が低い気圧を作り、それで飛行機が失速したと考えますか？」といった具合で、質問自体もあまりに不自然で、まともに言うのも難しそうだった。本当に気まずかった
[1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
実際に使ってみれば簡単に理解できる。自己回帰的な性質のため、LLM は答える前に内部で一貫したモデルを作ることができない。思考の連鎖のようなアプローチはあるが、その場しのぎにすぎず、問題を表面的に扱っているだけだ
もし解決可能なら、非常に基礎的かつ根本的な科学的重要性を持つことであり、AI におけるもう一つの小さなブレークスルーになると思う
入力シーケンスの後に、最もそれらしいと感じる出力シーケンスを吐き出しているだけだ。「最もそれらしい」をどう定義するかは多くの研究対象だが、事実としての正確性に最適化するのはまったく別の話だ
コーディング問題のように、特定の場合には賢く見えることがある。特定のプロンプトに対しては、インターネット上のテキストのおおまかな合意がかなり事実に近く、素人のゴミコンテンツによる汚染が少ないからだ。一般的なふわっとした「コンテンツ」生成も得意だが、その価値が何なのかは分からない
結局、返ってくる情報の品質は入念な Google 検索の品質を上回るものではなく、ただより速く、簡潔で、見栄えよく整理された答えをくれるだけだ
だまされた。モデルのリリース発表には、動画と音声のマルチモーダル入力を受け取れると書かれていた
編集やカットが多いことは分かっていたが、実際に動画と音声入力の事例を見ているのだと信じていた。テキストと静止画像から「目と耳」へ進むのは大きな飛躍なので、完全に感嘆していた。楽器を描くと音楽が生成される部分もあり、特化モデルのように言語プロンプトで音楽を作るモデルを見ているのだと思っていた
ところが全部偽物だった。選別されたプロンプトエンジニアリング例を集め、株主の興奮を最大化するように脚色したものだった。音楽の例は、動画で聞いた音楽を生成したのではなく、曲の説明を出力しただけだった
「こういうことが可能になり得る」という誇張動画と、新しいマルチモーダルモデルが最高だと主張しながらベンチマークを操作し、デモで欺くことはまったく違う
Google は邪悪な段階に入ったように見える。OpenAI と Microsoft はかなりほくそ笑んでいそうだ
まだ到達してはいないがその方向へ進んでいることを明確にしつつ製品の未来を見せる将来志向のデモ、あるいは現在の機能が最もよく見えるようにスクリプト化・編集されたデモは標準的な慣行であり、受け入れられる
だが Google がやったことは単に間違っていた。これについて反発を受けても当然だ
投資家たちはだまされたがっているようにも見える。デューデリジェンスの余地はなく、嘘を聞かされながらも Taylor Swift ファンのように興奮して悲鳴を上げている
こうした大企業は、可能な限り長く、可能な限り多く、逃げ切れるだけ逃げ切る。まるで私たちがすべきことは、彼らがいつか「邪悪ではない段階」を施してくれるのを待つだけだというニュアンスだが、実際には過去30年にわたって体系的に解体されてきた反トラスト規制を復元する必要がある
動画のデータ量は膨大なので、毎秒1フレーム程度を抽出して画像として処理しつつ、最初の入力は動画全体として受け取るような形だろうと予想していた
分かってみれば、それですらなかった
株主を満足させるためにこうした誇張動画を作るのは、研究部門への信頼を失わせる。BERT を発表したときは、こういうことはしていなかったと思う
T9の時代からSwype入力を使ってきた
QWERTYキーボードに慣れている人に、私が日常で使っているやり方そのままでSwype入力を実演したら、誰も採用しないだろう
間違った単語だと推測されたり、修正が必要になったりする割合はたぶん10〜20%はある。だが直すのが簡単なので問題にはならず、まったく遅くならない。いくつかあるテキスト入力方式の中では個人的に最も良いが、使い方を身につけるには時間がかかる
あらゆる製品がこういうものだと思う。100時間かけて習慣化し、エッジケースに合わせて補正したあとで、実際にどう動くのかをそのまま見せたら、誰も何も採用しないだろう
どちらも悪いので、解決策はよく分からない
追記: スマートフォンでSwypeを使って書いているので、この文脈に合わせてタイプミスはそのままにしておく
Swypeキーボードのデモに、誤り修正のためのテレパシーによる精神操作が入っているようなものだ
残念ながらiOSのテキスト編集も完全に役に立たない。奇妙な選択範囲を強制し、修正したテキストを不自然な形で挿入する
私はQWERTYで文字を打つが、iOSのテキスト入力は完全な災厄で、時間がたつほど悪化してきた
Swypeでは、正しい出力がどのようなものかをすでに知っている。出力が望んだものと違えばすぐに気づいて直せる
LLMに質問するときは、必ずしも正解を知っているわけではない。出力が十分に自信ありげに見えると、人々はそれを真実として受け入れる。実験やテストを除けば、人々はすでに正解を知っている質問をLLMに尋ねているわけではない
手書き認識がキーボードを置き換えられなかった主な理由もこれだ。手書きがテキストに変換されたあとでは、ポインターとキーボードで誤りを直すほうが簡単だ。何度か繰り返すと、ほとんどの人は「最初からポインターとキーボードで始めて時間を節約しよう」と考えるようになる
そうなると、生成AIの出力で誤りを見つけて直すことがどれだけ簡単かが問題になる。残念ながら、答えをすでに知っている場合でなければ、誤りを見抜くのは非常に難しいことがある
Swypeキーボードは習得に練習が必要だが、そうした入力方式のデモは、たとえ実演者が「専門家」だとしても、たいてい現実的な使い方を見せる
こういうデモは、人々に製品が実際に何をできるのか誤解させ、結局は避けられない冷笑的な反発を大きくする。製品が本当に優れているなら、現実的な機能デモだけでも人々は分かるはずだ
TwitterにリンクされていたBloombergのページは今は削除されている。[1] 代替ページは[2]で、新しいページには一部が偽物だったと書かれている。古いページはアーカイブで見つけられなかった
[1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
[2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
これは、本物の動画、音声、画像、企業のマーケティングに対する信頼を疑うべきで、検証前には生成されたものだと仮定すべきだという、良い例のように思う
音声、メール、チャット、もうすぐ動画まで、すべてリアルタイムまたはほぼリアルタイムで生成できるなら、リモート従業員が実際には完全または部分的に生成された存在ではないと、どうやって確信できるのだろうか
検証の際に共有秘密は有効だが、身体が完全にリモートにあるときの解決策は何だろう？
今旅行中なのだが、紛失手荷物を理由にVenmoの請求を送っている相手が私だと、家族はどう確認できるのだろうか？
嘘は真実がスタートラインを出る前にすでに世界中を駆け巡るだろうが、だからといって放置はできない
動画自体と動画説明には、その趣旨の免責文言がある。それでも、一部の人が Gemini がどう動作するのかを誤解したまま帰ってしまう可能性がある、という点には同意する
リアルタイムのインタラクションが早くアプリの一部になるといい。技術的な壁はそれほど多くなさそうに見える
他の場所では細部の大半を公開していたが、動画自体は非常に誤解を招くように作られ、編集されていた。単純な音声プロンプトとビデオフィードに複雑に反応していると信じさせたかったのであり、実際にはそうではなかった
これは「Gemini には動画ではなく、選別された静止画像が入力されていた」とは違う
あの動画は、私を含め多くの人をだました。これはよくある高度に最適化されたスクリプト付きデモではなかった
存在しない機能を見せた明白な虚偽広告であり、率直に言って Google の恥ずべき行為だ
AI 生成コンテンツと全般的な操作の文脈を考えると、この動画は欺瞞的だったと思う。私にとって動画で唯一印象的だったのは、リアルタイムで動画を処理しているかのような素早く柔軟な反応性だったが、そのどれも本物ではなかった。ほとんど詐欺に近い
私も、Gemini が静止画像とテキストプロンプトを受け取っているのではなく、ビデオ／オーディオフィードを通じて見聞きしているのだと思うようにだまされた
静止画像とビデオフィードの差は大きく見えないかもしれないが、実際には、ボットがずっと間抜けにしゃべり続けないようにするには、変化する文脈をかなり理解する必要がある
またリアルタイムのビデオフィード会話では、適切に沈黙するためにまだ分からないという状態を認識する必要があるが、生成AIではこれが悪名高いほど難しい
もちろん、いくつかのハックやヒューリスティックを入れれば簡単にすることはできるだろうが、ボットを会話の中で人間の相手のように見せるのは本当に難しい。それこそが動画内の「会話」で最も印象的な部分だったのに、残念ながら全部偽物だった :(