GoogleのGemini AIモデルのデモ捏造論争
- Googleの新しいGemini AIモデルが一般公開された後、反応は賛否が分かれた
- 最も印象的だったデモが実質的に捏造されていたことが明らかになり、ユーザーの信頼に打撃を与えた
- 「Hands-on with Gemini: Interacting with multimodal AI」という動画は100万回再生を記録し、さまざまな入力に柔軟かつ反応的に対応するマルチモーダルモデルの能力を披露した
実際とは異なるデモ
- 動画はリアルタイムで行われたように見えるが、実際には画像フレームとテキストプロンプトを使ってGeminiの能力をテストしたものだった
- 実際の相互作用とは異なり、動画には応答速度や正確性、そしてモデルとの相互作用の方法について誤解を招きかねない内容が含まれている
- 「レイテンシを減らし、Geminiの出力を短縮しました」という警告文はあるものの、非常に魅力的に見える
文書化された能力との違い
- 動画では直感的で言葉を使わない評価のように見える一方、文書化された能力では、モデルは個々のジェスチャーに基づいて推論するのではなく、すべてのジェスチャーを一度に見せてヒントを与える必要があることが示されている
- たとえば、動画では紙のボールがカップの下で入れ替わるのをモデルが即座に検知するように見えるが、実際にはその活動を説明し、モデルを訓練する必要がある
- Googleがこの動画は「Geminiの実際の出力を示している」と述べたのは事実だが、「デモをいくつか編集した（この事実は透明性をもって公開している）」と言うのは事実ではない。この動画はデモではなく、実際にはデモとして宣伝するために作られたものとは大きく異なる相互作用を示している
GN⁺の意見
- GoogleのGemini AIモデルのデモ動画は、実際のモデルの能力を誇張して制作されたことが明らかになり、技術の信頼性に疑問を投げかけている。
- マルチモーダルAIの発展可能性と現在の技術的限界を同時に示す事例であり、AI技術の真の現状を理解するうえで重要な教訓を提供している。
- この事件は、AI技術の発表とデモが実際のユーザー体験とどの程度一致しているのかという点における透明性と誠実さの重要性を強調し、技術分野に関わる人々に興味深い議論を提供している。
5件のコメント
Bardも最初は期待を集めていましたね
Google Glassを思い出しますね……あのときも世界が変わると思っていましたが
頑張れ！
驚くような映像ではありましたが、短時間に編集して提供するとなると、どうしても出てしまう問題だったのだと思います。
Googleはかなり苦しい状況なのかなとも感じますし、実際に出てくれば分かるだろうという気持ちもあります。
いずれにせよ、OpenAIが一人で突き進むよりは競争があったほうが良いので、Googleにも頑張ってほしいです
残念でした。
ビジョンや価値は、苦しい時ほどいっそう守るべきものではないかと思います。