Google、検索で奇妙なAI回答を手作業で削除するのに苦戦中

 (theverge.com)
11 ポイント 投稿者 GN⁺ 2024-05-26 | 2件のコメント | WhatsAppで共有
  • SNSでは、Googleの新しいAI Overview製品が奇妙なことを言う事例で大きな話題になっている
    • ユーザーにピザへ接着剤を塗るよう勧めたり、石を食べるよう提案したりするなど
  • こうした混乱を招くリリースにより、Googleは特定の検索に対するAI Overviewを手動で無効化する対応に追われている
    • さまざまなミームが投稿され、ユーザーはソーシャルネットワークに投稿された後まもなく消えるのを目にしている

GoogleのAI Overview

  • GoogleはAI Overviewを1年間テストしてきた
    • 2023年5月にSearch Generative Experienceとしてベータ公開
    • CEOのスンダー・ピチャイは、その期間に10億件以上のクエリを処理したと述べた
  • ピチャイはまた、AI回答の提供コストを80%削減したと明らかにした
    • ハードウェア、エンジニアリング、技術的ブレークスルーによって実現
    • しかし、こうした最適化は技術の準備が整う前に早すぎる段階で行われた可能性がある

AIの品質問題

  • あるAIスタートアップ創業者は、Googleはいまや低品質な出力を出すことで知られるようになったと述べた
  • Googleは、AI Overview製品が主に「高品質な情報」を提供すると主張
    • Googleの広報担当メーガン・ファーンズワースはメールで、一部のクエリに対するAI Overviewを削除するため迅速に対応していると認めた
    • こうした事例を使って、システム全体の幅広い改善を進めていると明らかにした

AI専門家の見解

  • ニューヨーク大学の神経科学名誉教授Gary Marcusは、多くのAI企業が、この技術が80%から100%へ到達するという夢を売っていると述べた
    • 最初の80%は、大量の人間のデータを近似することで比較的容易に実現できる
    • 残りの20%は非常に難しい課題
    • 実際には人工汎用知能（AGI）が必要になるかもしれない

Googleの競争環境

  • BingはGoogleより先にAIを導入した
    • OpenAIは独自の検索エンジンを開発中
    • 新しいAI検索スタートアップはすでに10億ドルの評価額を持つ
    • 若い世代は最高の体験を求めており、TikTokへ移行しつつある
  • Googleは競争圧力を感じており、それが混乱したAIリリースにつながっている
    • 2022年、MetaはGalacticaというAIシステムを公開したが、ガラスを食べるよう勧めるなどの問題により、まもなく取り下げられた

GoogleのAI Overview計画

  • GoogleはAI Overviewに大きな計画を持っている。
    • 現在の機能は、同社が先週発表した内容の一部にすぎない。
    • 複雑なクエリに対する多段階推論、AIが整理した結果ページの生成、Google Lensでの動画検索など
  • しかし現在、同社の評判は基本的なことをきちんと処理できるかにかかっており、状況はあまり良く見えない

Gary Marcus - "[これらのモデルは] 根本的に自分の作業に対する sanity check を行えず、これがこの業界の足かせになっている"

GN⁺の見解

  • AIの信頼性問題: AIシステムには、自身の作業を検証できないという構造的な限界がある。これはユーザーに誤情報を提供するリスクにつながる。
  • 競争圧力: Googleは競合他社からの圧力を感じており、それが製品リリースの品質に影響している可能性がある。
  • 技術的課題: AI技術が80%から100%へ進む過程は非常に難しい課題である。これはAIの限界と挑戦をよく示している。
  • ユーザー体験: 若い世代は最高のユーザー体験を求めており、Googleが継続的に改善すべき点でもある。
  • 別の選択肢: AI検索エンジンを検討するユーザーにとっては、Bingや新しいAI検索スタートアップも有力な代替候補になり得る。

関連記事

2件のコメント

 
hhcrux 2024-05-28

「多くのAI企業が、技術が80%から100%へ到達するという夢を売っている」と言及していました。
この部分は私もいつも考えていることですね。AIの世界が来ても、人がやるべきことはなくならないと思う根拠でもあります。
 
GN⁺ 2024-05-26
Hacker Newsの意見

Hacker Newsコメントまとめ

  • Googleの検索提案を手動で削除するアプローチ

    • Googleが以前、検索結果を手動で調整する代わりに、アルゴリズム自体を調整しようとしていた事例を思い起こさせる。
    • 2002年のFroogleテスト中、running shoes を検索すると庭の妖精の置物が上位結果に出てくる問題が発生した。
    • あるエンジニアがその製品を購入して問題を解決した。アルゴリズムを変更しなくても正しい結果を返せるようになった。

  • AIの正確性の問題

    • 最初の80%の正確性は比較的容易に達成できるが、最後の20%は非常に難しい。
    • 100%の正確性は人間でも達成できない目標である。
    • 目標は明らかにばかげた回答を減らすことだ。
    • LLMs（大規模言語モデル）は良いテキストを生成するが、明らかにばかげた回答を取り除くことが常に良いとは限らない。

  • Googleの検索品質の問題

    • GoogleがAI戦争によって方向性を見失ったという議論がある。
    • 現在のGoogleの検索結果はスパム、クリックベイト、プロパガンダであふれている。
    • 検索結果は少なくとも広く認められた真実を反映すべきだという主張。
    • 明白な荒らし、クリックベイト、悪意あるコンテンツを識別することが重要だ。

  • 検索エンジンと質問エンジンの違い

    • 検索エンジンはインターネットを検索するための道具であって、質問するための道具ではない。
    • AIを通じて何かを尋ねることは、インターネットを検索することとは別の作業である。

  • GoogleのAI統合の問題

    • GoogleがAIを統合するたびに同じ問題が繰り返し発生する。
    • 問題が起きると上級幹部が解決を約束するが、同じ問題がまた繰り返される。

  • Googleのデータセットの問題

    • 25年間にわたって検索結果を微調整してきたGoogleが、良いデータセットを持っていないことに衝撃を受ける。
    • 古い百科事典CDを使って訓練データを作る必要があるかもしれない。

  • LLMを活用した奇妙なクエリ生成とテスト

    • GoogleがLLMを使って奇妙なクエリを生成し、テストしていなかったことに失望している。
    • クリーンなデプロイから得られる利点は多い。
    • 現在のAI競争は底辺への競争なのかもしれない。

  • AIの初期バージョンの問題

    • 現在のAIは、あらゆる面で従来の検索より悪い。
    • AIが生成した画像の指は印象的だ。

  • LLMのハルシネーション問題

    • 人々はLLMがたまにしかハルシネーションを起こさないと思っているが、実際にはもっと頻繁に起きている。

  • AI結果を手動で削除する皮肉

    • 誤ったAI結果を手動で削除していること自体が皮肉だ。