アレックス・モーガンの最後のプロ戦で彼女に触れなかったESPNのAI要約

 (awfulannouncing.com)
2 ポイント 投稿者 GN⁺ 2024-09-10 | 1件のコメント | WhatsAppで共有
  • ESPNのAI生成試合要約は、Alex Morganの引退試合という核心的な文脈を見落としており、自動要約は試合結果を正確に伝えていても、読者にとって重要な物語を取りこぼしうることを示した
  • San Diego WaveはNorth Carolina Courageに4-1で敗れ、Morganは15分間出場してPKを蹴った後、観客に感謝と別れのあいさつを伝えた
  • ESPN Generative AI Servicesの要約は米東部時間午後8時52分にウェブサイトとアプリへ掲載され、215語にわたって得点と試合の流れを扱ったが、Morganには一度も触れなかった
  • ESPNはAI要約ごとに人間の編集者による確認を行うとしていたが、今回の欠落が確認過程で見逃されたのか、判断として除外されたのかは不明だ
  • 別の記事がMorganの最後の試合を扱っていたとしても、報道が手薄なスポーツのファンに提供されるAI要約は、文脈を選び取る力まで備えてこそ信頼を得られる

AI要約が見落とした試合の核心場面

  • アメリカ女子サッカーを象徴する選手であるAlex Morganは日曜日、San Diego Waveの一員として最後のプロ戦に臨み、チームはNorth Carolina Courageに4-1で敗れた
  • 試合中、Morganはミッドフィールドでスパイクを脱ぎ、Snapdragon Stadiumの観客に涙ながらに手を振った
    • 観客はMorganの名前を叫び、選手たちは彼女を囲んで拍手を送った
    • Morganは試合で15分プレーし、PKを蹴った
    • 試合後には観客に声援への感謝を伝え、別れを告げた
  • この試合は複数のネットワークとストリーミングサービスで同時中継された

ESPN Generative AI Services要約の欠落

  • ESPN Generative AI Servicesはその週からNWSLとPremier Lacrosse Leagueの試合要約の提供を始めた
  • 問題の要約は、ESPNのウェブサイトとアプリに米東部時間午後8時52分に掲載された
  • 要約は試合結果、得点者、試合の流れを標準的に整理していたが、215語全体を通してMorganには触れなかった
    • W杯2度優勝、五輪金メダル獲得の実績を持つMorganにとって最後のプロ戦だったという事実も抜け落ちていた
    • 要約には「[San DiegoのKennedy] Wesleyが守備と攻撃の両面で貢献したstandout playerだった」という一文が含まれていた

人間の編集者による確認が残した疑問

  • ESPNはサービス発表で、AI生成要約ごとに人間の編集者が品質と正確性を確認すると説明していた
  • Morganが抜けた理由は明らかではない
    • 人間の編集者がMorganの欠落に気づかなかった可能性がある
    • Morganに関する文脈に言及する価値はないと判断した可能性も残る
  • 要約に含まれた事実そのものは正確だったとしても、Morganとその夜の重要性を落とした点は、試合全体の文脈を伝えられなかった事例となっている

別記事と後からの修正

  • ESPNはJeff Kassoufが執筆したMorgan中心の別記事を掲載していた
  • その記事はMorganの感情的な最後の夜を扱っていたが、AI生成要約のサイドメニューにあったため見落としやすかった
  • ESPNは9月9日月曜日、米東部時間午前8時59分に試合要約を修正し、Alex Morganへの言及を追加した

報道が手薄なスポーツにおけるAI要約の限界

  • ESPNは、AI生成要約は報道が手薄なスポーツの報道を強化し、これまで提供されていなかったコンテンツをファンに届けるためのものだと説明している
  • 重要な文脈を見落とした試合要約は、事実を並べるだけでは十分ではないことを浮き彫りにした
  • 人間の書き手は試合結果だけでなく、選手、リーグ、ファンにとって重要な瞬間まであわせて捉えられるが、このAI要約はその役割を果たせなかった

関連記事

1件のコメント

 
GN⁺ 2024-09-10
Hacker News のコメント

  • これを AI生成コンテンツを叩く事例として使うのは、かなりおかしい。Webベースのスポーツコンテンツ企業は、LLMが有名になるずっと前から、少なくとも10年は自動で記事コンテンツを作ってきた。
    たいていは検索順位のためで、もっともらしく関連して見えるコンテンツが多いほど 検索エンジン最適化に有利だったから。
    こういうことはAI以前にも何度も起きていた可能性が高いが、目立たなかったか、あまり関心を集めなかっただけだと思う。今回の件は、ESPNが現場感覚を失い、コピーライターがその記事を手作業で更新するよう確実に手配できなかった、という話に近そうだ。ESPNは昔から、品質より量を好むところとして知られていた。
    出典：こうしたコンテンツを作る会社で技術側の開発者として働いたことがある

    • それでも今回の場合、AIがより良くしてくれたわけではなかった。
      こういう一般的でスポーツ用語を混ぜただけのコンテンツが収益になるという事実自体が、かなり憂うつだ。
    • つまりAIは以前の方式と同じくらいひどいのに、より多くのデータとより高い エネルギー消費を要求するということか。
    • 「コピーライターの一人がこの特定の記事を手動で更新するよう保証」したという部分を見ると、以前からそんな体制がきちんと整っていたわけではなく、この記事の結果を見る限り今も明らかにそうではない。
      多くのスポーツ記事が実質的に 穴埋めだというのは見て取れる。だからAPの記事をすぐに掲載し、実際の担当記者がその夜か翌朝に別途記事を出す、という形になる。
    • ESPNの凋落はLLMよりはるか以前から続いていて、AIの使用がより露骨になることで、その下降スパイラルが加速しているだけだ。
    • この5年以上、どんなWebを見てきたのか分からない。スポーツの「コンテンツ」だけではなく、あらゆる種類のコンテンツが低品質な 検索エンジン最適化ページに埋め尽くされている。
      自動生成かどうかにかかわらず役に立たないのは同じで、LLMはそれをより安くするだけだ。

  • この試合はESPN2とESPN+の両方でESPNが中継していた。だとすれば、試合前・試合中・試合後に文脈を加え、重要な場面を説明する 専門解説者2人に報酬を払っていた可能性が高い。
    その内容を執筆ボットに渡す 字幕の文字起こしとして提供していないのだろうか？ すでに解説はリアルタイム字幕化されているのだから、本当に簡単な改善に見える。

    • これが気になって自分で試してみた。whisper-small.enで試合を文字起こしし、その後ChatGPTに中立的なプロンプトで要約を依頼した。
      「以下はサッカーの試合の文字起こしです。熟練したプロのスポーツ記者の文体で、この試合について200語の記事を書いてください。」
      要約は「プロとしての最後の試合で、Alex Morganは感情と回復力に満ちたプレーを見せたが、San Diego WaveはNorth Carolina Courageに3-1で敗れた。San DiegoのSnapdragon Stadiumで行われたこの試合は、単なる勝負ではなく、サッカー界を象徴する人物の一人に捧げる賛辞だった。」で始まっていた。
      スコアは間違っていた。残りはこちら：https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
    • スポーツには 構造化データが非常に多く、特にESPNのようなブランドなら、それを正確に説明すべき基準も高い。
      数時間分の文字起こしをLLMに入れると、解説者が得点の可能性や結局起きなかった出来事に興奮して話した内容のせいで 幻覚が生じる危険がある。
      逆に「得点一覧、時間、得点者、アシスト選手などを文章に変えろ」のような単純作業は、LLMなしでも決定的アルゴリズムで可能で、今回もそうだった可能性がある。原文の文法上の問題の一部は、LLM以前の置換ルールがうまく組み合わさらなかった感じに近い。
      長い文字起こしを要約したLLMの一次結果を反復的に検証し、すでに分かっている構造化データと照合して正確性を確認するシステムは作れる。より豊かなコンテンツと許容可能なエラー率を得ることもできるし、世界最高レベルの機械学習エンジニアたちがハッカソンでプロトタイプを作ることもできるだろう。
      だが、規模が大きくリスク回避的な組織にとっては、まったく簡単なことではない。「今あるものは不完全だが、少なくとも事実は間違っていない」という論理に勝つのは難しいからだ。
    • 自らを「メディア／ジャーナリズム」企業だと見ているところを何社かコンサルティングしたことがあるが、いつも驚かされたのは、技術チームがコンテンツチームと分離されていて、その メディアへのアクセス権も非常に低い場合が多いことだった。
      技術会社で期待される「すべてにアクセスできる」やり方や一般的な常識とはかなり違う。
      ESPNがどう働いているかはまったく知らず、ほかで見たことをもとに推測しているだけだ。
    • 自分も同じことを考えた。まだ初期段階のようだ。

  • 「これがAlex Morganの最後の試合」だという情報が入力やプロンプトのどこにもなかったなら、そもそもAI要約がどうやって試合記事にその内容を入れられたというのか。
    得点者と得点時間が入った表だけを10代のインターンに渡しても、似たような記事は書けただろう。とはいえ、それが報道機関やスポーツサイトがあらゆるものに生成AIを使っていい言い訳になるわけではないし、人々がESPNにいら立つ理由も理解できる。

    • その情報がなければ作り出せないし、そこが問題なのだ。生成AIの大きな売り文句の一つは、執筆プロセスから人間を外すことなのに、誰かが実際に試合を見て何が起きたかをプロンプトに説明しなければならないなら、その技術にどんな意味があるのかわからない。
      生成AIの導入とはこういう姿だ。低品質な入力を使って、記事のように見える何かを作ること。OpenAIがもたらした輝かしい未来がこれなのだ。
    • 批判の要点は「AIがどれほど愚かか」ではなく、ESPNが主張するように人間が確認していたとしても、AIコンテンツがどのように不足するのかを示す一例だ、という点に近い。
    • これはAIの本質的な限界というより、よりうまく使う方法の問題に近い。
      単に試合のイベントをLLMに入れて要約させるのではなく、試合に参加した選手や監督などに関する最近の記事10本の要約、場合によっては過去の主要記事10本の要約もプロンプトに含める、といった改善の明確な道筋が見える。
      そのうえで試合を要約しつつ、他の情報は記事の質を高めるための参考にするよう求めればよい。これはまさにLLMが得意にできることのように見えないだろうか。
    • この記事を読むような人なら、Alex Morganの最後の試合だということはよく知っていた。スポーツメディアで大きな影響力を持つESPNがそれを拾って記事に反映できないなら、出版社がなぜどこかのY CombinatorスタートアップではなくESPNの要約サービスを使うべきなのか、わからない。
    • こうした情報をプロンプトに含めるには、一種の検索拡張生成システムを構築する必要がある。半自動にはできるだろうが、システムにさらに多くの労力をかけて初めて可能になる。

  • ESPNは「AIが生成した各要約は、品質と正確性を保証するために人間の編集者が確認している」と強調したが、それは信じがたい。
    AIに記事を書かせる主な目的は、給料を払う必要のある人間の数を減らすことなので、訓練を受けた専門家にすべての記事を入念に確認させる費用を払うことは、おそらく選択肢から外れているはずだ。
    確認の徹底度を下げる、編集者の専門性を下げる、すべての記事に人を入れない、といった形で妥協することはできるだろうが、プロの編集者がきちんと仕事をするように金を払うことはないだろう。これは断言できる。

    • その論理はあまり合っていないと思う。生成記事を使えば大きくコストを節約できるが、コンテンツが正確でなければ顧客である広告主の信頼を失う。
      置き換えた記者10人につき編集者1人だけを置いても、なお大幅なコスト削減になる。
      さらに数世代進めば編集者も置き換えられるかもしれないが、まだそこまでは来ていないと思う。

  • ESPNは報道から人間を取り除き、AIは報道内容から人間を取り除いた。
    ESPNはサービス発表で「AIが生成した各要約は、品質と正確性を保証するために人間の編集者が確認している」と強調していた。人間の編集者がMorganへの言及がないことに気づかなかったのか、それとも言及する価値がないと判断したのかは不明だ。
    この100年、インターンのせいにするのは格好のスケープゴートだった。

    • 私の解釈も似ている。実質的には「インドにいる10代が、1日にAI生成記事1,000本をざっと眺めて、侮辱的な表現や訴訟になりそうなものだけを探している。それで終わり」という感じだ。

  • WTT（World Table Tennis）の試合のAI試合要約が本当に嫌いだ。
    AIハイライトはラリーの途中で切れ、ポイント全体どころかセット全体を飛ばすことすらある。ポイント間に起きる重要な出来事も反映できず、ポイント後の盛り上がる実況やセレモニー、試合後の握手まで切り落としてしまうこともある。

    • AIが生成するものは全部嫌いだ。テキストにも不気味の谷のようなものがあるのだろうか。

  • こういうAI要約はどう生成されているのだろう。試合全体の動画ファイルを入れると要約を吐き出すのか、それとも人間が作成した得点タイムスタンプ付きのスコア記録を入れて、AIがそこに文章を付け足して記事にしているのか気になる。

    • 以前、AI以前にこれを作っていたときは、試合情報がすべてAPIにあり、それをテンプレートに流し込む方式だった。
      今ならおそらく生のAPI呼び出しを入れて「このデータを使って試合要約記事を書け」のようなプロンプトを書けば結果が出るだろう。もちろんプロンプトはそれよりもっと気を配っていると推測する。あるいはESPNだから、そうでもないかもしれない。
      ただ、retiring_playersがAPIレスポンスに含まれていた記憶はまったくない。
      付け加えると、プレーごとの要約は本当に極めてよく文書化されている。驚くほどだ。Gridiron FootballやBasketballのような人気スポーツでは、選手の位置が秒単位で入ることもある。このデータはSportsRadarのようなフィードから来ている。
      おそらくそこまで細かいデータまではプロンプトに入れないだろうが、誰が3ポイントシュートを何本決め、どこから打ったかといったかなり良い要約情報はある。
    • 私がこの試作品を作るなら、入力としてまず半構造化テキストのプレーごとの記録だけを使い始める。
      そこにロスター、負傷者、日程情報を含め、かなり基本的なプロンプトを使うだけでも、相当に良くなる可能性が高い。
      こうしたデータは現在、ほとんどのライブ試合で複数のWebサービスを通じて存在している。ESPN内部にもそうした情報を取得するリソースは十分にあるはずだ。
    • リアルタイムのスポーツデータをAPIで提供したり、試合後の要約を提供したりする会社がいくつかあるので、おそらくそれを使う可能性が高い。
    • ボックススコアとプレーごとのイベントを使う。
    • 「生成AI」への期待と現実の隔たりは、もはや無視するには大きすぎる。
      数十億ドル規模のシステムが「人間のミス」のせいで壊れるなら、その能力は大きく誇張されているのかもしれない。慎重に作った問い合わせである「プロンプトエンジニアリング」、100%エラーのないデータ、莫大な電力、そして人間が出力を再確認する工程まで必要だとしたら、私たちは何を得たのかわからない。
      そろそろこのAI局面はバブルだと認める時ではないか。

  • こういうWebサイトはトラッカーと広告で埋め尽くされていて、たいていは大した意味のない内容を報じる極めて低労力の記事を、やたら長く引き延ばしているだけだ。