ウィキメディア財団、実験的なLLM/RAG Chrome拡張機能「Citation Needed」を公開

 (chromewebstore.google.com)
1 ポイント 投稿者 GN⁺ 2024-05-13 | 1件のコメント | WhatsAppで共有

Wikipedia Citation Needed Chrome拡張機能

  • ウェブ閲覧中に特定のテキストの一節を選択して、その記述を検証できる
  • ChatGPT APIを活用してWikipedia内の関連文書を検索し、その文書から引用する
  • 選択した記述がWikipediaで裏付けられているかどうかの情報に加え、文書の最終編集日、参照数などの文書品質シグナルを提供し、ユーザーが受け取る情報（Wikipediaから得る情報を含む）について、より多くの文脈を把握できるよう支援する

ユーザーフィードバックのお願い

  • この機能は生成AIを使った実験的な機能であり、ときに誤りが生じる可能性があることを認識している
  • 結果の品質を理解し改善するため、拡張機能のフィードバックリンクを通じて見つけた問題を報告してほしいと呼びかけている
  • 一般的なフィードバックや、日常的なウェブ閲覧でWikipediaをより役立てるためのほかの方法に関するアイデアも歓迎している

開発者情報

  • この拡張機能は、Wikipediaとその姉妹プロジェクトを支援する非営利団体であるWikimedia FoundationのFuture Audiencesチームによって開発された

GN⁺の見解

  • この拡張機能は、ユーザーがウェブ上で接する情報の信頼性を評価する助けになる可能性がある。ただし、Wikipediaの記事自体にも品質や正確性の限界があり、これを絶対的な基準とみなすのは難しそうだ。
  • ChatGPTのような大規模言語モデルを活用して要約や検証を自動化することは、ユーザーの利便性を高めうる一方で、誤情報を生成するリスクもある。そのため、継続的な監視と改善の取り組みが必要と思われる。
  • Wikipediaに加えて、各分野の専門家が検証した信頼できる情報源を追加で活用すれば、検証の正確性と網羅性を高められるだろう。長期的には、ブロックチェーンベースの分散型ナレッジベースの構築も検討に値する。

関連記事

1件のコメント

 
GN⁺ 2024-05-13
Hacker Newsのコメント

  • インターネット上の主張をWikipediaと照合して確認する実験的なLLMベースのRAGアプリケーションとのこと
    詳細は https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:... で確認できる
    ちなみにこの作業に参加した

    • アイデアやコードを補える開発者がさらに必要なら連絡を取りたい
      過去6か月でブラウザー拡張を8個ほど作り、その大半には数千人のユーザーがいて、1つは50万人のユーザーまで到達した
      今はLLMベースのデザイン支援拡張を作っており、連絡先は “hello[at]papillonsoftware[dot]dev”
    • このツールは、文書そのものがその主張の出典を引用しているかどうかは確認していないように見える
      だから名前がCitation Neededなのかもしれない。実際には何も引用していないので
    • 技術的な詳細や設計を扱った資料があるのか気になる
    • Safari拡張の予定があるのか気になる

  • 引用文も幻覚する可能性があるのか、それともdeterministic quoting[1] のような方式を使っているのか気になる
    ちなみにその作業の著者です
    [1] https://mattyyeung.github.io/deterministic-quoting

    • 本当にすばらしい。これが自然言語ナビゲーションの基盤になり得るのか気になる
      文書を見るとき、キーワードや正規表現で探す代わりに、英語でより複雑な概念を検索する形で使えるのか知りたい
      そうでないなら、そのレベルに到達するにはどんな追加作業が必要なのかも気になる
    • 引用文そのものは幻覚し得ないが、ここでは別のアプローチを使っている
      それでも deterministic quoting の作業は興味深く見える

  • Firefox拡張はない

    • Wikimedia Foundationがこのプロジェクトを攻撃的なembrace & extendブラウザ基盤で作る見返りを受け取っていないのなら、取り逃している資金がないか確認すべきだ
      こうしたプロジェクトはブラウザ競合を弱体化させるのに役立つ
    • それなら使えない

  • 良いアイデア。将来的にはLLMがWikipediaの記事自体もファクトチェックして表示してくれるとよい

    • それだと結局、LLMがもともと学習したWikipedia記事を同じWikipedia記事と照合することにならないか

  • この拡張のWikimedia Gitリポジトリはこちら
    https://gitlab.wikimedia.org/repos/future-audiences/citation...
    さらに README のビルド案内は不完全で、hot reload も動作していないようだ。動くビルドを得るには npm run build-dev を使えばよい
    Firefox拡張としても作れないようにしている要因が何なのかははっきりしない。おそらく sidebar/sidepanel API の違いかもしれないが、あまり触っていない

  • ここに検索ベースの文書生成器をつなげれば、文書生成器と文書検査器ができて、そのまま1兆ページを作れる
    LLM学習用コンテンツとしても使えるし、人間も使えそうだ

  • これがChromeでしか動かないのか気になる。Arcでは動かせなかった

  • @wikimedia: Firefox版お願いします

  • 「Wikipediaで引用を見つけるChrome拡張」ではあるが、学界ではWikipediaの引用は概して禁忌だ
    理由の1つは信頼性が低い点で、著者が自分で編集できる出典を引用できてしまう
    さらに重要なのは、Wikipediaは一次情報源を探すには有用かもしれないが、それ自体は二次情報源だという点だ

    • その根拠は正直、時代に少し取り残されているように思う
      今では大規模な学術不正が実際に明るみに出ており、それを正す訂正はほとんど行われていない
      一方で Wikipedia は悪用への対処をかなりうまくやってきたし、Wikipedia のリンクを使うことが学界への脅威なのではなく、学術不正のほうが Wikipedia にとってより大きな脅威だ
    • 要点は Wikipedia 内の情報を見つけることで、その情報にはたいてい他の出典への引用が付いているということだ
      Google で探すと同じ情報の繰り返しはたくさん見つかるが、たいていのサイトは出典を引用していない
    • 以前と変わらないように見える
      Wikipedia以前でも二次情報源を引用することはなかったが、テーマに足を踏み入れて関連する出典を探すためには確かに使っていた
    • 学界で Wikipedia をたいてい引用に不適切とする理由は多いが、「著者が編集権限を持つ出典を引用できる」というのはその1つではない
      研究者は自分の論文や、自分が編集上の統制を持つ他の出典を常に引用している
    • Wikipedia は自らを三次資料であることを志向している
      参考文献は一次資料よりも二次資料へ向かうことを望んでいる
      “Wikipedia articles should be based on reliable, published secondary sources, and to a lesser extent, on tertiary sources and primary sources. Secondary or tertiary sources are needed to establish the topic's notability and avoid novel interpretations of primary sources.”
      https://en.wikipedia.org/wiki/Wikipedia:No_original_research

  • 自分自身について尋ねたら、こう返ってきた

    "Citation Needed is an experimental feature developed in 2024"

    • The provided passages do not contain any information about a feature called 'Citation Needed' being developed in 2024.
    • Wikipedia
    • Discouragement in education
    • not be relied
      本来の用途どおりに使ったわけではないが、ちょっと笑った