GPTで生成されたGoogle Scholarの偽論文：主な特徴、拡散、証拠操作を防ぐための示唆

 (misinforeview.hks.harvard.edu)
7 ポイント 投稿者 GN⁺ 2024-09-09 | 2件のコメント | WhatsAppで共有
  • Google Scholarでは、一般的に使われているGPTモデルで生成されたとみられる多数の不審な論文が容易に見つかっている
  • これらの論文は主に、広く利用されている汎用AIアプリケーション、特にChatGPTを使って作成されており、科学的な文章作法を模倣している
  • Google Scholarは、このような不審な論文を、評判が高く品質管理された研究論文と同列に表示している
  • Google Scholarで見つかった不審なGPT生成科学論文のサンプルを分析した結果、多くの論文が環境、健康、コンピューティングなど、デジタル・ディスインフォメーションに脆弱な応用分野を扱っていた
  • 政治的対立の大きい領域で悪意ある証拠操作の可能性が高まっていることは、ますます深刻な問題となっている

発見事項

発見1: GPTで生成された疑いのある論文139本が、Google Scholarの検索結果で通常の論文として表示されている。非索引ジャーナルが多い

  • 不審な論文の大半は非索引ジャーナルまたはワーキングペーパーだったが、一部は定評のあるジャーナル、出版物、カンファレンス、リポジトリでも見つかった
  • ChatGPTまたは類似のLLMアプリケーションが欺瞞的に使用された疑いのある論文を合計139本見つけた
  • このうち19本は索引ジャーナル、89本は非索引ジャーナル、19本は大学データベースの学生論文、12本はワーキングペーパー（大半はプレプリントDB）だった
  • 環境および健康関連の論文はサンプルの約34%を占め、そのうち66%が非索引ジャーナルに掲載されていた

発見2: GPTで生成された疑いのある論文はオンラインで流通し、学術コミュニケーション基盤全体に広がっており、複数のコピーとして存在することが多い。実務的含意のある応用分野が支配的

  • 環境問題関連の27本の論文は、26のユニークドメインにまたがる56個のURLで発見された
  • 健康問題関連の20本の論文は、20のユニークドメインにまたがる46個のURLで発見された
  • 特定された論文の大半は複数のコピーとして存在しており、すでに複数のアーカイブ、リポジトリ、ソーシャルメディアへ拡散している
  • 学術記録からこれらを除去することは困難、あるいは不可能だろう

発見3: Google Scholarは、品質管理された引用DBとそうでない引用DBの結果を同じインターフェースで提示しているため、GPT生成が疑われる論文へ無制限にアクセスできる

  • 公開アクセス可能な学術コミュニケーション基盤におけるGoogle Scholarの中核的地位と、収録基準に関する標準、透明性、説明責任の欠如は、科学に対する大衆の信頼に深刻な影響を及ぼしうる
  • これはGoogle Scholarがエビデンス・ハッキングに悪用される可能性を高め、偽論文を元の出典から撤回または削除しようとする試みにも影響するだろう
  • どのような解決策であっても、学術コミュニケーション基盤全体と、異なるアクター、利害、動機の相互作用を考慮する必要がある

GN⁺の見解

この問題は、次のような理由から憂慮すべき状況である:

  1. GPT生成論文が学術コミュニケーションシステムを圧倒し、科学記録の完全性を脅かす可能性がある。これは既存のpaper mill問題をさらに悪化させるだろう。

  2. AIによって作られた科学的にもっともらしく見える内容が、実際には欺瞞的に生成されたものである可能性がある。これは科学知識に対する大衆の信頼を弱め、深刻な社会的リスクをもたらしうる。

  3. Google Scholarの収録基準は不透明で、説明責任も不足している。これは、標準に適合する引用DBとそうでないDBを区別なく検索結果として提示する問題につながっている。

  4. 偽論文はさまざまなプラットフォームへ拡散するため、原本を撤回しても追跡・削除が難しい。これは当該研究分野に長期にわたって悪影響を与える可能性がある。

  5. 健康、環境など社会的に敏感で重要なテーマでGPT生成論文が多数見つかっている。これは政策決定に深刻な混乱をもたらす可能性があり、政治的に悪用されるおそれがある。

この問題に対応するには、技術的、教育的、制度的アプローチを同時に考慮する必要がある。たとえば

  • 学術検索エンジンで、peer-reviewの有無などでフィルタリングできるオプションを提供する
  • 評価ツールを学術検索エンジンのインターフェースとクローラーに統合する
  • 商業的理由ではなく公益のために運営される無料の学術検索エンジンを構築する
  • 政策立案者、科学コミュニケーター、ジャーナリストなどを対象とした教育イニシアティブ

根本的には、学術出版システムの問題、"publish or perish"の風土、Googleの独占、情報統制をめぐるイデオロギー対立など、より大きな文脈の中でこの問題に取り組む必要がある。技術的な解決策だけでは不十分である。

関連記事

2件のコメント

 
xguru 2024-09-09

alphaXiv - arXivの論文について公開討論する

このプラットフォームとこの記事が一緒に見えるので、何かつながっているように感じる
 
GN⁺ 2024-09-09
Hacker Newsの意見

  • APS March Meetingでは、科学ジャーナルの編集者はLLM生成論文よりもLLM生成レビューをより懸念している

    • LLMは長い論理的推論よりも内容の要約のほうが得意
    • レビューは公開されないため、恥ずかしさを感じにくい

  • 著者のPythonスクリプトにバグがある可能性がある

    • API応答にbibキーがない場合、データフレームの列が不一致になる可能性がある
    • フラグ配列を使って悪い結果を除去できるが、コードでは使われていない

  • GPTは科学論文の捏造を容易にするかもしれないが、人間もAIなしでうまくやってきた

    • 関連する興味深い動画リンクが共有されている

  • LLM関連論文では、データ収集方法がもっと精緻であってほしい

    • LLM利用が科学と社会に与える影響は、校正の範囲を超えて大きい
    • 校正の範囲は人によって異なる

  • 関連分野の専門家なら偽の結果を簡単に見分けられる

    • 新規性のない内容は見分けるのが難しい
    • 研究者の誠実性の問題はAI以前から存在していた
    • 非専門家には情報の真偽を見分けるのが難しい

  • 以前の議論でGPT使用が疑われた論文は、実際にはOpenAI以前に書かれたものだった

  • ChatGPTは真実を理解していない

    • データレイク関連の研究プロジェクトでChatGPTを使うと、偽リンクやマーケティング資料の要約が多かった

  • 記事画像がAI生成ではない点を評価している

  • GPT生成論文は、英語が母語でない人々が英語を改善するために書いたものかもしれない

  • 暗い時代に入りつつあるようだ