- arXivのコンピュータサイエンス（CS）カテゴリが、レビュー（サーベイ）論文とポジションペーパーに対する新しい審査運用を導入
- 今後、これらの論文はジャーナルまたは学会で査読（peer review）を経て採択された後にのみarXivへ投稿可能
- 投稿時には査読を通過したことを証明する文書（例：ジャーナル参照、DOIメタデータ）を必ず含める必要あり
- 検証書類のない投稿は却下される可能性が高く、これは最近の生成AIによる過剰な論文流入に対応するための措置
- arXivはこの変更を通じて、質の高いレビュー論文のみを共有し、中核となる研究論文の流通に集中することを目的としている
変更された投稿要件
- レビュー論文とポジションペーパーは、ジャーナルまたは学会で採択され査読が完了した後にのみarXivへ投稿可能
- 投稿時に査読通過の証明書類を含める必要がある
- 証明がない場合は却下される可能性が高い
- ワークショップ水準の審査は従来型の査読とは見なされず、投稿要件を満たさない
政策的背景
- arXivの公式ポリシー上、レビュー論文とポジションペーパーは正式に許可されたコンテンツ種別ではない
- 過去には少数の高品質な論文のみがモデレーターの裁量で受理されていた
- 最近は**生成AIと大規模言語モデル（LLM）**の拡散により、質の低いレビュー論文が急増
- その多くは単なる参考文献の列挙にとどまり、新たな研究上の議論が乏しい
- こうした状況でモデレーターの審査負担が過大になり、arXivの**本来の目的（研究論文の共有）**に支障をきたしている
変更の目的
- 専門家が執筆した価値あるレビュー論文およびポジションペーパーだけをarXiv上で容易に見つけられるよう支援
- モデレーターの業務負担を軽減し、正式なコンテンツ種別の審査に集中できるようにする
- arXivの中核目標である迅速で自由な科学的発見の促進を維持する
従来との違い
- 以前のレビュー論文は、少数の著名研究者や公式機関（例：Annual Reviews、IEEE、Computing Surveys）からの依頼で執筆されることが多く、品質が高かった
- ポジションペーパーも、学会や政府系研究団体（例：Computing Research Association、National Academies）によって作成されたものが大半だった
- 現在では毎月数百本のレビュー論文が投稿されており、品質管理が困難な水準に達している
外部査読機関の活用
- arXivには独自に品質検証を行うための人員とリソースが不足している
- その代わりに、**信頼できる外部査読機関（学会・ジャーナル）**による検証を認める
- これらの機関は、プライバシー、倫理、安全、セキュリティなどAI関連のテーマについて詳細な審査を行う
- これによりarXivは、品質が保証された論文だけを共有できるようになる
再投稿と例外
- 査読未完了を理由に却下された論文は、その後評価を完了した場合、**異議申し立て（appeal）**手続きを通じて再投稿可能
- ただし、承認された異議申し立てなしに再投稿することはできない
- 科学技術の社会的影響を扱う研究論文（cs.CY、physics.soc-ph など）は、今回の変更の適用対象外
他カテゴリへの波及可能性
- arXivの各カテゴリは専門モデレーターによって独立して運営されている
- すべてのカテゴリが同一のポリシーに従う一方で、レビュー論文は基本的に非公式なコンテンツ種別である
- 他分野でもLLMベースの論文急増が起きた場合、同様の審査強化措置が導入される可能性がある
- そのような変更がある場合は公式に告知される予定
1件のコメント
Hacker Newsの意見
人が生み出した量に応じて報酬を与える構造そのものが問題だと指摘している
研究者に論文数を基準にインセンティブを与えると、最低限の品質でできるだけ多くの論文を量産する形でシステムを悪用するようになる
閲覧数ベースの報酬や広告表示ベースの報酬も同様に歪んだ行動を誘発する
結局、オンライン世界は人間のためではなく、アルゴリズム最適化のために設計されたシステムだという話
サンフランシスコではNGOが受ける支援額が「支援したホームレスの人数」に応じて決まるため、結果としてホームレスを減らすより維持するインセンティブが生まれる
問題は人間とインセンティブ制度であって、道具そのものではない
コード行数やコミット数のような無意味な指標で成果を測る文化がすでに間違っている
私たちは今、Goodhartの地獄に生きているようだ — 指標の操作が目的になってしまった世界だ
冗談めかして言っているが、こうした指標中心の経営が最終的に大規模障害を引き起こす企業の現実を風刺している
人間中心のオンライン世界はどのような形になるのか、そしてコンテンツ制作者はどう報われるべきかを問いかけている
論文数ではなく、研究費の確保と提案書の品質こそが本当の核心だと強調している
arXivがプレプリント（事前公開論文）をもう受け付けないという誤解があった
実際には「レビュー論文」と「ポジションペーパー」だけがジャーナルまたは学会で査読通過後に投稿可能へと変わったということ
arXivにレピュテーションシステムを導入しようという提案が出ている
著者が公開PGPキーを一緒に載せ、信頼ネットワークを形成しようというアイデアだ
既存の学術誌より閉鎖的ではなく、完全開放よりは秩序ある形になりうる
arXivの品質管理の問題を指摘している
10月だけで26,000件の投稿があり(統計リンク)、検証されていない論文があふれている
少額の投稿料を取ればスパムを減らせるのではないかという提案だ
HN投稿のタイトルが不正確だという指摘があった
実際には「AIが書いたレビュー論文の急増により、arXivのCS分野ではレビュー論文にピアレビューを要求する」が正確な表現だ
完全AI生成論文をarXivに載せる人たちの動機が気になるという声
投稿プロセスが面倒なのに、なぜわざわざやるのか疑問だという
低品質な論文の大半はAI関連テーマだと指摘している
多くの人はLLMに初めて触れると、「LLMにLLMについて書かせよう」という自己参照的な実験をする
その結果、元データのごった煮的な要約物が生まれる
arXivの今回の措置を前向きに評価している
変化の速いmulti-agent systemsやagentic LLMsの分野では、明確な基準が必要だ
論文種別、データ・コードのリンク、ベンチマーク範囲などの機械可読メタデータを求めれば信頼性を高められる
SurveyやPositionタグと再現性チェックリストを標準化すれば、初期アイデアを妨げずに品質を保てるarXivはすでにかなり前から自己宣伝用の低品質論文という問題を抱えていた
LLM以前から存在した現象だ