LLM生成の投稿は禁じるべきだ

• サイトにLLM生成の文章を投稿した場合の扱いについての議論は多いが、許可するかどうかを定めた明確なポリシーはないという見方
• 定期的にLLM生成の文章を投稿するユーザーは、サイトから排除すべきだという立場
• 投稿ページに「LLM生成の文章はここでは許可されていない」という注意書きを表示しようという提案が出ている
• 明確なポリシーと注意書きがあれば、LLM生成の文章にフラグを立てるべきか、コメントで対応すべきかをめぐる議論を減らせる
• 要点は、LLM生成の投稿を許可しないという明示的な基準を設け、コミュニティの対応を簡素化しようということ

[GN⁺]

Lobste.rsの意見

• たまに低品質な投稿が紛れ込んでも構わないように思う。LLM生成コンテンツの禁止を明示しておけば、理想的にはコメント欄で例外規定を巡って争うことなく、トップページのノイズを減らし、繰り返し違反する投稿者を排除する明確な根拠になる

• おおむね同意。自分で書く手間すらかけていない文章なら読みたくない
  ただ、LLM生成文を完全に見分ける方法は分からないし、投稿が生成された可能性があるというだけで人やソースが禁止されるのは好ましくない。em dashを使うだけでLLMを使ったのではと疑われたこともあるが、もう25年以上そうしてきた

  • たまに起きる誤検知は、無寛容ポリシーでない限り大きな問題ではないと思う。原文は、運営の裁量で低品質な投稿を繰り返すパターンに対応して禁止しようという意味に読める
    低品質投稿の検知が完璧でないからといって、ポリシー自体を作れないわけではない。ミスはたまにあるだろうが、Webを覆い尽くし人間が書いた文章を押しのけるLLM生成のゴミには、必ず逆圧力をかける必要がある

• 同意
  たいていはLLM生成の文章かどうかかなり明白だし、本文に明記していなくても、投稿者が自分のサイトの別の場所でLLM利用を書いているのを見たこともある。そうなると判断はさらに容易になる
  コミュニティの低品質検知の感覚もかなり正確に見える。実際には違うのに、投稿者がLLMを使ったと大きなコメントスレッドで決めつけられた例は記憶にない。誰にも見分けがつかなければ、結局見分けがつかないということだ
  本当に曖昧な場合は、善意に解釈してもよい。問題を起こすのはたいていあまりにも露骨な文章であって、誰にも検知されないようLLM文章を最大限ねじ込もうとlobstersをだましている状況ではない

• LLM生成の記事は本当に嫌いで、消えてほしい。こうした極端な事例は明白で、識別もしやすい可能性が高く、排除を嫌がる人はごく少ないと思う
  ただ、誰かがLLM生成のコミットを一部受け入れたソフトウェアを投稿した場合はどうだろう。あるいは、全部LLMで作ったがその過程を考察記事として文書化した場合はどうだろう。こうした反論はあえて悪魔の代弁者をしているだけだが、lobsters内にも許容範囲のスペクトラムがあるのは確かだ
  LLMが少しでも関わったコンテンツをすべて禁止するのは受け入れられにくいと思う。最も広く受け入れられる答えは、カルマ不利益のないフラグである可能性が高い。"自分の基準では生成物なので注意"というシグナルを後から見る人に残すやり方だ。今の大きなコメントスレッドが実質的にその役割を果たしており、コメントの争いを減らしつつコンテンツ露出へのシグナルも与えられる

  • 挙げられた別のシナリオは別カテゴリであり、区別もかなり明確だ。今とは違う扱いにしたいなら新しいスレッドを立てればよい

• 妥当に思える。自分の考えを整理する時間をかけない人なら、なぜ自分が読む時間をかける必要があるのかと思う
  主張を磨いたり文法を確認したりするためにチャットボットをラバーダックのように使うのは構わない。特別な検知まで必要だとは思わず、コミュニティメンバーの期待と明白な場合の削除で十分だ

• 気に入らない文章にすぐ「LLM低品質文！」と叫ぶのはとても簡単だ。そうなったらどうなるのか。話題に合っていて自分が賛成する文章も、賛成しない文章も見たいし、それが健全だ
  文章をどう「低品質」と評価するのかには確信がない。明白な例もあるが曖昧な例もある。投稿者が偶然LLMがよく真似する特定の文体を使うため、正当な文章が粗雑に見えてしまう可能性もある
  “authored by”投稿で投稿者の全般的な粗雑さを見るやり方は公平かもしれない。明白な低品質文を継続的に投稿するなら、投稿者を粗雑だとマークし、運営が「やめてくれ」と連絡した後も止めなければ禁止する、という形だ
  誰か経由で投稿された「粗雑な文章」も同じようにカウントすべきかは分からない。ソフトウェアが継続して低品質に見える文章を投稿する人の投稿能力を禁止するのではなく、一時的に冷ます程度ならできそうだ。ただ、すべての投稿者が文章の出所を弁護できなければ禁止される仕組みは楽しいものではないだろう

  • すべてのルールが滑りやすい坂ではない。実際、明白なLLM低品質文は存在し、それだけでもモデレーション対象にする十分な理由になる
    LLM低品質文の作成がどれほど反社会的かを過小評価しているように見える。今でもそうした明白な事例が、AIブームに乗った人たちによって投稿され、トップページに何日も居座っている
  • 火には火をで、LLM低品質文検出器を使えばよい

• 関連投稿: https://lobste.rs/s/wee21u/this_is_written_by_llm_comments_should_be
  例:
  https://lobste.rs/s/ojvhq9/coding_is_thinking_why_i_still_write_code
  https://lobste.rs/s/eaxtmb/claude_for_legal_suite_plugins_for_legal
  https://lobste.rs/s/fvqkke/new_claude_code_programmatic_usage
  LLM生成テキストはフィルタリングするかフラグを付けられるべきだという点には同意する
  問題は、LLM生成文だが実際には話題に合っている場合、「話題外」とラベル付けすると矛盾した使われ方になりうることだ。以前にも新しいフラグの選択肢が議論されたことがある。例: https://lobste.rs/s/po97lh/new_tag_suggestion_genai_assisted
  依然として https://lobste.rs/s/rkjpob/proposal_add_ai_generated_as_flag_reason で議論されたように、「話題外」フラグを乱用するより新しいフラグの選択肢のほうがよいと思う

  • フィードバックは受け止める。表現が悪かった。禁止されるべきだ
    フィルタリング可能か、フラグ付け可能かはあまり重要に思えない。それを投稿するユーザーはサイトから排除されるべきだ。フラグやタグは実際の措置につながらなければ無駄だ

• 価値のない例だけを取り上げているようにも見えるが、https://lobste.rs/s/hfnps5/osmand_s_faster_offline_navigation のLLM生成テキストには、全体としてはゴミのような品質でも、実際には話題に合った固有の内容も含まれている

  • いや。可能な限りLLM生成テキストは何一つ投稿されてほしくない、という話だ。スパムに投票した人たちを見ればよい。私が見ていたら、自分もその一人だっただろう

• これであらゆる種類のダッシュは違法になった

  • なぜ人々がem dashを決定的証拠のように扱うのか分からない。たとえばPandocのHTML出力は、Markdownの--からem dashを生成する

• 懸念点: テキストがLLM生成かどうかを完璧な精度で知るのは簡単ではない。ただ、多くの場合は明白だ
  ときには何らかの形で「重要」または「注目に値する」文章がLLM生成である可能性もある。たとえばCopyFailレポートがある
  提案: LLM生成コンテンツは、影響の大きいセキュリティ脆弱性のような例外的状況を除き、禁止すべきだ。テキストがLLM生成かを判断する際は保守的に進め、境界事例では疑いより利益を与えるべきだ。「例外的状況」は運営の裁量に任せてもよいし、ポリシーが発展する中で条件の一覧を定め、繰り返し改善していくこともできる