単なるXではなく、Yである
(mail.cyberneticforests.com)- LLMが好んで使う "It's not X, it's Y" という否定的対比構文 は、もともと対比を設定し、既存の前提を組み替えるのに有用な修辞技法
- 近年のモデルによる過剰使用で、この構文は 悪い文章 だと烙印を押されてきたが、修辞装置の価値はそこに込められる内容によって変わる
- AI検出器やGrammarlyのようなツールはこうしたパターンをあぶり出し、機械が人間らしく書くために、再び人間に書き直させるという逆説 を引き起こす
- この構文が広がった原因として RLVR（検証済み報酬による強化学習） が指摘され、モデルが正答にたどり着く際に使った言語が強化される仕組みと結び付けられる
- 言語パターン自体を評価対象にすると、グッドハートの法則 のように言語は良い言語であることをやめてしまい、機械の判断に頼らず批判的思考が必要になる
否定的対比構文とそれへの反発
- LLMが引き寄せられる negative parallelism（否定的対比） 構文は対比を設定する機能を持ち、「あなたはそうだと思っているが、実はこうだ」のように前提を組み替えるときに特に有用
- この構文はソーシャルメディア、特にLinkedInにあふれており、自動化された言語生成に対する戦争 の中で反発を招いている
- em-dashの使用、delve・quietly・genuinely のような単語、3項目の列挙などがボットの兆候として疑われている
- 近年のモデルによる乱用のため、多くの人がこれを悪い文章だと見なしているが、JFKの「国家があなたに何をしてくれるかを問うな。あなたが国家に何をできるかを問え」という文も同じ技法であり、これを怠惰な文章と呼ぶ人はいない
- 修辞装置は、そこに込められる内容によって、怠惰にも刺激的にもなりうる
自動言語生成と検出ツールの逆説
- AI検出器はこうしたパターンを見つけて魔女狩りから守ると主張するが、自分の文章を Grammarly に入れると、AI検出器が反応しそうな単語パターンを分析し、修正案を提示してくる
- これはGrammarlyに代わりに書く権限を与え、文章のリズムや意図を失わせる
- Grammarlyはあるセクションで 27個の表現 を修正対象として指摘した
- "automated language production" はAIである確率を11倍高めるとして、"against mechanized language synthesis" への置き換えを提案
- "align with" はAI生成確率を43倍高めるとして、人間なら "corresponds" を使うと提案
- 小さな提案が積み重なり、結果として自分が選んでいない文章になる。人間らしく聞こえようとする機械が、人間の声を置き換えてしまう
- 別のAI検出企業 Pangram に20ドルを払い、投稿前に論文がAI生成ではないことを確認した
- 自分が書いていないかを知るためではなく、フラグを立てられないという通知を受けるために金を払っており、これは事実上の 恐喝（extortion） だとされる
- Pangramは high・very likely・somewhat likely・human の4段階スコアで真正性を分類する
推論に敵対的な文化とポストトレーニング
- 機械を理解しようとする本能は学習データをのぞき込むことだが、そのデータはもはや「ただのウェブ」ではなく、ウェブは原材料にすぎず、重く加工されている
- ポストトレーニング（Post-training） は、モデルを設計目的に合わせて最適化する
- RLHF（人間のフィードバックによる強化学習）: 人間が応答に順位を付けると、システムはそのような応答を強調する
- RLVR（検証済み報酬による強化学習）: こちらはさらに奇妙で、"It's not X, it's Y" 構文が頻出する原因として疑われている
- この言語を怠惰だと切り捨てると、なぜそれが至る所に現れるのかを理解する妨げになり、思考のための強力な枠組みをモデルの思考能力だと取り違えてしまう
- つまり、言語が果たした仕事を計算の功績だと見なしてしまう
RLVRの仕組み
- RLVRは単語を監視して下位プロセスを起動する構造ではなく、通常のモデルと同じように学習された後、トークンを予測 する
- トークン予測とは、学習データの数学的分布に従って候補の一覧を作り、先行する単語に照らした尤度で順位付けする過程
- RLVRはモデルに数学の問題を解かせながら、解法に至る過程を文章として書かせ、私たちが声に出して考えるときに使う言語を再現する
- 正答に到達したとき、その過程で最も頻繁に使われた言語が完成モデルで強調される。これが業界でいう reasoning（推論） の一部
-
「奇妙な犬」のたとえ
- スマホの電源が切れた状態で、友人が「その奇妙な犬を見たのって何曜日だったっけ？」と尋ねる状況を示す
- 「木曜だったよ」→ 友人: 「違う、木曜は私が出張中だった」→ 「じゃあ水曜、友だちの誕生日パーティーに行く途中で見たよね」→ 友人: 「それは合ってるけど、パーティーは金曜だった。だから見たのは金曜だ」
- 2人は写真で検証可能な正答に 言語を通じて到達 しており、最初の直感（「木曜」）は、以前のモデルがそこで止まっていた最初の推測に相当する
- 実際の記憶と経験を持つ2人とは違い、モデルは言語をますます長く伸ばしながら推論の パターンを複製 し、言語を通じてではなく、言語の中で熟考を再演する
- スマホの電源が切れた状態で、友人が「その奇妙な犬を見たのって何曜日だったっけ？」と尋ねる状況を示す
- "suppose..."、"because"、"consider"、"alternatively"、"wait" のような 高エントロピー（high-entropy） の単語は、より長い思弁的なフレーズを誘発する
- それは対比・例外・抽象を呼び込む言語へとつながり、数学の問題で正答に到達した場合には、より頻繁に現れるよう強化される
私たちが推論する理由
- 「奇妙な犬」のような会話の要点は、暦の日付を特定することではなく、想起を開くこと にあり、記憶を組み立て直し、文脈を味わい、友人同士のつながりを深めることにある
- LLMで使われる推論の定義では、質問の要点は答えを得ることであり、その答えは検証可能で、即時の終結によって失われるものはないと仮定されている
- これは文章にも実際の影響を与え、言語モデルで思考を素早くプロトタイピングするとき、疑いへの開放性 を失わせる
- 曖昧さ・疑い・不確実性は、ある種の思考において即答より重要である
- AI検出器がテキストをAI生成と判定するのは、推論の構造的パターンに従っているからではないかという疑問がある。Pangramも推論モデルも、人間が文章を書きながら推論する際の構造的パターンを検出している
- Pangramモデルは2021年以前のデータで学習した後、同一テキストのAI生成版を学習に挿入している
- 機械のように見えるとして公然と恥をかかせれば、人々は恐れて「AIライティング」として内面化した構造を避けるようになり、推論のための言語は監視されるべきだというシグナルを送ってしまう
- 結局、モデルが私たちから学んだ構造、つまり 議論に有効な道具 を避けるよう促し、批判的思考の道具が最も必要なときに、それを引き出せなくしてしまう
測定が目標になるとき
- 英国では AIベースのエッセイ評価ツール が人間の採点者との比較テストにかけられた
- このシステムはエッセイの長さ、語彙の幅、文の複雑さに基づいて高得点を与えたが、これは学術的基準と無関係であることが多い
- こうした特徴はRLVRベースの推論に似たAI推論の特徴であり、つまり LLMが、エンジニアがLLMを評価する基準で人間を採点している ことになる
- 経済学の グッドハートの法則: 「観察された統計的規則性は、統制目的の圧力を受けると崩壊する傾向がある」。つまり、測定が目標になると良い測定であることをやめる
- これをLLMに当てはめれば、「言語の測定が目標になると、良い言語であることをやめる」となる
- 内容より言語パターンを評価することは危険であり、生成と検出の両方がそれを助長している。自動採点はその中間にある
- 推論という行為ではなく推論の形式に報酬を与えれば、それをさらに魅力的で一般的なものにし、形式を罰すれば推論そのものを罰する危険がある。したがって、機械の判断に委ねず、あらゆる場合に 批判的に考える 必要がある
自動化された思考に抗して
- 「何も悪いことをしていないなら心配する必要もない」という古い論理には同意しない
- 2018年以降、自動監視システムの精度として 99.8% が引用されてきたが、Arvind Narayananによれば、これは論文単位の数値として使うたびに累積する
- その結果、大学生の 最大10% が誤って告発されうる。すべてのテキストをAI検査に回せば、偽陽性ははるかに大きな規模で発生する
- こうしたモデルは実質的な権限を集中させ、企業は私たちの代わりに推論すると約束する
- 2行の文句をAI解釈器にかけ、その結果をオンラインに投稿して「ほら、盗用者だ」と言うとき、危険なことを常態化させている
- AI検出圧力による書き直しと自己検閲の文化は、人間の表現を守ることの正反対 であり、機械が有罪判定できるという信頼を常態化させることに抵抗しなければならない
- AIで文章を書くことが最悪の場合、精神の工業化だとすれば、AI検出は最悪の場合 思考に対する監視システム になる
1件のコメント
Lobste.rsのコメント
ある自動システムが文章を AIっぽい と判定したという理由だけで論文が自動的に落とされるなら悪夢のようだし、自分の仕事ではそういう問題がなくて助かる。
推論のための言語が、LLMの出力を流暢で説得力あるものに見せるだけでなく、そもそも動作させたり、少なくともよりよく動作させたりしているという点がよかった。こうした手法は人間にもよく効くので、5 Whys分析 のような手法が有効なのだと思う。
一方で、怠惰で低品質な文章は依然として見抜く必要があるとも思う。構造や文体上の仕掛けだけに注目しなくても可能だ。自分の場合、ふつうは善意で読み始めて、数段落たっても著者の要点がつかめないなら、その時点で典型的なシグナルを探し始めるが、かなりの頻度で見つかる
興味深い文章だが、実際には何かを考えるための 推論用テキスト と、その推論が終わった後に伝えるために書く 完成されたテキスト は区別するだろう。
例では、考えている途中で「木曜じゃなくて水曜だった」と書くことはあるが、他人にメッセージを送るときには単に「木曜だった」と書くことになる。
だから学術や仕事における実際の成果物であるレポートやメールは、主題について推論するときの言語では書かれないはずで、きちんと書かれていればLLMのようには見えないはずだ。下書きや個人的なメモならそうかもしれないが、最終的な送信物は別だ。
生成AIにはかなり批判的な立場だが、英語が母語でない研究者が文章を整える用途としては、学術ライティング で有用だと思う。
ただし、ほぼ完成された、きちんと構成された下書きが必要で、単なる箇条書きだけを入れると幻覚や硬く不自然な表現が出てきてしまう。
ここ数年、中国やインドのような国から来た低品質な論文を多く査読してきたせいで、そうした国の出身者がよく使う非母語話者的な英語の言い回しに、自分でも多少のバイアスが生じていると感じる。残念なのは、自分が査読した最高の論文の一部もこうした国々から出ていたことだ。
その意味で、英語が学術界の標準言語になっている以上、LLMは高い言語水準を標準化し、査読過程のバイアス を減らす助けにもなり得る。
英語が母語でない職員が多い機関には、通常、ライティング相談の担当者がいて、よい文章を作るだけでなく、もっと重要なことに、書かれた内容が著者の意図に合っているかを確認する。これをLLMに任せると意味が微妙に変わり、事実誤認や不正確な主張表現のせいで、結局は著者にとってより悪い結果を招きかねない。
言語面の助言を提供しない機関は、職員に不利な環境を作っていることになるし、独立研究者は別の理由でもすでに不利であることが多い。
非母語話者特有の表現に対する無意識のバイアスは、ある程度避けがたいが、論文査読では言語上の問題が明白であればかなり善意に解釈し、言語の問題のせいで不明瞭だと感じた箇所は修正指示として残すようにしていた。これは自分で点検しながら管理すべきことだ。
ぎこちない言語使用は、アイデア、方法論、結果をある程度ぼかすことはあっても、LLMは実際に自分が査読した論文で見たように、それらを 事実と異なる内容 に変えてしまうことがあり、その結果、反論や修正が必要になったり、論文が即座に却下されたりすることもある。この問題にはよりよい対処法があるのだから、LLMの使用を勧めるべきではない。
しかも、これが 剽窃 に当たるのかどうかは、なお未解決の問題だ。はるかに大きな論争であり、基本的な事実関係ですら合意されていないことが多い。こうした理由からLLM補助を禁じている学会やジャーナルもあるので、その規則も尊重すべきだ
皮肉なことに、企業はこのヒステリーを収益化するのに時間を無駄にせず、LLMを使ってその文章が本当に人間の書いたものかを判定して金を稼ぎ、何が許容される文章なのかを決める裁定者にまでなってしまった。
人々が怠惰に文体だけを見るのではなく、内容にきちんと関与し始めれば、この問題全体は消えるだろうという著者の指摘はその通りだ