Various LLM Smells
(shvbsle.in)- LLM支援ライティングは当初、語彙や文構造を改善し、AIが作った低品質な文章のようには感じられなかったが、数か月後には同じ痕跡がインターネット全体で繰り返し現れ始めた
- 文章では強い結論型の文と短文の連続が頻繁に見られ、「Symmetry becomes a trap.」のような圧縮された断定が反復パターンとして現れる
- 「X is the Y of Z」構文や、「単にXではなくY」に近い対比的な表現も、LLMが作った文章で見分けられる文の癖として挙げられる
- AI生成サイトではJetBrains Monoフォント、step構成、似た箇条書き、特定のボタン・カード・バッジの点滅するドットが反復要素として現れる
- 核心は、創作でのLLM/AI使用自体に反対することではなく、文章やウェブサイトで繰り返し検出されるパターンを集めて観察することにある
LLM使用で繰り返し見られる癖
- 昨年末、数学ブログの記事を整えるためにLLMを使ったときは、語彙や文構造が良くなり、AIが作った低品質な文章のようには感じられなかった
- 約3か月後、同じ文構造がインターネット全体で反復的に見られ始め、AI支援作業全般で見分けられる痕跡のように感じられた
- HN Threadの例は、文章とウェブサイトという2つの領域で繰り返される「AIの匂い」を示している
文章とウェブサイトに見られる反復パターン
-
LLMライティング
- 強い結論型の文が過剰なほど頻繁に登場する
- “Humans trust symmetry because it feels like intelligence made visible.”
- “The Tiger fit the story. Jin-yong fit the physics.”
- “Symmetry becomes a trap.”
- 短文の連続が反復的に使われる
- “Yet the tilt is not an accident. It is the shape of the optimum.”
- “Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.”
- “These examples are not decorative. They form a distributed argument.”
- 「X is the Y of Z」形式の文構造が頻繁に見られる
- “Cringe is the visible signature of moving along a gradient you chose.”
- 「単にXではなくY」に近い対比的表現も繰り返される
- “solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts”
- 強い結論型の文が過剰なほど頻繁に登場する
-
AI生成ウェブサイト
- JetBrains Monoフォントが繰り返し見られる
- 同じフォントを使う「step」構成と似た箇条書きが複数のウェブページに登場する
- 特定の形のボタン、カード、バッジ内の点滅するドットもAI生成ウェブサイトの反復要素として見える
-
注意点
- 創作作業でのLLM/AI使用自体に反対しているのではなく、繰り返し検出されるパターンを集めた観察に近い
1件のコメント
Hacker Newsの意見
LLMは、自分にできないことをやってくれるときに特によく見える傾向がある。ある分野でLLMの出力が自分のものよりはるかに優れていると感じるなら、その品質を正しく判断する能力が不足している可能性が高い
片方は「AIが自分には到底書けないコードを作り、数日かかる仕事を一発で終わらせ、生産性を10倍にしてくれた」と言い、もう片方は「AIはひどいコードばかり作り、手戻りが必要で、ミスもするので監視しなければならず、結局時間を食う」と言う。同じ製品の出力がここまで違って見えるなら、前者の陣営にはあまり良くない知らせがある
逆にコードはほとんど書かず、仕事でも一度しかやったことがないが、Claudeが数秒でコードを吐き出すのを見ると、自分が超人で、もうすぐ億万長者になれそうな気分になる。だがClaudeが読むのもつらい文章すら書けないこと、自分は文章は書けてもコードは書けないことを思い出して、コードを消してもっと金になる仕事に戻る
1年前ならこうは言わなかったと思う。もっともらしいデタラメを、専門家でも気づきにくい形で吐き出すので鷹のように見張る必要はあるが、内部のサイコロは、外れや無価値な側よりも、正しく有用な側へ少しずつ傾いている
月に1冊は高い目標ですらない。Melville、Hemingway、Chaucer、Shakespeareまで行く必要はなく、ただ適当なNYTベストセラーを手に取るだけでも、LLMが生成できるどんな文章よりずっとましだ
LLMは「教科書／技術マニュアル」のような、コード化された文体を好むが、おそらくそのほうが人間にとって有用だからだろう。しかし人間の文章は、最も優雅な文を作ることだけではなく、時には優れた文章がこういう子犬の絵のミームのようなものでもありうる: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...
“honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, “The smoking gun:” のような表現は、強いLLMっぽさがあるように見える
特に “The ___:” で始まる文がそうで、建築の話でもないのに使う “load bearing”、実際の爆発の話でもないのに使う “blast radius”、“sanity check” のほうが適切な場面で使う “smoke test”、3項目の列挙で3つ目が前の2つを合わせただけになっている構造、物事を比喩的に “shape” と呼ぶ表現、ソーシャル投稿を “Curious if anyone…” で締める書き方、逸話で “Oh. Oh.” を使うのもよく見かける
一部は開発者が実際に使う用語ではあるが、実際の使用頻度は検証の余地があり、最新モデルの散文にもこうした痕跡が残っている
特にload bearingは、運用まわりの日常会話ではかなり普通の表現だった。ただし “smoke test” を現実の日常で使っているのは見たことがない
Wikipediaがまとめたパターンもよく文書化されている: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
何もかもが escape hatch になってしまう。try/catch も escape hatch、CLIフラグも escape hatch。意味が通らず、結局自分の「禁止単語とフレーズ」Markdownファイル行きになる
LLMの文章における画一性はよくない。文章作成を助けるためにLLMを使うのはよいが、LLMが生成した語は、語彙調整の一語であっても最終原稿には入れないほうがよい。
構成や流れを批評させたり、過剰に繰り返される語や受動態、愚かなトピックセンテンスの選び方を見つけさせたりするのはよい。こういう用途ならスタイルを壊さずに文章を客観的に改善してくれる。
その一方で、WebデザインにおけるLLMの画一性はよい。たいていのサイトは、奇抜になろうと無理をする必要がない。実用的なサイトのよいデザインとは可読性のことであり、LLMは平均的な開発者よりそこが得意だ。同じボタン配置や同じ文字サイズ体系を使い続けるのは問題ない。自分の目に良く見えるなら、一人でやったときよりよくなっている可能性が高く、一人でやっていたらもっと悪くなっていた可能性が高い。
GPT-5.xは特にひどい。たとえばダッシュボードを作らせると、無数の数字やテキスト断片をそこかしこに入れてくるが、たいていは同じことを二度言っているだけだ。もちろん、これは構造そのものの本質的な問題というより、近いうちに整理される可能性が高いし、文言を先に全部用意してからサイトを作らせればよい結果になるかもしれない。
文章作成にLLMを使うのはかなり妙に感じる。ばかな申請書を書く程度なら例外かもしれない。共同作業者が技術文書にLLMを使うのを見たことがあるが、ほとんどいつも、正しそうに見える美学だけを備えた境界線上のたわごとだった。創作的な文章にLLMを多用すると、目的そのものが消えてしまう感じがする。
まだ自分の文章のレビュー用には使ったことがないが、そんなに良いものなのか気になる。
大切な人のため、あるいはその人について重要な文章を書きながら、ところどころで提案された甘ったるいゴミ文句を使う人を思い浮かべると、代わりにこちらが恥ずかしくなる。まったくのたわごとであり、聴衆に自分の言葉を届けるだけの気遣いすらないという巨大なシグナルだ。
対照的否定も外せない。
文の前半である考えを否定し、後半で代案を断言する修辞構造のこと。たいていは「XではなくYだ」や「単なるXではなくYだ」といった定型で現れる。
Wikipediaにも、よくあるLLMパターンを扱ったよい資料がある: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
特に、こうしたパターン自体が問題なのではないという見方がよい。パターンだけ直せばいいわけではなく、問題は、こうしたパターンが雑に書かれた、あるいは不注意に作られたコンテンツを示していることにある。
“No ___, no ____. Just _____” のような構造や、あるアプローチを説明するのに “honest” を使うのもそれっぽい。
ひどすぎるので、「本当に確か？」という感じで下位エージェントにファクトチェックを差し込ませるフックを考えているところだ。「XではなくYだ」という偽の区別も似たように使われる。たとえば、自称ソブリン・シチズンが「運転しているのではなく、車で移動しているだけだ」と言うようなものだ。
肯定形でも現れる。“Smooth. Effortless. A perfect fit for your needs.” みたいなやつだ。くだけた文章や説得的な文章で、要点を打ち込まなければならないかのように繰り返し出てくる。
こういうそれっぽさが何かを公然と言い続けるのは、少し残念でもある。かなり正確に見分けられるのがよかったのに、永遠に続くものではなかったのだろう。
興味深いのは、LLMの文体が最近大きく良くなったとは感じられないことだ。
少し前の時点ですでに「そこそこよい」水準には達していたが、最新モデルは、プロの人間の書き手より好まれるほどの改善まではもたらしていない。超知能を追い求める中で、ほかの領域もこのようになるのか気になる。
今では、ブログ記事やSlackメッセージのような大半の文章で、多少スペルミスや文法の誤りがあっても、人間の生っぽい文章を見たい。
LLMはアイデア出し、コード作成、もしかすると文章の磨き上げには素晴らしいが、文章全体を代わりに書くのだけは本当にやめてほしい。そういう種類の文章なら、AIではなく、あなたが何を言いたいのかを聞きたい。
会社でClaudeを使えて、自分のメールを見せても問題ないなら、「自分が送ったメールを全部読んで、自分の声でメールの下書きを書くスキルを作って」と頼んでみるとよい。
そのスキルを実際に使わなくても、生成されたスキルファイルを読むのは面白い。Claudeに「私は誰？」と尋ねるような奇妙な感覚がある。
Slackメッセージではまだ試していないが、読むのが少し怖い。それでも同じ考え方は当てはまるはずだ。
会社にはClaudeでSlackメッセージを積極的に書いている人が何人かいるが、ある日までは複数メッセージにまたがってかろうじて理解できる英語を書いていたのに、翌日からは完璧に一貫した散文を一通のメッセージで送ってくるので、すぐにわかる。
実際かなりうまく機能する。
最近LinkedInフィードをスクロールしていると笑ってしまう。
今日いちばん気に入ったのは「税金が問題なのではない。マインドセットが問題なのだ」だった。
「JetBrains Mono」フォントの話を見て、当然 Inter の乱用 批判が出ると思っていた。それでも JetBrains Mono はかっこいいフォント
JetBrains Mono が作業に合っているなら使うべきで、AI がよく使うという理由だけで避ける必要はない
どんなウェブサイトで使っても法的に問題ないのか気になる