- 大規模言語モデル（LLM） の応答は事実ではなく、単語の 統計的予測結果 です
- ChatGPT、Claude、Gemini などは 最ももっともらしい次の単語を予測 しているだけで、情報の出典や真偽を認識していません
- これらは 説得力のある文章 を作れますが、その内容は 正確で信頼できるとは限りません
- AIの回答を 権威ある根拠のようにコピーして伝える行為 は、単に「よく一緒に使われる単語の組み合わせ」を繰り返しているにすぎません
- AIの応答を事実として引用する慣行は、知識の検証と考える力の弱体化というリスク を示しています
AI応答の本質
- ChatGPT、Claude、Gemini など 大規模言語モデルの応答は事実ではありません
- これらは 文中で次に来る単語を予測 する方式で動作します
- その結果、もっともらしいが不正確な情報 を生成することがあります
- このようなモデルは、膨大な資料を学習したものの出典を覚えていない人 にたとえられます
- つまり、情報の 根拠や文脈を認識しないまま文章だけを再構成 しているのです
信頼性の限界
- AIが提供する回答や助言は 正しいこともありますが、その根拠は不明確です
- 回答は「記憶された本」ではなく、頻繁に一緒に現れる単語の組み合わせ です
- したがって、AIの出力を 事実や権威ある情報として引用するのは不適切です
- 「ChatGPTがそう言った」という主張は、単なる単語予測結果の引用 にすぎません
引用の危険性
- AIの応答をそのままコピーして伝える行為は、真実ではない単語の組み合わせを広めること と同じです
- それは時に有用だったり示唆を与えたりすることはありますが、真実や最終判断の基準ではありません
- 記事ではこのような行為を 「賢い人たちが思考を止める姿」 と表現しています
追加参考資料
結論
- AIや機械学習技術そのものは前向きに評価できる一方で、
AIの応答を批判なく引用したり信頼したりする態度には注意が必要です
- サイトは「But ChatGPT Said…」と言う人にこの内容を共有することを勧めています
5件のコメント
1年前の記事ですか？
ｗｗｗｗｗ
https://github.com/leoherzog/stopcitingai/blob/main/index.html
いいえ、ファイルの更新履歴を見ると、1週間前に下書きが作成されています
「単語の統計的予測結果にすぎない」という事実を認識するだけでも、AIをどう扱うべきかが見えてくるように思います。
Hacker Newsの意見
ChatGPT、Claude、Geminiのような LLMの応答は事実ではない
ただ次に来る単語を予測しているにすぎない
「Wikipediaの記事も事実ではなく、磁場フラックスの変動にすぎない」といった比喩は無意味だ
結局重要なのは 出典を明示すること だ。Wikipediaであれ、人間であれ、犬であれ、出典がなければ信じない
出力は確率的に選ばれた単語の組み合わせにすぎず、ある単語は一般的な表現から、別の単語は4chanのような場所から、また別のものは 幻覚(hallucination) かもしれない
この場合、「事実の出典」という概念そのものが成り立たない
「事実」をどう定義するかによって論点は変わる
問題は結果ではなく 結果を導いた過程の信頼性 にある
サイコロを振って「3+4=7」を当てたとしても、それは偶然当たっただけで過程は誤っている
LLMの問題もこの 過程の誤り に近い
実際には 人間の好みとおべっか(sycophancy) に合わせて訓練され、読みやすい「高果糖シロップのような文章」を作り出す
そのためブレインストーミングや要約にはむしろ不向きだ
しかし単純な事実質問には徐々に良くなっている
結局LLMは単純な予測器ではなく、より説得力があるように見せるよう最適化された存在 だ
小さな会社でもAI利用に対する 期待値の設定 が重要だ
「AIを使っても結果に対する責任は本人にある」という単純な原則だけでも十分だ
データ検証、コードテスト、応答確認が必須だ
昔は「Stack Overflowからコピペするな、読んで理解しろ」と言っていた
時代は変わったが 本質は同じ だ
それが大きな変化だ
「何千冊もの本を読んだが、どこで読んだかは覚えていない人」という比喩がLLMに似ていると感じる
私も時々「たぶんSchaumシリーズにあったはず」と 出典を幻覚 する
最初は「パリはフランスの首都」という事実をどこで学んだか覚えていても、時間が経つと 出典は消え、内容だけが残る
LLMは Garbage In, Garbage Out の原則にそのまま従う
よく文書化された領域ではうまく機能するが、不明確なテーマでは でたらめな情報 を出す
特に文脈理解が弱いため、明確に指定しないと誤答を返す
技術サポートの現場では、ChatGPTの答えをそのまま信じる顧客としばしば議論になる
修正を求めても、別の間違った答えと 役に立たない謝罪 が返ってくる
「ポスト真実(post-truth)」の時代は不安ではあるが、むしろ人々がより多く 疑い、問いかける ようになった気もする
Rortyの言うように「事実とは、私たちがもはや論争しなくなったもの」という 社会的合意の産物 と見るべきだ
真理をめぐる論争よりも、言説共同体同士の言語衝突を調整する方法 のほうが重要だ
上司に「それは愚かな考えです」と言っても、喜ばれるはずがない
「その会話ログを一緒に見てもいいですか？」と尋ねるのがよい
そうすれば LLMがどこでバイアスを入れたのか 確認できる
検証されていないLLM出力を私が反論する理由はなく、責任は引用した人にある
「出典引用」の議論はもっと深い問題を見落としている
LLMは 検証可能な作業(コード、翻訳、要約) には強いが、検証不可能な領域(研究、専門分野) には弱い
だから私はLLMを 専門家がレビューできる草案生成器 としてしか使わない
リスクは幻覚ではなく、モデルの流暢さが利用者の専門性を上回るときに生じる自信のギャップ だ
RAGやWeb検索のようなツール呼び出し方式も、結局は 別の失敗モードへの交換 にすぎない
「ChatGPTが私より信頼できるなら、なぜ私を雇ったんですか？」というのが私の反応だ
何時間もかけて説明することもできるが、ただ 専門家を信頼したほうがよくないか？ と言いたい