マルコフ連鎖とは何か
- LLMs（大規模言語モデル）が初めて登場したとき、人々はこれを非常に賢いマルコフ連鎖だと説明していた
- 最近では、人々はマルコフ連鎖よりもLLMsのほうになじみがある
- マルコフ連鎖は、非常に小さく、非常に単純で、非常に素朴なLLMだと言える
- マルコフ連鎖は現在の文脈に基づいて次の単語を予測するが、意味論、次元性、その他の複雑なベクトル数学は考慮しない
- マルコフ連鎖は原始的な統計モデルである
- 携帯電話キーボードの「次の単語候補」機能は、一般的にマルコフ連鎖を使用している
- マルコフ連鎖は実行コストが低く、ユーザーのテキストスタイルに合わせて簡単に更新できる
- LLMsとマルコフ連鎖の動作原理は深く説明できるが、ここではマルコフ連鎖がLLMsよりもタスク遂行能力で劣る、ということだけ知っていればよい
面白さとは何か
- ユーモアは、深刻ではない驚きに関するものである
- 最高のジョークには、楽しくて重要な「スナップ」が含まれる
- 「スナップ」は、驚きから来る衝撃を意味する
- 驚きが少ないほど、面白さは減る
- ジョークをたくさん聞くほど面白くなくなる理由はこれである
- 「ランダム」なユーモアは、予測不可能さが予測可能であるため面白くない
- ジョークを書くことは、パターンを破ることに関係している
- 「場面の実現」によってスナップを強めることができる
- より独創的または描写的な言語を使うと、場面はより現実的に見える
- ジョークには多様性があり、ユーモアは主観的である
LLMsの予測可能性
- 文をうまく予測するには、多くの文脈が必要である
- LLMsは多くの文脈を持っている
- LLMsは多くの数学的計算を通じて、最も可能性の高い次のトークンを見つける
- 「より良い」LLMは、より予測可能である
- LLMsは創作的な文章には向いていない
- LLMsは平均的な結果を生成する
- ジョークを生成するには、LLMが驚きを与えなければならない
- 良いLLMはこれをうまくできない
- LLMsは芸術的表現には適していない
- LLMsは興味深い概念を見落とすことがある
- このフレームワークを通じて、新しい言語モデルを作れるかもしれない
なぜこれが興味深いのか
- これは、より深い何かを示している
- これは、魂対機械という論争ではない
- これは、モデルに内在する欠陥を示している
- ChatGPTのメッセージは高校のエッセイのように見える
- これは平均的な出力を再現したものである
- これは個性が取り除かれ、学術的厳密さによって補強されたものである
- これは平板で企業的な口調である
- 偽のAmazonレビューは簡単に見分けられる
- LLM検出モデルは、まもなく個性を検査しなければならなくなるだろう
GN⁺のまとめ
- この記事は、マルコフ連鎖とLLMsの違いを説明し、ユーモアの本質を探っている
- マルコフ連鎖は単純な統計モデルであり、LLMsより予測能力が低い
- ユーモアは深刻ではない驚きに基づき、ジョークを書くことはパターンを破ることに関係している
- LLMsは予測可能性が高く、創作的な文章には向いていない
- この記事はLLMsの限界を示し、新しい言語モデルの可能性を提示している
1件のコメント
Hacker Newsの意見
数年前にサイドプロジェクトをしていて、同じ結論に達した
Claude 3.5 Sonnetに、マルコフ連鎖がLLMより面白いというテーマで短いジョークを10個書いてくれと頼んだ
だからといってマルコフ連鎖のほうが優れているという意味ではない
大学時代、友人たちが大学新聞の「警察レポート」欄にマルコフ連鎖ジェネレーターを使っていた
聖書をこういう実験に使うのは居心地が悪い
実証的な証拠として、/r/subreddit simulator はマルコフベースのRedditパロディだ
Redditに「AIが書いた偽のXYZ」を何度か投稿した
10年ほど前、学生だったころにマルコフTwitterボットを作った
AI weirdnessブログの進化がこの考えを裏づけている
個人Discordサーバーに2つのボットがある