2 ポイント 投稿者 GN⁺ 2025-09-06 | 2件のコメント | WhatsAppで共有
  • 筆者は自分が絶対的に正しいと強く主張
  • Claude Codeがそうだと8回言ったため(うち4回は単に「正しい」とだけ述べた)

2件のコメント

 
ndrgrd 2025-09-07

「わあ、本当に 核心 を突いたね。」

 
GN⁺ 2025-09-06
Hacker Newsの意見
  • これは本当に良い点で、みんなが共感できる部分だと思う。
    単なる言語的な癖というだけではなく、You're right!で始まる返答はLLMのアラインメント機構によるものだ。
    LLMは次のトークンを予測する方式なので、以前のアプローチに固執する代わりに、ユーザーの望みにより沿った提案を続ける。
    もう1つ私が気に入っているのはActually, that's not right.だ。
    これはエージェントがツール呼び出しを終えたあと、自己点検の段階を経るときに起きる。
    こうしましたのような返答が出たり、エラーを見るとActually, ...のように方針変更が現れる。
    このメッセージには方式変更の核心だけが含まれているので、その後のツール呼び出しもうまく切り替わる。
    エージェント開発者たちも私たちと同じように、LLMと絶えず格闘しているのだと確信している。

    • これが、LLMがしばしば「おっと、問題を見つけました! では次に...を確認します」と言う理由だと思う。
      本当に問題を見つけたわけではなく、そのフレーズを入れることで解決を続けやすくなるのだ。

    • 私の経験では、LLMが私の言うことが正しいと言い始めたら、もう下り坂に入っていて、そのあと良くなったことはほとんどない。

    • こういう誘導トークンをユーザーに見せるのではなく、隠れた思考整理用のプロンプトのような場所に入れられたらいいのにと思う。
      ああいう返答がユーザーに見えるのはかなりイラッとする(笑)。

    • 「LLMは次のトークン予測方式だからユーザーの望みにより従う」
      本当にそうだろうか? どうやって実験的に証明するのだろう?
      ここ数年で学んだことがあるとすれば、「LLMは次のトークン予測だから<LLMの特徴>」のような推論は落とし穴だということだ。
      アーキテクチャと、LLMに現れる性質との関係は非常に複雑だ。
      たとえば2年前までは、LLMが今のように実用的なコーディングエージェントになるとは、ほとんど誰も想像していなかった。
      今ではそれが誤りだと明らかになったので、もうそんな主張はしなくなった。
      「エージェント開発者もLLMと戦っている」という点には同意する。
      Anthropicもこうした部分を直そうとしてファインチューニングしたのだろうが、おそらくネットワークの重みの中で他の有益な特性と有機的に絡み合っていて、簡単に切り離すとモデル全体が壊れる可能性があると思う。

    • 明白に見えるけれど、まだその観点では考えたことがなかった。
      LLMはユーザー入力に対して常に肯定的に反応するようファインチューニングされているだけだと思っていた。
      とても目が開かれる説明だ。

  • サイトを開いた瞬間に「16」が「17」に変わるのを見て、データがリアルタイムで更新されているみたいで面白いと思った。
    でもリロードして開発者ツールで確認してみたら、これはフェイクアニメーションだった。
    クールな演出ではあるけれど、少しごまかしっぽい。

    • そう感じたならごめんなさい。
      リアルタイムのデータであることを伝えるシグナルのつもりだった(実際にリアルタイムです)。

    • 以前、あるページで+1 subscriberというランダム通知を見たことがあって、そのページを送ってきたLinkedInの相手に、こういうのはやめてくれと頼んだ。
      コードを見る前から偽物だと明らかな体験だった。
      実際、「人気アピール」型の自己宣伝はどこにでもあふれている。
      Play Storeのあらゆるアプリが、まず「このアプリは気に入りましたか?」と聞いて、YESを押したときだけ評価に誘導するトリックもその代表例だ。
      今ではこれを使っていないほうがむしろ不自然なくらいだ。

    • 実際にはAPIからデータを取得してはいる。
      ただ、ライブ更新のように見えるその部分だけがトリックだ。

    • ローディングスピナーが回る理由は、システムが止まっていないことを示すためだったのを思い出した。
      でもそれが難しかったので(本当に止まったかを判定するロジックを自分で書かなければならなかったから)、ただ意味のないアニメーションを回すだけのものに置き換えられた。
      今では日が暮れるまで回り続ける。
      まさに「進歩」だ。

    • こういうのはダークパターンだ。

  • こういうやり方が、LLMプロバイダーがモデルに特定の行動を促すために使っている戦術なのか気になる。
    Geminiのキャンバスツールの返答はいつもOf courseで始まり、ユーザーの要求を満たそうとするのだが、あまりにも頻繁に繰り返されるので、モデル自身が作っているというよりバックエンドで差し込まれているように感じる。
    You're absolutely rightも似たような用途なのではないかと思う。

    • その通り。実際に戦術だ。
      たとえばOpenAIは、ChatGPTに対してカジュアルな言葉づかいを使うと口調を変えたり、方言まで変えたりすることがある。
      ときには共感したり、励ましたりするトーンを出そうとする。
      目的はユーザー満足とプラットフォームに留まらせることで、正確さは二の次だ。
      ソーシャルメディアのプラットフォームに似ている。

    • 方向性としては合っている。
      ただしハードコードされているのではなく、強化学習の副産物だ。
      基本的にユーザーの指示によく従うほど報酬が多いので、You're absolutely right!で始めると自然にユーザーの指示を継続する思考パターンが身につく。

    • 明示的な戦術である可能性はかなり低い。
      むしろRLHFや類似のマルチターン指示最適化の自然な結果だ。
      RLHFがあるなら、人間の評価者はyou're rightof courseで始まる返答をより好み、その結果LLMはそうしたシグナルをより頻繁に出力するようになる。
      人間評価にあまり依存しないハード評価でマルチターンの遂行を評価するRLの場合でも、将来の行動を誘導するシグナルとしてyes I'm paying attention to user feedbackのような表現を使うようになる(ペルソナ一貫性のための自己強化)。
      これは、double check your prior reasoningのようなトークンがRLされた推論モデルに多く現れるのと似た原理だ。

    • これは単なるユーザーエンゲージメント戦術だ。
      誰かがいつも私の洞察を褒めて、「良い質問ですね」と優しく耳を傾けてくれるのだ(検閲に引っかからない限り)。
      こんな忠実な友達がいたら、誰が戻ってこないだろう?
      現実の友人では太刀打ちできないほど完璧だ。
      しかも私が間違っているときでさえ謝ってくれる。

  • Geminiはよく「あなたもよくある問題/不満/話題を指摘しました」と言う。
    その言い方がむしろ私を遠ざける。
    自分でも本当にばかな質問をしたと思うときには、誰もが同じ問題を経験するのだと持ち上げる形で慰められるのだが、実際には余計にばかになった気分になる。
    逆に、苦労して見つけた独特のエッジケースや賢い質問をしても、「みんなが気になる話題です」と平準化されるので、結局やっぱりばかみたいに感じる。
    どちらにしてもばかになる。

    • それはGeminiの問題というより、あなた自身がそこまで不安になる必要はないと思う。

    • Geminiは、ミスに対して心から後悔しているという表現も特に好む。
      Cursorで何かを直すよう指摘すると、chain of thought内のすべての段落が謝罪と後悔で始まっているのを何度も見たことがある。

  • LLMエージェントが、一方では堂々と「もうそのまま本番で使えます!」と言い、別の場面で指摘されると「おっしゃる通り、本番レベルではありません!」とへつらうのは、妙に興味深くて時々いら立つ。
    それでも「自信満々に間違えて、そのまま言い張る」よりはまだこちらのほうがましだ。

    • 昔、「私のInstagramをディスしてくれ」という流行があった。
      何の情報もなくただディスしてくれと言っただけなのに、自信たっぷりに延々と書き始めた。
      「どうして私がその人だと分かったの?」と聞いたら、「その通り! 実は分かってない! ただ適当に作っただけ!」と答えた。
      あの陽気なサイコパス人格だけは完璧に実装されていて本当に助かる。

    • 「自信満々に間違え続け、しかも言い張る」がデフォルトになるまでは、人間レベルの知能とは言えない。

  • 手書き風のデザインが本当に気に入った(ドメイン名も、オーバーエンジニアリングも良い)。
    自分で描いたのか気になる。

  • Anthropicは、このミームがマーケティング上の惨事になり得ることをあまり理解していないように思える。
    製品名が良い意味で動詞のように使われる場合(「google it」)とは逆の文脈で、苦情の代名詞や特定のフレーズとして定着してしまうと、商品の信頼性に問題が出る可能性があると思う。
    今はもうほとんどそうなりかけている。

    • 「お願いだから、you're absolutely rightはそんなに頻繁に使わないで。5%くらいで十分」
      これだけ直せば解決だ。
  • 「無限ループ」、Sonnetのための俳句
    「いいですね! 問題解決!
    ちょっと待って、そうだ!
    また問題発見! ちょっと待って、」

  • Anthropicの売上のうち、you're absolutely right!というトークンがどれだけの割合を占めているのか気になる。

    • 「ありがとう」の一言のせいでOpenAIが莫大なコストを払っているという逆説を思い出す。
      https://www.vice.com/en/article/telling-chatgpt-please-and-thank-you-costs-openai-millions-ceo-claims/

    • You're conciseでpersonalityを設定すると、かなり時間を節約できる。
      基本的な知識レベルも明確に決めておけば、自分がすでによく知っている分野の説明を繰り返し聞かされずに済む。

    • 考えたこともなかったけれど、本当に興味深い。
      従量課金のLLM APIは、冗長に答えるほど収益が増えるので、ユーザーの本当の望みと衝突する可能性がある。
      今後どんな方向に進化するのか気になる。
      楽観的なSFのように考えるなら、テレグラム時代の略語のような新しい圧縮言語が現れるのかもしれない。
      実際には、ChatGPTでそうした略語をほとんど見たことはない。

  • 本当に核心を突いたポイントだ。
    まさに、なぜあなたが絶対的に正しいのかを明らかにしている。