ツールと対話することの疲労感

 (ohadravid.github.io)
2 ポイント 投稿者 GN⁺ 7 시간 전 | 1件のコメント | WhatsAppで共有
  • LLMはキーボードや自動車のように身体になじむ優れたツールではなく、依頼や交渉を求める相手のように動作し、ユーザーの社会的エネルギーを消耗させる
  • 優れたツールは一貫性と速度のおかげで、脳が身体の拡張のように受け入れるが、ClaudeやCursorのようなLLMはまだその水準に達していない
  • LLMのユーザーは、人と会話するときのように依頼し、説得し、ときには怒りながら社会的コストを支払うことになる
  • 人との相互作用は、学び、挑戦、刺激、反論といった報酬をもたらすが、LLMが主に返すのは、より多くのコードやテスト、言い訳、ときにはバグレポートである
  • 一部の作業は、1年前には1人で行うのが難しかった水準まで可能になったが、あらゆる作業で社会的エネルギーをLLMに費やすほうが、実際の同僚に費やすよりよいのかは不確かである

ツールではなく対話相手になるLLM

  • LLMは動かすために社会的エネルギーを要求するため、疲労感を与える
  • そのエネルギーは、実際の人との相互作用に使うほうがよいかもしれない
  • 優れたツールを使うとき、脳はツールを身体の一部のように受け入れる
    • 自動車の運転
    • キーボード入力
    • VimやVSCodeでキーの組み合わせを押して作業を行う
  • 逆に人と会話するときは、社会的な意識に参加することになる
    • 会話を交わす
    • 助けを求める
    • チケットを次の四半期に先送りしないために協力する
  • こうした社会的な脳の作業は、単純なツールの使用より難しく、より多くのエネルギーを必要とする

LLMが返すものと不足する報酬

  • LLMはキーボードや自動車のようなツールの魔法を与えてくれない
    • ClaudeやCursorが身体の拡張のように感じられると言う人はほとんどいない
    • 一貫性と速度が十分ではなく、脳がツールとして受け入れにくい
  • 代わりにユーザーは、LLMと会話し、交渉し、説得し、ときには怒るという社会的な税を払う
  • 人に社会的コストを費やすことには、より多くの報酬が返ってくるため価値がある
    • 新しく学んだり、挑戦を受けたりできる
    • 刺激を受けられる
    • でたらめを言えば相手が拒否してくれる
    • 逆に、他の人に教えたり、挑戦させたり、刺激を与えたりすることもできる
  • LLMが返すのは、たいていより多くのコード、より多くのテスト、より多くの言い訳である
    • ときにはより多くのバグレポートを返し、それには価値がある
  • ある作業では、LLMのおかげで1年前には1人では不可能だったことができるようになっている
  • しかし、あらゆる作業でLLMとの対話に社会的な脳の作業を使うことが適切なのかは明らかではない
  • LLMはユーザーに話しかけることを求めるが、その努力に見合う報酬を与えることはまれである

関連記事

1件のコメント

 
GN⁺ 7 시간 전
Lobste.rs のコメント

  • 私の場合、AI と会話することはすでに第二の本能のようになっている。今ではありとあらゆる質問で1日に10個くらいチャットを開くし、ほとんど意識すらしていない。
    質問を入れて、読んで、返して、また読むという流れは Google で検索するのに似ている。運転のように手が勝手に動くレベルになったのと同じように、AI と会話することも、少なくとも自分にとっては同じ位置を占め始めている。

    • 私も似たような使い方をしているが、最近はBrave 検索をだんだん併用するようになっている。LLM に頼りすぎると、長期的には調査能力が退化しかねないという感覚がある。
      出典を探し、知識をつなぎ合わせる作業をあまりにも多く代行してくれるからだ。もちろん、重要度の低い答えを素早く得たいときにはよいが、全体としては調査能力を鋭く保つべきだと思う。
    • 一般的なバイブコーディングの流れにはこれを含めなかった。同意する。私も Google 検索のようにチャットを開いて何かを探し、質問を短く保って長いやり取りを始めなければ、かなり軽く感じる。
      特定の質問があるときはコードベースにも問い合わせるが、それは私にとっては同僚に尋ねることに近い。表現を考える必要があり、具体的に聞き直さなければならないことがあり、時には嘘の答えを受け取って、表現を直さなければならないからだ。
    • LLM が幻覚を頻繁に起こすことを考えると、それがよいことだとは思わない。LLM の応答のほぼ半分が正確ではないという研究を見た記憶があり、その数値がその後大きく改善したとも思えない。
      使い方によっては、考えることをほとんど丸投げすることになるので、能力低下のリスクもある。LLM にもっと依存するのではなく、依存を減らそうとすべきだ。

  • 「報酬」の話で言えば、数日前に興味深いことがあった。新人プログラマー2人と仕事をしているのだが、私にとってはかなり難しいバランスだ。人を励ますのは好きだが、新人をコーチするときは成果物を批判的に評価しなければならない。
    そこで褒める機会を探すのだが、彼らが LLM に頼って作ったものをレビューしていると、LLM が、私が褒めて成長させる機会を奪ってしまったのだと気づいた。どの部分が生成されたもので、どの部分が実際に本人が身につけた結果なのか区別できない。
    結局、LLM が行った作業を批評しながら「LLM にもっとやらせろ／やらせるな」と言うことになったり、相手が「でも LLM はこう言っていました」と防御的に反応したりする。正直、コードレビューの価値そのものを考え直すようになった。誰もが自分だけの仮想の「コーディング仲間」を持つようになり、コードレビューで知識を共有する機会が減ったように思う。

    • LLM が介在するなら、アプローチは実際に変える必要がある。今やレビューには2つの層がある。実際のコード変更と、その変更を作るためにツールをどう使ったかだ。
      どちらもフィードバックできる領域だが、2つ目の領域にはまだ専門家がいないので、より協働に近い。それでも最初のルールは明確だ。「LLM がそう言ったので」を超えて、変更の理由と内容を説明できないなら却下してやり直すべきだ。

  • LLM を操るのが疲れるという点には同意するが、運転とは比べものにならない。合法的に運転するようになって30年以上になるが、勤務時間中ずっと運転しなければならないなら、おそらく翌日は休まないといけないと思う。
    自分のミスだけを心配するのではなく、他の運転者の無謀さや無能さのせいで命まで危険にさらされる可能性がある。どこで運転するかも重要そうだ 😅

    • それは自動車のユーザー体験の使いやすさというより、そのユーザー体験を操作したときに起こり得る致命的な結果や、同じことをしている見知らぬ人たちに囲まれていることに、はるかに近いと思う。

  • 著者のツールの定義に従うと、私にとって Firefox はツールの資格がないように見えるし、その基準では Chromium は積極的に悪意があり敵対的だ。
    LLM をめぐる精神エネルギーの節約／消耗の議論は、非常に多次元的だという印象がある。人間のようにチャットする側と、持続的な心を持たない側のどちらに即座に引きつけられるかの度合いがあり、その上に内向／両向／外向の傾向が重なる。思考が線形の言語に近いか遠いかも重要で、LLM は思考を置き換えるものかもしれないし、実際の思考を煩わしい人間のコミュニケーション慣習へ翻訳する作業を置き換えるものかもしれない。読む速度とタイピング速度の差もある。
    文章が扱っている社会的ペルソナと往復の会話について言えば、私は人を読むのが得意ではなく、人を巻き戻すこともできないので、LLM に何かをさせることは人間との会話とはまったく同じではない。回答前の長い部分をのぞき込んで、自分の文の曖昧さがどう解釈されたかを見ることができるし、会話の前半を保ったまま最後の依頼を書き直して、誤った解釈を避けることもできる。その後の回答を誘導するために、履歴の中の LLM の応答そのものを書き換えることもできる。
    ホスティングされた LLM は、安全性に関する思考を完全に書き直させることにはそれほど熱心ではないかもしれないが、それはローカルモデルだけを使うべきもう一つの理由だ。ホスティングされた寡占サービスであること、予告なしの挙動変更、隠された重みだけでも、避ける理由としては十分だ。
    もちろん、こうした操作は人間に対してできるとしても悪いことだ。人間は長く続く人格だからだ。だから、持続的な心を持つように作られていないツールと会話するほうが、時には疲れにくい。私があまりに短く事務的に話しても、ツールは気にしない。
    そして今の助言は、人間同士の会話のように文脈にミスを残してから説明するよりも、最初のクエリを書き直してミスを避けるほうが、ほとんど常にましだということではないのか？

  • Claude と会話するのは心地よいし、人間の好みに合わせて非常に好意的に訓練されているので、同じように感じる人は多いと思う。