2 ポイント 投稿者 GN⁺ 2025-05-05 | 1件のコメント | WhatsAppで共有
  • LLMによる文章作成は、学生の答案から論文レビューまで、見た目はそれらしくても、読む人に新しい考えや経験をほとんど与えないという批判
  • 人々が文章作成を任せる理由は、課題を重要でないと考えている場合、モデルのほうが自分より優れていると信じている場合、商業的な自動生成テキストを作ろうとしている場合に分かれる
  • 文章を書く目的が自分の考えを伝えることにあるなら、自前の考えを持たないLLMの出力は、剽窃よりも空虚な成果物に近い
  • 授業の課題や論文レビューのように形式的に見える作業も、実際には思考と判断を必要とし、LLMはテキストを作るだけで考える過程を代替できない
  • Geminiで作った234語の例は、プロンプトを冗長に繰り返し、一般論を付け加えただけなので、成果物よりも元のプロンプトのほうが読む価値がある

LLMによる文章に表れる文体と限界

  • 学生の課題を採点していると、オイラー角(Euler angles)の欠点を説明する答案のように、ChatGPTの出力に見える文章によく出会う
  • こうした答案は概して冗長で曖昧で、太字の箇条書きスタイルに固執し、プロンプトを繰り返す傾向がある
  • ChatGPT風の文体は見分けられるほど独特だが、名誉委員会に回すほど決定的な証拠ではないと判断している
  • 問題提起をしたとしても、授業の誠実性から得られる利益が、その件を争う時間を上回るかは確信しにくいと見ている

人々がLLMに文章作成を任せる理由

  • 重要ではないと感じる作業

    • 授業を学位取得のための障害物の連続と見る学生にありがちな態度だと見ている
    • 論文レビューでも似た動機が増えており、関連事例としてpaper reviewsを挙げている
    • 多くの研究者はレビューを、すでに過重な業務に付随する作業と考えており、良いレビューを書く時間を確保しにくいと感じている可能性がある
  • モデルのほうがうまく書くと信じている場合

    • 一部の同僚は、LLMが自分より良い文章を作ると信じている
    • 体感として、英語を第二言語とする人たちにより多い現象に見える
    • プログラミングを初めて学ぶ人にも似た傾向があり、プログラミングを暗記して唱える神秘的な呪文のように受け止める態度とつながっている
    • 学術文章でも似た使われ方があり、関連事例としてacademic writingを挙げている
  • 利害が絡む自動生成文

    • アストロターフィング(astroturfing)、カスタマーサポート用チャットボット、オンラインのベーキングレシピにある冗長な導入部が例である
    • こうした文章は人に読ませるために書かれたものではなく、著者の意図も含まれていないと見ている
    • 個人の動機を扱う範囲では、この種類について深くは取り上げない

文章を書く目的とLLM出力の空虚さ

  • 人間が文章を書く主な理由は、元々の考えを伝えるためである
  • その考えは特別である必要も学術的である必要もなく、休暇、飼い犬、好きな色でも十分な題材になり得る
  • 重要な条件は、その考えが自分のものでなければならないという点である
  • 他人の言葉を写せば自分の考えは伝えられないが、少なくとも人間の考えは伝えている
  • LLMには構造上、自前の考えがないため、その出力を公開することは目的のない行為に近いと見ている

重要でなさそうに見える作業も実際には重要

  • Redditの投稿の下に、コンピューターが作った原文の要約をコメントとして付ける行為は、全員の時間を無駄にしていると見ている
    • 原文が要約だけで足りるほど薄いなら、コメントで参加する価値はない
    • 原文が実際に人間による読解を必要とするなら、要約は無意味である
  • 授業の文章課題の目的はテキスト成果物ではなく、学生に考えることを強制する点にある
    • LLMは成果物は作るが、思考過程は作れない
  • 論文レビューで半ば手抜きのレビューは、原著者に不要な作業を増やすだけで、編集者にはすでに知っている以上の情報を与えられない

「モデルのほうが優れている」という信念への反論

  • 専門的コミュニケーションにおいて、LLMは主に余計な文言を作ったり、元のプロンプトの語調を直したりするために使われていると見ている
  • その過程で元の意味がぼやけ、単純な考えにも不要な言葉が何重にも付け加えられる
  • 運が良ければ間違いではないが、重要な細部を完全に作り上げたり、理解しにくい文章を作ったりすることが多いと見ている
  • 人間の拙い文章には、少なくとも共有しようとする内的理解があると期待できるが、LLMにはその期待を置けない

プログラミングとvibe coding

  • プログラマーについては少し共感するが、長期的な結果はより密かに有害だと見ている
  • Peter NaurのProgramming as Theory Buildingを思い起こし、十分に複雑なプログラムの作成には、コード成果物だけでなく、コードの背後にある論理構造についての理論が必要だと見ている
  • vibe codingは、プログラムをほぼ全面的にLLM生成に任せる方式として定義される
  • この方式は理論のない成果物を作り、その結果としてコードは実質的に役に立たないと見ている
  • Naurの表現ではそのようなプログラムは死んでおり、ここでは生まれた瞬間に死んだものに近いとたとえている
  • vibe-codedアプリがセキュリティ問題に苦しむ事例として、OpenAIキーを流出させたvibe-coded recipe appを挙げている

Gemini実験

  • エッセイの論旨をGoogle Geminiに入れ、短い段落2つで文章を完成させるよう依頼した
  • Geminiの出力は234語で、プロンプトを長々と言い換えただけだったと評価している
  • 語調は広く無意味な一般論にとどまり、大仰な語彙を使うが、趣味よく使えてはいないと見ている
  • 例文「Perhaps it stems from a desire for efficiency, a wish to quickly generate text without the perceived effort of crafting each sentence.」は、小さな考えを大きな文にした例である
  • 同じ意味は「Perhaps it stems from a desire for efficiency.」に縮められ、さらに磨けば「Perhaps people do it for efficiency.」になる
  • この実験は、LLMはでたらめを引き伸ばすことには優れているが、それ以外はあまり良くないという結論につながる

むしろプロンプトを読みたいという結論

  • 画像、テキスト、音声、動画を含むどんな創作型生成モデルの出力も、元のプロンプトより見たいと思ったことはないと述べている
  • 生成された成果物はプロンプトより実質が少なく、作られる過程に人間のビジョンがない
  • 創作の目的は自分の経験を共有することにあり、共有する経験がないなら、あえて作る理由はないと見ている
  • 書く価値のない文章は読む価値もない、という結論で締めくくっている

1件のコメント

 
GN⁺ 2025-05-05
Hacker Newsの意見
  • 職場でLLMを使ってばかばかしいほど冗長な文章を作る同僚たちには、いっそプロンプトだけ送ってほしいと、すでに何度も頼んでいる。
    LLMが限られた入力から長い文章を作れるなら、必要なのはその簡潔な入力だけで、残りは作り上げられた余計な飾りだと思う。

    • 頭の中にぼんやりした考えがあり、それを簡潔に表現するのに時間がかかるとき、LLMで自分の言いたいことを圧縮するのはかなり役に立った。
      括弧が多く、半分だけ構造化された意識の流れをタイプしたり音声入力したりして要約を頼むと、自分が言おうとしていたことをよりうまく整理してくれることが多かった。
      Pascalの有名な言葉のように、「時間があればもっと短い手紙を書いただろう」という状況にも通じる。
      ちなみに上の文をLLMに圧縮させてみたところ、「ぼんやりした考えを表現しにくいとき、半分整理された思考を長く話したり書いたりしてLLMに要約を頼むと、意図をより明確かつ効果的に捉えてくれる」くらいの文になった。
    • 「誰かがこのAI生成メッセージを送ってきたのだけれど、この文章を作った短いプロンプトが何だったのか、できるだけ推測して」と頼めばよい。
      これでAIは単なる損失のある見栄えのよい出力機になる。
    • https://marketoonist.com/2023/03/ai-written-ai-read.html
    • 最近BAから渡されたストーリー要件が互いに矛盾していて、以前の議論よりずっと冗長だったため、半日を無駄にした。
      やっと連絡がつくと、実際の要件をChatGPTに入れ、「結果を確認する時間がなかった」と白状したので、本当に腹が立った。
    • 履歴書のようなものをLLMで書くのも、同じように感じる。
      LLMはプロンプトで与えた以上のことを私について知ることはできないので、出力がプロンプトより多くの情報を与えることはできない。
      公開知識に関する質問では、外部資料から新しい情報を引き出せるので、はるかに有用だ。
  • 筆者の見方は気に入っている。ChatGPTやGeminiのようなLLMを使う個人に対する価値判断ではなく、プロンプトを作るために注がれた思考のほうが、LLMの出力より必然的に面白く、独創的で、人間的だという意味だ。
    コード作成にLLMを使ってみた経験上、プロンプトがゴミならコードも客観的にゴミになる。
    自分が何を望んでいるのか分からず、アイデアも構造も計画もなければ、そういうコードが出てくる。
    最近LLMで学術的な文章や創作文章を書いてみた人たちの反論も聞いてみたい。個人のプログラミングプロジェクトでボイラープレートや骨組みを突破する用途以外には、最近のモデルを使っていない。

    • これが核心だ。Sonnet 3.5のような最新モデルでも、プロンプトがオープンであればあるほど、回答はより陳腐で一般的になる。
      結局、ゴミを入れればゴミが出るという構造が繰り返され続ける。
      数週間前にも、現在のLLMがDungeons and Dragonsで優れたキャンペーン制作者になれない理由として、この点を挙げた。
      人間には「制約」がなくてもよい。有能な作家に、静かに座って新しい小説の筋を思いついてみてと言えば、そのままやってのける。
      https://news.ycombinator.com/item?id=43677863
      ただしLLMは優れたアイデアの反応板にはなり得る。
      さらに証拠が必要なら、温度を1.0に上げて、適当なLLMに「DNDキャンペーン用に、既存にない独特なパズルがある独立したダンジョンの一部屋を想像して。パズル、解法、部屋の配置などを具体的に書き、完全に新しく想像力豊かにして」と尋ねればよい。
      99%は「The Resonant Hourglass」や「The Mirror of Acoustic Symmetry」のような、型どおりの物理ベースのパズルを出してくると断言できる。
    • 私の経験では、Geminiは創作文章をかなりうまく書けるが、非常に慎重にプロンプトを与え、編集する必要がある。
      アイデアを入れ、不要なものを削り、トーンと簡潔さを決め、複数の下書きを回すという具合だ。
      https://old.reddit.com/r/singularity/comments/1andqk8/gemini...
    • 複雑な気持ちがある。一般的には、人間が読むべきものを作るのにLLMの出力をそのまま使うべきではないと思うが、翻訳や第二言語での文章作成には大きな例外を認めている。
      同時に、こうした用途でLLMを必要とする人ほど、出力の弱点に最も気づけない可能性が高い。私がスペイン語の文章を書けないのと同じように、LLMが作ったスペイン語翻訳の品質も評価できない。
      極端に言えば、今日の学生はLLMに依存し、よく分からないまま信頼し、何も知らない状態であらゆるものを信頼するようになり、品質や性能すら評価できなくなるかもしれない。
      筆者と見方が違う領域が一つあり、それはコーディングだ。アルゴリズムは好きだが、コードはコンピュータに読ませるために書かれるものであり、コンピュータがコードを書くことに大きな問題は感じない。
      LLMは単純な関数を書く時間を大幅に節約してくれ、プロジェクトの退屈な雑務を素早く片付けて、面白い部分に集中できるようにしてくれた。
      Miyazakiの「人間が自信を失った」という言葉が最もよく当てはまると思う。LLMは反復的で退屈な作業を自動化する優れたツールになり得るが、人の固有の視点を置き換えられると考えるのは悲しい。
    • 創作・専門的な文章では、文法と構文のチェック、ぼんやりした説明から適切な言葉を見つける用途で役に立った。
      構成を作るのにはほとんど役立たない。文章を書くとは、理解が非常に明確であるため、その意味を言葉に縮めても他人がつかめるようにする作業だ。
      LLMはその部分ではあまり役に立たないという点に同意する。
    • LLMは校正に優れている。論文の結論と要旨を書くのにもよい。論文の結果を総合し、見栄えよくする作業だが、ほとんどの科学者が絶望的に苦手としている。
      ただし、すべての情報がプロンプト内になければならない。そうでないと幻覚を起こす。
      出力はそのまま提出できる水準ではないが、空白の画面を眺める代わりに、始めて反復するには十分だ。
      方法論セクションも書かせてみたい。毎回の論文でほぼ同じ情報を別の文で繰り返す作業だからだ。
      しかし、まだ技術的な詳細の正確性は信頼できない。LLMは言語モデルにすぎず、知識や理解はない。
  • こういう書き方をすると、LLMは逆圧縮アルゴリズムのように見える。単純なアイデアをLLMが膨らませて雑然としたものにし、別の人がまたLLMで要約して元のプロンプトに近いものへ戻す。
    この無意味な作業で得をするのはSam Altman一行だけで、彼らはそれを可能にした対価として$0.000000001ほどを受け取る。

    • 答えはそれだと思う。LLMは基本的にデータとテキストの変換・縮約には有用だが、拡張に有用なツールではない。
      例外は、少ない情報を長く表現しなければならない反復的またはボイラープレート的なテキストとコードだ。
    • 実際にはSam Altmanはそのお金を電力と計算コストに使っている可能性が高い。まだそれを収益の流れに変える方法を見つけたのかは分からない。
    • 実際には$0.000001を失っている気がする。
    • その通り。両者は非常に密接につながっている。
      http://prize.hutter1.net/
      序文とFAQ、そしてすべての優勝エントリが今やニューラルネットワークである点を見ればいい。
    • 人間のせいだと思う。なぜ多くの場所で不必要に長い文章を書くことが求められるのか理解できない。
  • 教授の落胆に対する答えはかなり単純だと思う。多くの人は学び、精神を鍛えるために大学にいるのではなく、残酷な社会的ダーウィニズムの経済体制で生き残るために大学にいる。
    Euler角を本気で学びに来た人はもともとごく少数で、残りはAIで自動化されるかもしれない職を得るために通過しなければならない関門と見ている。
    条件づけ強化の観点から見れば、教授は明らかに不正をした学生の点数を下げるだけでよい。
    理論上、学生たちはやめるか、見つからない程度に上手くなるはずだ。後者は将来需要のあるスキルかもしれない。

    • 誰の体制なのか?
      親が「この関門を通過したら、どこかの会社でゴマをすって1ドル稼ぐたびに、私たちがさらに2ドルを出そう」と言うのは確かに変だ。
      働きながら自分で教育を受けるのは、悪くなく尊厳あることではないのか? これは悪い取引なのか?
    • 細かい訂正:彼は教授ではなく、同じ学校で学部を終えた大学院生で、大学生活の大半をコロナ禍の時期に過ごしたようだ。
      少なくとも彼のページにはそう書かれている: https://claytonwramsey.com/about/
      教授たちも実際に教育訓練を受けているわけではないが、この人もきちんとした教授法を学んだようには見えない。
      結局この人はかなり若く、その文章は即興的で強い反応に近い。それに応じて評価すべきだ。
  • LLMの使い方はいろいろある。
    問題は、ある人たちが短い単発プロンプトを投げて、一般的で退屈な出力を受け取ることにある。「ゴミを入れれば、一般的な出力が出る」ということだ。
    私が実際に使う方法は、考えを吐き出して整理を手伝ってもらう、表現や文のつながりについてフィードバックをもらう、非ネイティブとしてトーンやスタイルを改善しつつ個性を保とうとする、雑な文を単純化する、文章の抜けや問題を見つける、といったものだ。
    たいていは反復的なプロセスで、合算したプロンプトの長さは最終結果より長くなる。フィードバックも手動で反映する。
    誰かが「Xについてのブログ記事を書いて」とだけ入力するなら、プロンプトのほうが出力より面白いだろう。しかし5回の修正と文脈があるなら、本当に最終稿の代わりにすべてのプロンプトと下書きを読みたいだろうか?
    望むならここにある: https://chatgpt.com/share/6817dd19-4604-800b-95ee-f2dd05add4...

    • ちなみに、ChatGPTに最初に送った元のコメントのほうが、ここに投稿したものよりずっと良かった。単純で、誠実で、核心を突いていた。
    • 「トーンとスタイルを改善し、個性を保とうとし、雑な文を単純化する」という部分を読んだ瞬間、むしろこの文章はChatGPTが書いたように感じた。
      ちなみにChatGPTに渡した最初の下書きのほうが、ここに投稿した文章より良い。
    • 元のテキストと機能的に同じものを作るために何度も往復したのに、結果は少し悪くなっている。
    • 文章の要点を文字通りに受け取ったように見える。著者が言っているのは、本当にプロンプトを読みたいという意味ではなく、あなたが言おうとしていることに関心があるという表現だ。
      この点を学生に理解させるのは非常に難しい。教師が歴史的出来事について文章を書けと言うとき、それは学位へ向かう儀式のようなものではない。
      目的は、情報を集め、理解し、吸収し、読んだものを批判し、最終的に自分の意見を作るための複数の能力を向上させることにある。
      「考えを吐き出してLLMに整理させる」という言い方は、情報を実際に吸収する能力を育てることに関心がない、という意味に聞こえる。
      私には、面白い人間になることに関心がないというサインのように見える。成熟度の問題だと思うし、いつかは理解するだろう。
      著者の言葉も結局はこれだ。私が関心を持っているのは、あなたが気にかけているテーマについてあなたが言うべきことなのであって、気にかけている、あるいは知っているふりをするためにできる何かではない。
      自分で考えを整理できないなら、まだ面白い地点に到達したとは信じにくく、そこへ行くには練習が必要だ。
      ところが練習せずにLLMを使うと、結局面白い人になれないのではないかと心配している。
    • その通り。LLMはスキルを要するツールだ。ここに私が追加で使う用途は、XYZという言語への翻訳だ。
      これも常に簡単というわけではなく、「どの地域に住む人々が使う言語に翻訳してほしい」といった形で繰り返さなければならないことがある。
      著者が正しい部分もある。第二言語の使用者として、LLMは私より良い文章を作ってくれる。
      しかしプロンプトは外国語で、下書きの断片が混ざっていて読者には役に立たないので、共有するつもりはない。
      本の草稿を編集者や翻訳者に渡すのに近いと思う。
  • AIが登場して以降、ずっとプロンプト対出力の比率について考えてきた。
    私たちが使っているシステムの特性上、プロンプトは出力より短いものだと自然に仮定しがちだが、望むものをより具体化するほどプロンプトは長くなり、出力サイズは変わらない。
    エッセイを書く代わりにエッセイに盛り込む内容を説明するなら、その説明は必然的にエッセイそのものより長くなる。何を言うかを説明することは、ただ言うことより多くのテキストを必要とするからだ。
    より少ない労力でより多くの労力が返ってくると期待しているという事実は、私たちが得ているものが結局は埋め草なのだということを示している。
    だからプロンプトのほうが面白いし、何を書くべきかわからずプロンプトを書き始めた結果、その過程で突然、言おうとしていたことが明確になったことが何度もあった。
    全般的に、AIは単純なアイデアを複雑に拡張するより、複雑なアイデアを単純に圧縮するほうがはるかに有用だ。

    • だから、こうしたシステムがソフトウェア開発を効果的に置き換えるのは難しいだろう。
      作りたい新しいシステムを英語で十分正確に仕様化して、望むシステムを正確に得られるほどになっているなら、むしろコードを書けばよい。
    • 重要なのはプロンプトと出力の比率ではなく、出力を得る速度だと思う。
      1時間かけて500語のプロンプトを書き、表の行のような追加データをX個付けたらLLMが完璧な答えをX個返してくれるなら、自分でその文字を入力した場合より出力比率が悪いことは重要ではない。
      重要なのは、その1時間と数分のLLM処理時間の中で仕事をより速く終えられたかどうかだ。
      プログラミングと似ている。LLMを使う目的は、自分で書けるコードより良いコードを書くことではなく、十分に良いコードをずっと速く書くことにある。
    • その通り。LLMは自分のミスを映し返してくれるラバーダックになり得る。
      ただし他の人も言っているように、プロンプトは私たちが思うほど興味深いものでも反復的なものでもないかもしれない。「課題はこれ、答えは何?」というだけかもしれない。
  • 著者の趣旨には全面的に同意するが、学位を得ることに伴う経済的条件と障壁に反論するのは難しい。
    ほとんどの人は学位を良い職に就くための入口と見ており、それは経済的に自然なことだ。
    残念ながら、最近の雇用主もこうしたコピー&ペースト式の作業を助長している。MetaとGoogleが、新たに書かれるコードの大半はAIが作ったものだと言っているのを見ればいい。
    世界はAIに食われるだろう。

    • 測定するものが得られるものであり、人々はその指標を攻略すると予想すべきだ。
      昔は最も賢い人か最も裕福な人だけが大学に行ったので、大学の学位は賢さの代理指標になった。
      今では大学卒業者が良い仕事を得るのだから、全員に良い仕事を与える方法は全員に学位を与えることになる。
      ほとんどの人が学位の土台となる学習には関心がなく、仕事にしか関心がないなら、結局は合格ラインと最後の証明書だけを気にする学生が出てくる。
      人々がゲームをしに来ているだけなら、彼らが学ぶと期待することはできない。
      ただし90%が目の前の機会を逃しても、10%はその機会をつかんで骨の髄までしゃぶり尽くすだろう。
      大学にいるなら、提供される知識と相互作用する機会を活用することを勧める。大学は誰にでも開かれているかもしれないが、その中の金を見つけて本当に学ぶ人は、運の良い少数だ。
      ゲームは最終スコアだけがすべてではない。はるかに多くのものが提供されている。
    • そうやって学位を得ても実際には何も学ばないまま就職に応募し、卒業を助けたのと同じAIで面接官をだまそうとするだろう。
      LLMがすでに、LLMなしでは機能できない開発者の最初の世代を生み出してしまったのではないかと恐れている。
      仕事の一部にLLMを使うのは構わないが、LLMなしでも機能できなければならない。
      すべてのデータをAIプロンプトに入れられるわけでもないし、LLMでは解けない問題もある。単純な問題で生成されたコードや設定に依存していると、自分の能力を育てられない。
    • 著者の趣旨には同意しない。世界はこうしたツールやモデルを二つの陣営に分かれて受け入れていると思う。
      Claytonの「生成モデルの出力より元のプロンプトを見たいと思わなかったことはない。出力はプロンプトより実質が少なく、人間のビジョンがない」という結論には強く反対する。
      私たちはAIでこれを作ったし、創作者でないなら生の入力を見たいとは思わないはずだと確信している。
      https://www.youtube.com/watch?v=H4NFXGMuwpY
      AIユーザーは二種類に分かれるだろう。AIを完全なエンドツーエンドのツールとして使う人と、すでに行っている作業や創造性を強化するツールとして活用する人だ。
      後者は明らかにAIの優れたユースケースだ。
    • 学位を基準に採用する側も、LLMで学位を得る人たちよりましではないからだ。
      もしかすると、学生の評価方法に大きな変化を強いるかもしれない。エッセイを提出した後、教師がそのテーマについて対話し、実際にどれだけ吸収したかを確認しなければならなくなるかもしれない。
      あるいは、LLMがすべてを悪化させるだけである可能性のほうが高いと思う。
  • 講師が学生に、ただ講師のテキストを繰り返させる質問を投げているから起きることだ。
    きちんと教えるにはこうすべきだ。
    「Tinkertoysで作った小さなダミーのロボットアームがある。回転ベース、肩、肘という3つの角度関節があり、各関節には角度を見られる分度器が付いている」

    1. この3つの角度に基づいて、腕の先端がどこにあるかを計算する。これがEuler角の実際の働きであり、それほど難しくない。
    2. テーブル上の特定の点に届かせるには角度をどうすべきかを計算する。このロボット構造には単純な解法があり、“two link kinematics”を調べればよい。導出する必要はなく、望む位置へ腕を送る方法を計算できればよい。解は一意か? ヒント:解は2つ以上あるかもしれないが、多くはない。
    3. 追加課題:手首関節をもう1つ付ける。今度はテーブル上の特定の点に届かせるには角度をどうすべきかを計算する。3関節は2関節よりはるかに難しく、解は無限にある。“N-link kinematics”を調べ、動作する単純な解法を作る。ただし最適化しようと頑張りすぎないこと。それは最適制御の科目で扱うことだ。
      こうすれば、これらの問題が実際に何を意味するのかをきちんと理解できる。
    • LLMにはそれができないのか? 少し驚きだ。
      ロボティクスはまったく知らないが、かなりよくある課題に聞こえるし、LLMが他人の宿題を吐き戻せそうな種類に見える。
    • とてもよく言った。それは悪い課題だ。
      1人の学生がそうするならその学生が問題かもしれないが、90%がそうするなら課題のほうが間違っていると思う。
  • LLMが登場するずっと前にも教えたことがあるが、コピー&ペーストしたゴミのような提出物は多かった。
    いつも0点を付けており、盗作だとは言わなかった。盗作として扱うには大学の行政手続きが必要だったからだ。
    代わりに「Xを求めたのに、貼り付けた意味不明なものを出した」とだけコメントしていた。
    LLMの出力が今のような水準である限り、課題で実際に競争力を持つ脅威はあまりない。
    学生が自分の声に書き換えるほど注意深いなら、むしろ成功だと見る。データラベリング外注業者がRLHFで整えたLLMのゴミをそのまま提出するなら、ただ0点を付ければよい。

    • ここでは著者も問題の一部だ。学生がChatGPTのデタラメを提出しても見逃すなら、当然そうする。
      学生はブログの3000語の感情的な訴えには関心がなく、最も抵抗の少ない道を選ぶ。
      課題全体に線を引き、大きな赤字で「ChatGPTのデタラメ、0点」と書いて返す覚悟がないなら、そもそも課題の目的が何なのか自問すべきだ。
      ただし、理解はできる。大学は学生が金を払って学位を取る仕組みになり、教授たちは管理者の前で、どんな基準や規律も執行する力を失っている。
      だからできるのは、ChatGPTのゴミに最低合格点を与え、学生が決して読まないブログで哲学を語ることだけだ。
    • Matlabの試験を監督して採点したとき、まさにこうしていた。
      明白な不正行為だった。たとえば、間違ったコードで正解を得ている場合だ。
      しかし不正行為として告発する行政手続きを踏むつもりはなく、ただ0点を付けた。
    • LLMを使ったと疑われた学生が異議を申し立てないと仮定しているのだろうか?
      正しい答えに0点を付ければ、成功する苦情や異議申し立てにつながりそうだ。
    • 子どもの頃、学校で本当に独創的なアイデアで本来のエッセイを書いていた。
      しかし新しいアイデアには失敗の可能性があり、そのため大半はあまり良くなく、低い点を取った。
      どうすればよいか分からず、やがて指定図書を読まずにWikipediaの要約と他人のレビューをもとにエッセイを書き始めた。
      初めてAとA+を取り、平均的な水準の独創的な文章でさえ、人々の半分は理解力が低すぎて理解できないのだと気づいた。
      文学においてアイデアが本当に知的だと認められるには、実際に読んだ内容を覚えていない人々にも魅力的でなければならない。
      知識があり賢い人にとっても、似たような情報の海が視界を曇らせる。
  • 授業のライティング課題の目的は、テキストの成果物を作ることではなく、学生に考えさせることであるべき。言語モデルは前者は作れるが、後者は作れない。
    教育界や学界の多くの賢い専門家や研究者がこれを理解していないのを見るのは、非常に絶望的だ。
    彼らは仕事を単純なアウトプットの生産と見なし、その過程が知識・技能・経験をどう積み上げるのかを考えていない。
    いちばん分かっていない学生たちは、ライティングや問題解決の目的、LLMの限界を理解しないままLLMに引きずられ、何年も無駄にしている。
    時には数十万ドルをかけて脳を退化させ、紙切れを1枚得ただけで、はるかにオープンな問題が出てきてLLMの問題解決品質が大きく落ちる現実世界に直面することになる。
    実際に自分で問題に取り組んで学ぶ人は、長期的にはものすごい優位を持つことになるだろう。

    • ぴったりの比喩を見たことがある。LLMで学校の課題をやるのは、フォークリフトに乗ってジムへ行くことのようなものだ。
      私たちが気にしているのが重りを移動させることだけなら、道具を使うのが正しい。
      だがこの作業は、それがあなたにもたらす効果のためにやっている。教師が質問するのは、答えを知らないからではない。
    • 私は学位を取るためにそこにいる。
      学び、資料に没頭したいなら、6万ドルを節約してオンラインで無料で、おそらくもっと効率よくできる。
      授業のライティング課題の目的は、大学に私へ学位を与えさせることだ。
      実際に資料を学んだからといって学位が得られるわけではなく、教授たちが設けた関門を通過し、莫大な授業料を払って初めて可能になる。
      実際に学んだうえで、その事実について有効な就職可能性の認証を受けられる別のシステムがあればよいが、教授たちが欲しがられる就職可能性の証明書の門番である限り、このインセンティブ問題は続くだろう。
    • 木を見て森を見失っている。
      子どもの頃に「『指輪物語』でなぜ善の勢力が勝ったのか」というエッセイ課題を出されたとき、それは実際に小説を読んだか確認するための関門だった。
      選択肢は3つあった。小説を読んで自分でエッセイを書く、既に書かれたエッセイを探す、友人のエッセイをテンプレートとしてもらって書き直す、だ。
      インターネット以前は既に書かれたエッセイを探すのも簡単ではなかったが、よくあるテーマについてのエッセイ集はあり、教授に見つかったり、誰かが同じ出典を使ったりするリスクがあった。
      AとCは、少なくとも小説について学び、ライティング力を磨かせてくれた。
      今では、一度も聞いたことのない小説についてChatGPTに4ページのエッセイを書かせて終わらせることができる。その過程で得られる価値はない。
      単純な例だが、プログラミングにもまったく同じことが当てはまる。初心者プログラマーは、LLMが難しい作業や知らない言語を扱う力を与えてくれると主張するだろうが、その経験から技能や知識を得ているわけではない。
      Google MapsにPragueからBrusselsまでの道順を探してくれと頼めば、目的地まで案内する曲がる地点のリストはくれるが、その過程でドイツの地形を学んだと主張することはできない。
    • ChatGPTが2023年初めに爆発的に広まった時点で、教育者が教育方法を考え直す必要があるのは明白だった。
      著者が描写した状況が満足のいくものではないという点には同意するが、その大部分は教育システム、さらには書き手の責任だ。
      そういう授業のライティング課題なら、学生がLLMを使うのは当然だ。クラスメートが使っているなら、使わないほうが愚かだ。
      教育者は教え方と評価方法を再構成しなければならない。著者がこれに気づいていないのは奇妙だ。
      大学や学校はAIについて運営の仕方を変えなければならず、そうしなければ学生を失敗に追い込むことになる。
      AIが社会に潜在的・現実的な問題を多く抱えていることは分かっているが、適切に受け入れれば教育経験を前向きに変える可能性もある。
    • こうした不満は、少なくとも2つの理由で無視される気がする。
      第一に、学生は捕らわれた聴衆だ。そこにいたくないのに、法律がそうさせている。
      義務教育を過ぎても同じだ。惰性で高等教育へ押し流され、本当の選択肢や代替手段があることに気づいていない。
      第二に、授業で育てる多くの技能は実際には役に立たない。
      第二言語である英語の授業に多くの時間を費やしたが、実際に言語を教えてくれたのはインターネットの利用だった。後半の英語の授業は、ただ忙しいふりをする作業だった。
      母語の授業でもかなり多くのエッセイを書かされはしたが、役に立ったのはその授業の期末試験だけだった。
      それ以来、「本物の」エッセイを書いたことはない。仮に書くとしても、おそらく英語で書き、フォーラムの投稿から学んだ別のスタイルを使うだろう。