Brownの試験で大規模なAI不正行為を告発した教授
(english.elpais.com)- Brown Universityの上級数理経済学科目 ECON 1170 で、3月の中間試験中に少なくとも50人がAIで不正行為をしたとの疑惑が持ち上がり、学業への信頼の問題が大きくなっている
- 試験は take-homeのclosed-book 方式で、一部の答案からはChatGPTに問題を入力したときの出力と一致する不自然な箇所が見つかった
- 中間試験の平均は 96点、満点者は40人だったが、対面の期末試験に切り替えると平均は48点に落ち、89人中59人しか出席しなかった
- Roberto Serranoは大学側の対応が十分でないと見ており、次年度から週次課題を成績に反映せず、take-home試験 も中止することにした
- Princetonも1893年から続いてきたHonor Codeに基づく無監督試験の慣行を終え、AIが米国の名門大学の古い評価方式を変えつつある
Brown ECON 1170で起きたAI不正行為疑惑
- Roberto SerranoはBrown UniversityのHarrison S. Kravis University Professor of Economicsで、学部上級の数理経済学科目 ECON 1170 を教えている
- 3月の中間試験で少なくとも50人が不正行為をしたという 決定的な証拠 があると明らかにした
- 彼は今回の事件を、BrownおよびIvy League全体で知られている中でも最大級の不正行為スキャンダルだと見ている
- Ivy LeagueにはPrinceton, Harvard, Yale, Columbia, Cornell, Dartmouth College, University of Pennsylvania などが含まれる
- Brownの上層部にこの件を報告したが、大学側の反応は十分ではなかったと語っている
- 学長は沈黙し、学部長は事件がAcademic Code Committeeに回された後になってようやく「wake-up call」という趣旨のメモを送った
- Serranoは「Academic integrity is a value worth defending」と述べ、高等教育の未来を守るには 問題の深刻さ を公に認め、幅広い議論を始めるべきだと考えている
試験方式と異常に高い成績
- 今学期の中間試験と期末試験は、どちらも take-home, closed-book 方式で計画されていた
- Ivy Leagueではこうした方式の試験の伝統が一部に残っている
- 学生にほぼ無制限の時間を与えるため、通常より難しい問題によって学生の限界を見ることができる方式だとSerranoは説明している
- 試験は、授業で扱ったモデルの仮定を一部変更し、新しい仮定の下で特定の命題が真か偽かを証明させる形式だった
- ECON 1170は通常、履修者が少なく優秀な学生が受講する難しい科目である
- 過去の受講者数は一度に30人を超えたことがなく、ある時は8人しかいなかった
- 今学期は新しい評価方式が理由である可能性もあり、86人 が履修登録した
- 3月5日に実施された中間試験の結果は異例なほど高かった
- 平均点は 100点満点中96点
- 40人 が満点
- 採点者たちは複数の不規則性を発見し、一部の答案には問題をChatGPTに入力して得られる結果と一致する不自然な箇所があった
対面の期末試験後に明らかになった差
- Serranoは中間試験を無効にはしなかったが、最終成績の50%を占める期末試験は 対面試験 として実施すると学生に知らせた
- 期末試験の得点分布が中間試験と似ていなければ、期末試験のみを成績に反映すると告知もした
- 対面で行われた期末試験の結果は中間試験と大きく異なっていた
- 平均点は 100点満点中48点 まで低下
- 中間試験受験者89人のうち、期末試験に出席したのは 59人 のみ
- 期末試験に来なかった27人のうち 22人 は中間試験で満点を取っていた
- 平均点比較:
- Serranoは「不正行為に関する経験的証拠は圧倒的だ」と述べた
- 次年度から評価方式を変えることにした
- 週次課題 はAIでこなせるため、最終成績に反映しない
- どれほど適しているように見えても take-home試験 は今後実施しない
キャンパス銃撃事件が試験方式に与えた影響
- Brown Universityでは前年12月13日に銃撃事件が発生した
- 48歳の元博士課程学生Neves Valentesがキャンパスに銃を持って現れ、発砲した
- 2人が死亡し9人が負傷、一部は重傷だった
- 銃撃はIntroduction to Economicsの期末試験対策Q&Aセッションが行われていた教室で起きた
- このセッションはSerranoの同僚Rachel Friedbergが進行していた
- 負傷者9人のうち2人はSerranoの授業を受けている学生で、数週間にわたり生死をさまよった末に生還した
- 死亡者の1人であるElla Cookは、事件が起きたその週にSerranoのオフィスを訪れていた学生だった
- 彼女は翌学期にIntermediate Microeconomicsを履修する計画と、経済学・数学の共同専攻の進路相談をしていた
- Serranoは銃撃後、精神的に非常につらい時期を過ごし、事件から1か月あまり後に始まる学期で学生の負担を減らすため、試験をtake-home方式に変更することにした
- 多くの学生が12月の事件以降、キャンパスで不安を感じると話していた
- 彼は34年間で一度だけ、非常に正当な理由でtake-home試験を提供したが、その反応が大規模な不正行為だったことはつらいと語った
AIが揺るがす名門大学の評価慣行
- AIは米国の名門大学における古くからの 学業評価慣行 を変えつつある
- Princetonは 133年 続いた慣行を終え、今後は対面試験で教授が試験監督を務めることになった
- 1893年にHonor Codeが導入されて以来、Princetonでは学生が不正をしないと誓約し、教授は試験用紙を配った後に部屋を出て、終了時に戻る方式だった
- 誰かが不正をすれば、ほかの学生が通報しなければならなかった
- Stanfordを卒業した22歳のジャーナリストTheo Bakerは The New York Times に「A.I. has made deception easier and more remunerative than ever before」と書いた
- 彼はChatGPT初版の公開の2か月前にStanfordへ入学し、4年間にわたって周囲の学生たちがAI利用の誘惑に抗えない様子を見てきた
- 「I don’t know a single person who hasn’t used A.I. to get through some assignment in college」とも書いている
- Serranoも、AIが学生に不正行為へのより大きな誘因を与えていると見ている
- 彼は、このような事件を覆い隠してはならず、真実・品位・誠実さをこれ以上守らないのであれば、学界が信頼性を維持するのは難しいと語っている
1件のコメント
Hacker Newsのコメント
AI時代には、試験は対面・手書きに戻る必要がありそう
この状況に合わせて授業をどう変えたかを書いた: https://htmx.org/essays/universities-and-ai/
皮肉なことに、大型講義室や大規模コピー機のようなコンピューター以前のインフラのおかげで、大学の学位が学生の知的能力を示すより良いシグナルになるかもしれないと思う
古いデスクトップPC、有線LANカード、外部接続のない同じ部屋のスイッチ、レーザープリンター、lubuntuとlibreoffice writer程度があれば、安価に試験室を作れる
少なくともMS Word 2000相当以上のワープロ機能で、エッセイをタイピングできるようにすべき
今でもその方式なら通用しそう
学ぶために、好奇心で来ているので、そういう挑戦は好き
学位課程に登録しておいて、なぜ不正行為をする必要があるのか本当に理解できない。興味もない授業に耐えるのは拷問のようなものだと思う
学生たちも、カンニングペーパー、隠したiPad、携帯電話、試験中の昔ながらのひそひそ話で先を行っていた
代替案としては、試験中にデバイスをかなりしっかりロックダウンするSafe Exam Browserのような方法もある
利害関係の開示: 教員がデジタル試験を作成・実施できるようにする小さなスタートアップを運営しており、不正行為はデジタル試験で教員が最もよく訴える問題なので、Safe Exam Browserと連携している
最後に受けた自宅試験はEE364a: Convex Optimizationで、24時間試験のうえ風邪までひいていた
家にエアコンがなかったのでホテルの部屋を取ったが、本当に過酷だった。プログラミング問題はほとんど正解したが、証明は数問しかできず、その試験とほぼすべての課題のクラス平均は80%以上で、最終成績はA-だった
Stanfordの学生にとってはこの授業はそれほど難しくなかったのかもしれないが、ほぼすべての課題平均がそれほど高いと不正行為を疑ってしまう。手がかりはオフィスアワーだった。どの授業でもオフィスアワーに行くと列ができていて、TAが難しい問題を簡単に解けるヒントを漏らすことが多いとすぐに分かった。参加できる学生には不公平な優位性だった
ネパール人医学生の間で起きたUSMLE不正行為の大規模スキャンダルも思い出す: https://www.medpagetoday.com/special-reports/features/113627
優秀な国際医学部卒業生にたくさん会ったし、その中には驚くほどUSMLEのスコアが高い人も多かった。米国の学生は医学部在学中の2年未満で準備するが、国際学生は卒業後に何年も待ってから受験できるため、準備時間に制限がないのは事実
そのスキャンダル以前は、USMLEで不正行為が可能だとは考えもしなかった。Prometricの試験センターは非常に厳格に管理されているが、やり方は別だった。以前の受験者がいくつかの問題を記憶して秘密のデータベースに追加し、何年も経つうちにほぼすべての設問が蓄積された。受験者たちは全問題を暗記するために途方もない努力をしていた。米国レジデンシーという報酬は人生を変えるので、不正行為が蔓延する理由は理解できる
DartmouthのCS学科で直接見たが、状況は悪い
新しい入門システムのカリキュラムを設計中で、これを敵対的問題として捉えている。つまり、学生が投入努力に対する最高成績を最適化しても、学習目標を満たすようにしたい
そのため紙の試験だけでなく、提出した課題を理解しているか確認する1対1のインタビューも入れている。「このライブラリのこのマクロは何をするのか？」「この関数は何をして、どう動作するのか？」といった事実確認の質問と、「なぜこのコードを$whateverではなくこのように構成したのか？」「別の解決法として何を試したのか？」といった概念的な質問を併用する
コード生成を止めることはできないが、少なくとも生成したコードを細部まで理解していなければならない
自分でコードを書くことほど良くはないが、どれほど劣るのかは分からない。数学の授業ではその隔たりは大きい。他人の証明を理解することは、自分で書くよりはるかに簡単だから。プログラミングの授業では、根拠はないがその隔たりは少し小さいと思う
過去の経験上、こうした評価方式を最初から明確にしておけば、学生はそれを見込んでうまく耐えるか、最初の週に履修を取り消す。自宅試験で始めて学期途中に突然紙の試験を出すと、記事のようにすでに半数が不正行為をしていて、立て直せない
学生には抽象的な学習意欲もある程度あるが、成績によってはるかに強く動機づけられる。少ない努力で良い成績を取れる明確な経路があれば、ほとんどの学生はその道を選ぶ。学部生向けの講義評価サイトの名前が文字通り「Layup List」というくらい露骨だ
教員の仕事は、良い成績につながるすべての経路が実際の学習を必要とするか、単に学ぶより実行が難しくなるようにすること
学生を責めないほうがいい。学生は指標の最適化が得意で、だからこそここまで来た。評価指標を、こちらが望む結果によりよく合わせればいい
Ivyに行く機会を得られなかった人のほうがはるかに多い。不正行為への処罰は自動退学であるべき
採用マネージャーの立場からすると、学校が学生の誠実さを示せないなら、大学の学位には何の価値もない
プログラミングで時々「単に自分でXを作る」ほうが簡単なように、証明の説明によっては必要以上に詰め込みすぎで、自分で90%を見つけ出し、最後の10%だけヒント文をいくつか参照するほうが楽なことがある
LLMの華麗だがもどかしい説明や解法を見て諦め、その後ただ自分でやったことを後悔していない。AIとのソクラテス式問答は、ときにかけた努力に見合う価値がない
CSの学士号を取ったが、誰も成績を聞いてきたことはない。学習を最適化しようとしていたし、現実世界に出るとそれはかなりよく報われる
研究分野がゲーム理論なら、すべての競争相手が LLM を使う可能性がある状況でのゲーム理論的な最適選択は LLM を使うことだと分かっているべきだった
社会は資格を報酬として与えるべきなのか、それとも実力を報酬として与えるべきなのか？
名門学位そのものが目標になっている場所では当然通用しないが、小規模で結びつきの強いリベラルアーツ・カレッジでは、名誉規定がかなりうまく機能することもあるかもしれない
大学教授として、正直なところ成績を付けることの意味が分からない
成績を見て気にするのは誰だろう？ おそらく企業の人事部だろう。だとすれば、なぜ教授が企業のために無料で選別してやらなければならないのか？
しかも成績インフレは、すでに全員に A を付けて企業に直接選抜させてもよい程度にまで進んでいる
かつて学界が今のようにイデオロギーの戦場になる前、高等教育以降の CS 教育で少し働いていたが、そんなことを言っていたらたぶん解雇されていただろう
成績インフレが問題なら、膨らませなければいい。標準化試験もまさにこういう場面で有用だが、多くの人が反対する理由は、実際の水準がどれほどひどいかが明らかになるからだろう
「魚は頭から腐る」
無料でやっていることではない。採点は、UC が教授に給与と福利厚生として 25 万ドル以上を支払って受け取る仕事の一部だ
人事部は存在するシグナルを使っているだけだ。賢い人が大学の学位を持つ傾向があればそれをフィルタとして使い、特定の大学出身である傾向があればそのリストをフィルタとして使い、成績証明書があり、賢い人ほど良い成績を取る傾向があれば成績証明書を要求する
人事部が成績や成績証明書を発明したわけではない
最後の文には同意する。成績、さらには卒業そのもののシグナルは、有名大学でも大きく弱まっている
その状況を改善したいなら、UC の STEM 教員によるこの公開書簡に名前を追加するところから始められる: https://docs.google.com/forms/d/e/1FAIpQLSdwvDywR-CAt3t_U3Aw...
後でチューターがその課題を委員会に持ち込み、high distinction を主張したものの僅差で失敗し、それでもその授業が求める成果物の例として保管されたことを知った
まだ努力と報酬の関係を学んでいた若い頃だったので、大きな衝撃を受けた。生まれつきの才能がそれほど大きくない科目に多くの努力を注いでも平凡な結果が多かったが、粘り強く努力すれば認められるだけのものを作れるのだという事実に驚いた
一方で、今の妻は同じ機関で diploma 科目を履修したが、pass/fail だけだった。多くの人が困惑しており、「pass」に含まれる作業品質の幅は非常に広かった
人間の心はフィードバックループの中で報酬システムを使う。個人的な好みでそれをなくしたいというなら、人間という現実を無視している
そうすれば過信やインポスター症候群に陥らずに済む。新しい内容に取り組むとき、自分のプロジェクトの水準を客観的に見るのは難しい
「在宅・クローズドブック試験」は矛盾語法だ
AI が問題ではないという他の人たちの意見に同意する
時間は十分にあり、質問範囲もおおよそ分かっていた。暗記よりも、実際に資料を習熟しているかどうかを評価するものだった
CS の試験のとき、本を物理的に持ち運べないほど大量に持ってきた人もいたが、あまり役には立たなかったと思う
通常の試験は学生の知識を評価するには短すぎるし、速い学生が有利になるべきではないという考えだった
在宅試験を出して、学生が不正をしないと期待できた時代はもう過ぎたという点には同意する。大半の学生が正直に行動すると期待してよい時代があったのかもしれないが、今日の空気にはまったく合わない
特にコロナ後、いくつかの理由が組み合わさったせいなのか、学生たちは努力に対する成績の比率をミニマックス化すること以外にはあまり関心がないように見える
そのため、学生たちは初期から ChatGPT を使い、それが続くと思っていたところ、初めて不正ができない課題で完全に崩れるという結果になった
私たちは名誉規定を非常に真剣に受け止めていた。私も以前は学生に「外部資料禁止」ルール付きのオープンブック在宅試験をよく出していたが、今ではほとんど不可能だと結論づけた。ここには正式な名誉規定もない
特に印象的だったのは、時間制限のあるクローズドブックの数学試験で、試験用紙には教科書の問題番号が4つだけ書かれていた。教科書を開いてその問題だけを書き写し、ほかは見ずに本を閉じなければならなかった
正直なところ、それは問題を自ら招くやり方で、今、自分が教授になってみると、その教授は不合理なほど怠惰だったと思う。それでも、その精神はよく表れていた。正確には Harvey Mudd の教授ではなく、隣接する大学院の教授だったので、そのことも影響したのかもしれない
トップ大学の競争の激しいプログラムで相対評価を受け、同級生がAIで不正行為をしていると知れば、自分も同じことをせざるを得ないという圧力は大きい
とくに新卒の仕事は以前より見つけにくくなっており、在学中のインターンシップやサイドプロジェクトまでさらに多くこなさなければならないという圧力も強まっている。不正行為なしには競争する方法がない
不正行為とAIの問題は、今やコロナより大きな危機だ。私の経験では、発展・APクラスで不正行為をしない生徒はごくわずかで、理由はおおむね上記の通りだ
AIによる不正行為が問題にならないように授業や試験を設計するには、教師に膨大なリソースが必要になる。知っている多くの教師はほとんど諦めている。すでに教師に求められる時間とエネルギーが天井知らずになっている中で、不正行為を回避するためのコストと労力が大きすぎる
学校運営側もあまり助けにならない。あらゆるレベルでソフトウェアに無批判かつ熱狂的に依存しているからだ。ある意味では、運営側も問題の一部だ
米国外の学校がどうなのかは分からないが、ここでは軍拡競争になってしまった
義務論は家庭から始まる
この場合、正しい行動は、運営側、寄付者、政治家に対して大きく問題提起することだ。必要ならAIを使ってでもやるべきだ
学校が不正行為への処罰を拒む問題は、企業や政治にまで漏れ出している
たとえばMITはそうしている。基準は絶対的であるべきだ
選択肢はある。ただ責任を避けるために、ないふりをしているだけだ
さらに、うんざりするような金融／クオンツ企業を数社除けば、大学のGPAがいくつだったかを聞いてきたところもなかったし、気にしてもいなかった
AIによる不正行為を支持しているわけではまったくないが、数時間に及ぶ筆記試験を監督することほど退屈で、魂を削られる仕事はないと経験上言える
その仕事のせいで、高等教育で教えることへの愛着が薄れてしまった
多くの問題を解くには、Ivan Illichの考えのように https://en.wikipedia.org/wiki/Deschooling_Society 教育を試験や認証ではなく、教育そのものにしなければならないと思う
成績は人種差別だ、というようなばかげた潮流があり、部分的にはNCLBへの反動でもあった
うまくいかない。学習には困難と評価に向き合う過程が必要だ。独学でも同じだ
試験のない学習がどんなものかを見たければ、AIと対話してあるテーマを独学したと信じている人たちを見ればいい。十中八九、何かを知っていると思い込んでいるが、実際の問題を一人では解けない
学生が試験を書いている間、歩くか立っていればいい。採点は退屈だが、監督は中立的な経験だ
「AI時代」とは言うものの、昔でも単にGoogleで問題を探して答えを得ることはできた
UVAで不正行為を減らしていたのは、名誉規定と、各教授が学生の誠実さを信じる姿勢だった。その文化だけでも、不正行為をしないようにするには十分だった
解決策は文化に集中することだと思う。不正行為は常に誘惑的な選択肢であるべきで、学生はその誘惑の中で誠実さを鍛えなければならない。誠実さも、使わなければ萎縮する筋肉である
大学時代は、不正行為で捕まると大変な窮地に陥った。繰り返した者は科目不合格のような深刻な結果を受け、必修の系列科目なら卒業が遅れることもあった。働き始める時期が遅れるので、実際の金銭的コストが発生する
最近の大学は、不正行為の問題を何とか避けようとしているように見える。記事の中の教授も、不正行為の問題に関心を向けさせるのがどれほど難しかったか、自分の学科内でさえ反応がなかったと不満を述べている
学生たちもそれを分かっている。不正行為が臨界量を超え、不正行為者に何も悪いことが起きないのを見ると、不正行為をしなければ後れを取る危険があると感じ始める。不正行為者はより高い成績を取り、この場合は多くの人が100%を取り、資料を勉強している間にパーティーへ出かける。成績が相対評価で配分されるなら本当に不利になる
だから誘惑が広がる。周囲で何人かの若者が、ChatGPTで答えを確認して学んでいるのだと自分をだましているのを見た。しかし、ChatGPTが問題を直し、正解をざっと見ることは非常に表面的だということに気づいていない
押せるボタンがあると分かっているので、自分の作業を確認する努力も減る。そのボタンに頼れない状況に置かれると、すべてが崩れる
この20年のどこかで大学は贅沢品になり、それに伴って顧客としての権利意識も自然に生まれた
さらに、教室での授業、とりわけ教えることを面倒がっているように見える終身在職権を持つ研究教授の授業は、職場のスキルとほとんど関係がないという認識が強まった
そのため、学生が規定を無視してチェックボックスを埋めることに集中するのが賢いと判断したのも、ある程度は正しいと思う
私たちはその合意すらできないので、直すのも難しい
世代間契約全体、学生の信頼の獲得、彼らの自発的な同意が必要だ。冷笑や不信、真剣に受け止められないことから生じる離脱が多い
単にもう少し叱って「不正行為は悪いことだよ、分かったね」と言う問題ではない
出発点の一つは、誰がなぜ大学の学位を必要とするのか、この学歴主義が若者たちの生産的な数年をどのように奪ってきたのかを真剣に問うことだ
少なくとも以前の取引は、専攻と無関係な学士号が関門であっても、中流階級の仕事を期待できるというものだった。ところが、その取引さえ悪化した
現実的には、学位の主な役割は、理想的にどうあるべきかは別として、高賃金の仕事への関門である
ここで問題が生じる。Yの職業に就くために大学でXを専攻するとしよう。会社が、Xの能力がYの仕事に必要だと証明するために学位を求めているのだと考えるようになる
ところが大学に行ってみると、Xの学位を取るのに必要な授業の大半は、実際にはXと何の関係もない。しかも、試験直前に一夜漬けするだけでXについて実質的な知識がない学生たちもAを取って卒業する
夏のインターンとしてYの仕事をしてみると、Yの仕事を学ぶことは、学校で学んだXとほとんど関係がないと分かる。Yの仕事が非常にうまいマネージャーや会社の人たち、全員がX専攻だった人たちは、Xについてほとんど忘れており、むしろ自分よりも知らないが、Yの業務は見事にこなす
インターンを終えると、自分がYの仕事を十分にできることが分かる。しかし学位がないので、まだYの職には就けない。Yの仕事をしている人たちよりXを多く知っており、彼らがその仕事をするのにXの知識を必要としていないことを見たにもかかわらず、学校に戻ってXをさらに学ばなければならない
結局、Yの仕事を得るためにXの学位を強制的に取らなければならないが、Yの仕事にはXの知識が実際には必要ない。さらには、Xの学位がXに関する実質的な知識を意味するわけでもない。どうせ皆、Yは現場で学ぶ
だからXの試験が来ると「なぜここに時間を使うのか」と思い、システム全体がめちゃくちゃなのでChatGPTを使おうと決めることになる
これは大学での私の経験と似ていた。LLM以前だったのでより難しく、あまり勉強しなくてもAを取れたので不正行為はしなかったが、する人を責めるのは難しいと思う
このシステムで誠実さがどこに入るのか、本当に分からない。システム自体に誠実さがないので、その中で誠実に振る舞うことは、損な役回りになるように見える時がある
誠実さを促進するように文化を変えたいなら、教育と学位が恣意的な官僚的関門以上の意味を持たなければならない
もはや在宅試験は終わったように思う
学部生のこうした行動は理解できない。教育に大金を払っておきながら、教育の部分を飛ばす理由は何なのか？
大学卒業後の最初の職場では、会社のベテランたちは皆、高校の卒業証書だけで入社した人たちだった。今では競争力を持つには、現実的には修士号が必要だ。私が住むノルウェーでは、応募者のほとんどが5年制の修士号を持っているからで、実質的には学歴インフレだ
ここには冗談交じりの表現で「Mastersyken」、つまり「修士病」というものがある。あまりにも多くの人が卒業証書だけのために修士号を取り、就職でより魅力的に見せようとするが、結局「全員」が修士号を持つようになり、全員が以前と同じ位置にとどまり、学生ローンだけが増える現象を指す
最悪なのは、働き始めた後で、この仕事は高校卒業直後でも十分できた仕事だったのだと実際に気づく瞬間だ
ほとんどの人にとって大学の目的は、より高い年収の機会を開いてくれる紙切れを得ることだ。だから、その紙切れを得るために必要なことを最小限の努力でやる
学位、とりわけ評判の良い大学の学位がそうした手段であり続ける限り、この行動は続く
あるいは、大学をネットワーキングの機会としてしか見ていないのかもしれない
そもそもそこにいたくない、あるいは学習の価値を見いだせないなら、楽な道を選ぶのは驚くことではない。もしくは、ブラウンに入る時点から不正行為をしていて、それを続けているのかもしれない
しかし私はいつも学ぶことに関心があり、不正行為は学習を避ける方法なのだと理解していた。ブラウンのような場所で提供される教員、TA、講義、実験室、図書館、スタジオ、練習スペース、興味深い講演者、芸術・文化イベント、コンピューティング設備、メイカースペースといった驚くべき学習リソースを、なぜ無駄にするのか？
試験問題がその事実を教えてくれる
教科書、LLM、インターネット、あるいはそのすべてという形のオラクルがある
どちらの行動が教育を飛ばすことなのか？答えを調べることなのか、答えを調べないことなのか？
教師たちは本当にやめるべきだ。どれだけうまくだまし、嘘をつけるかを追跡する指標を作り、就職するには事実上みんながやっているからと、こちらにもだまして嘘をつくことを強制するのは、あまりにも破壊的だ