チャットボット時代の大学試験運営

 (ploum.net)
7 ポイント 投稿者 GN⁺ 2026-01-21 | 1件のコメント | WhatsAppで共有
  • オープンソース戦略の授業の試験で、学生が自ら学習するよう促すため、インターネット接続と資料活用をすべて許可する非伝統的な試験方式を実施
  • 学生にはチャットボットを使うかどうかを事前に選択させ、使用する場合は出典明記・プロンプト公開・誤り分析を義務化
  • 60人中57人がチャットボットを使用せず、成績は全体として未使用グループの方が優秀な傾向
  • 学生は不正行為への恐れと教員の評価基準に対する認識のため、チャットボットの使用を避ける傾向を示した
  • 教員は**「意識の流れ（stream of consciousness）」ファイル作成を通じて学生の思考過程を把握し、チャットボットよりも自分の思考力を鍛える重要性**を強調

試験運営方式

  • 試験はあらゆる資料とインターネットの使用を許可し、時間制限なし、学生同士の議論可能、自主的な出題も可能といった開放的なルールで構成
    • 学生は試験時の服装も自由に選べ、伝統衣装からユーモラスな格好まで多様に参加
  • この方式は試験を学習の延長線上にし、緊張感を減らすことが目的

チャットボット利用選択制度

  • 学生は試験前にチャットボットを使うかどうかを明示的に選択しなければならない
    • オプションA: チャットボット不使用、使用した場合は不正行為と見なす
    • オプションB: チャットボット使用可。ただし使用のたびに出典・プロンプト・誤り分析を提出しなければならない
  • チャットボットの誤りは人間のミスよりより大きな減点要因として扱われ、利用者は結果に対する責任を負う

学生たちの選択と成績分布

  • 60人中57人がチャットボットを使用しなかった
    • 個人的嗜好グループ: 自律的な学習を重視、成績は15〜19点
    • 非使用グループ: チャットボットとのやり取りが嫌い、平均13点
    • 実用グループ: 試験の性質上不要だと判断、12〜16点
    • ヘビーユーザーグループ: チャットボット依存で混乱が発生し、大半が8〜11点
  • チャットボットを使用した学生3人のうち
    • 1人はチャットボットを使うこと自体を忘れていた
    • 1人は概念確認のために最小限だけ使用
    • 1人は複雑なLLM設定のせいで、かえって理解度が低下した（1つのLLMに質問し、別のLLMに確認を求めた）
      • チャットボットなしで話してみると理解度は十分だったのに、チャットボットの出力物のせいでむしろ理解できなくなっていた。チャットボットがその学生にとっては逆効果だったことになる

不正行為に対する世代的認識

  • ほとんどの学生はチャットボットを信頼していないか、不正行為と誤解されることを恐れている
  • 一部の学生はGoogleの自動生成回答機能でさえ不正行為と誤解されないか心配していた
  • 現在の大学制度では、不正行為をすると最長3年間大学への立ち入り禁止などの強い制裁が存在
  • 教員は、過去の世代とは異なり、学生たちが試験前の協力すら避ける文化に驚きを示した

「意識の流れ」ファイル実験

  • 学生には試験中、自分の考えをリアルタイムで記録するよう求めた
    • 修正・削除禁止、コピー禁止、URLのみ許可
    • チャットボット使用禁止、記録するのは自分の思考だけ
  • 60人中55人が提出し、24人はgit-send-emailで提出に成功
  • この記録により、学生のストレスと思考過程を把握できた
    • 一部の学生は、書きながら問題理解が明確になり、不安が和らいだと述べた
    • 教員はこのファイルを通じて、実際には理解力があるのに表現が不十分な学生を救うことができた

結論と教育哲学

  • 教員はこの方式を翌年も維持する計画
  • チャットボットは道具として活用する能力が重要であり、うまく扱えるなら必ずしも必要ではない
  • 本当の問題は技術ではなく旧世代のインフラ破壊と非効率なシステム
    • Outlook導入でメール体験が悪化し、学生たちはメールを「学長のスパム箱」と呼んでいる
    • 多くの学生がGitとGitHubの違いすら知らないが、これはMicrosoft依存環境の結果
  • 教員は学生たちに「私の世代よりもっと速く、もっと深く学べ」というメッセージを伝え、
    世代間の学習の進歩と批判的思考の継承を強調した

関連記事

1件のコメント

 
GN⁺ 2026-01-21
Hacker Newsの意見

  • 10年前は試験を手書きで受けていて、インターネットやLLMのようなものはなかった
    今でもその方式で十分通用する。学生のググり力を評価するのでなければ、わざわざ別の方式を使う理由はないと思う

    • 私も授業で再び紙の試験に戻しつつある。デジタル機器は禁止し、7つの短いクイズに分けて評価している。プロジェクトの比重は50%に下げた。学生が自分でやったか確認しにくいからだ
    • 問題は採点時間の不足だ。20ページを15分以内で見なければならないこともある。だから選択式、図式、計算問題に単純化している。手書きがあまりにひどい学生も多いので、簡単なターミナル入力くらいは許可してもよさそうだ。また学生がすべてを暗記していなくても、どこで答えを見つけるかを直感的に理解していることが重要だと思う
    • オープンブック試験は新しいものではない。数学や生物学でもよく行われていた。基本概念を知らなければググっても合格できない。単純な暗記よりも批判的思考力を評価する試験設計が必要だ
    • 大学時代、オンライン講義の拡大を推し進めていた時期があった。授業の質は落ち、学位の価値も薄まった。公立大学がなぜ利益最大化を追求するのか疑問だった
    • この方式は結局、暗記力テストに偏ると思う。私も中期記憶がよかったので試験は得意だったが、それが本当の理解を意味するわけではない。記憶力のよい人だけに有利な構造は公平ではない

  • 多くの学生が「なぜ学ぶのか」への答えを見いだせていないように感じる
    卒業後は「解雇されない程度」に知っていればよいのが現実だ。LLM時代にはその基準がさらに低くなる。だからこそ、むしろ伝統的な試験方式に戻るべきだと思う。手書きのクローズドブック試験、口頭試問、宿題はなくし、その代わり数千問の問題と解説を公開して、創造性の土台となる暗記力を鍛えるべきだ

    • 私は大学の目的が単に「解雇されないこと」ではなく、人類の知識の拡張に貢献することだと思っている。しかし今の大学は市場論理に従って企業が望む人材を量産する場所になってしまった。しかも多くの職業は実際には**「無意味な仕事（bullshit jobs）」**なのかもしれない
    • 学生がLLMに継続的に依存できると仮定するのも危険だ。もしLLMの利用料が月1000ドルになったら？ そのときでも仕事ができるだろうか？
    • ヨーロッパでは昔から口頭試問と手書き試験が一般的だった。宿題に点数を付ける文化のほうがむしろ奇妙に感じられた。LLM時代には何を学ぶべきかがより重要になったと思う
    • いまや教育の問いは「どう教えるか」ではなく「仕事と能力の意味は何か」に変わった。社会は能力よりパフォーマンスを重視するようになり、AIはその流れをさらに強めている
    • 私の電磁気学の教授は「公式を覚えるのではなく関係を理解しなさい」と言っていた。しかし私は公式の暗記こそが関係理解の出発点だと思う。物理学は単なる数式ではなく、システムの進化構造を理解する学問なのだ

  • 「ほとんどの学生はチャットボットを使いたがらない」という話は、もう違うように思う
    私は大学教員だが、LLMに依存する学生が爆発的に増えている。この先、LLMなしでは勉強できない世代が出てくるのではないかと心配している

    • 記事中の教授と学生は学習そのものに興味があったから、LLMは必要なかったのだろう。しかし大半の学生は単位取得が目標なので、LLMを使うのが合理的だ。私も興味のない科目ならLLMを使っていたと思う
    • この事例は特殊な試験環境なので一般化は難しいと思う。「AIを使ってもよいが、その結果に責任を持つこと」という条件なら、準備のできた学生はわざわざAIを使わないだろう
    • 大学でLLMの使用が禁止されているなら、学生は恐れを通じて自律的思考を学ぶことになるだろう。批判的思考は継続的に訓練しなければならない技能だ
    • LLMが本格的に料金を請求し始めれば、価格の壁によって多くの学生がアクセスできなくなるかもしれない
    • Googleが検索を壊してLLMボックスに置き換えたのが問題だ。学生側の欲求ではなく、企業の方針が原因なのかもしれない

  • ある教授は、学生の共感力と配慮が驚くほど高いと感じていた。AIへの向き合い方も、他の教育者たちとは違ってとても人間的だ

  • 「試験中に学生同士の議論を認める」という発想は興味深い
    それならチーム単位の卒業証書を出すべきではないか、という冗談も出た。実際にチーム単位で採用する会社もあるので、悪くないアイデアかもしれない

    • 元投稿者です。私はOpen Source Strategiesを教えている。核心は協働だ。問題を定義し、問いを立て、答えを通して理解を広げるなら、それはすでに優れた学習だ。
      もう一つの方法として、学生1が概念を説明し、学生2が理解できるよう20分以内で教えさせる。その後、学生2の回答によって学生1を評価する。互いに責任ある協力を促す方式だ
    • 2人の学生がともに積極的に参加しなければならないというルールがあれば、さらによさそうだ
    • 学校の競争的な文化への反動として、このような協働型授業が生まれたように思う
    • 「いっそすべての卒業証書をOpenAIに送ればいい」という皮肉な冗談も出た。教育の価値が揺らいでいることへの風刺だ

  • この教授の柔軟な試験設計は印象的だ。学生を理解し、期待値を明確にし、一緒に学ぼうとする姿勢はめったに見られない

    • 元投稿者です。たいていの教授は標準的な試験が得意だったから教授になった人たちだ。私は逆に成績の悪い学生だった。最低点で卒業したが、オープンソース分野でキャリアを築き、そのおかげで教授に採用された。非伝統的な経路に感謝している

  • 「学生たちは不正行為を恐れて互いに協力しない」という話には驚いた。昔はむしろ不正が蔓延していたと聞いていたからだ

    • 私は修士課程で教えているが、ここ数年、学生の約15%が露骨に盗用している。しかも2人がバイト単位で同一の答案を提出したことまである
    • この授業が全学生の一般的な行動を代表しているわけではないかもしれない

  • この教授の授業スタイルは本当に思慮深くバランスの取れたアプローチだと感じる。学生に自律性と責任を同時に与える構造になっている。
    「私の目標は、君たちが私よりも速く深く学べるようにすることだ」という言葉がとりわけ印象的だ