学生を不正行為で誤って告発するAI検出器 ― 大きな影響をもたらす
- 教師のおよそ3分の2が、AI生成コンテンツを検出するためのツールを定期的に使っていると報告している。この規模では、小さな誤検出率でもすぐに積み上がりうる。
Moira Olmstedの事例
- パンデミック初期に大学を一時離れ、家庭を持つために休学していたMoira Olmstedは、学校に戻ることを切望していた。
- 2023年にCentral Methodist Universityのオンライン講座に登録したが、提出した課題がAI検出ツールによってAI生成の可能性があると判定され、0点を付けられた。
- Olmstedは、自閉スペクトラム症のため文章を形式的な書き方で書くので、AI生成と誤認される可能性があると主張した。
- 成績は最終的に修正されたが、再び指摘された場合は剽窃と同様に扱うという厳重な警告を受けた。
AI文章検出器の正確性の問題
- 優れたAI文章検出器は非常に高精度だが、完全ではない。
- Businessweekは、GPTZeroとCopyleaksを、ChatGPT公開直前に提出された大学出願エッセイ500件のサンプルでテストした。
- これらのサービスは、エッセイの1〜2%をAIが書いた可能性があると誤って指摘した。
- 誤検出された学生は、ニューロダイバーシティ当事者、英語を第二言語として使う人、単純な語彙や機械的な文体を使うよう教えられてきた人である可能性が高い。
- AI検出サービスは、ときにAI文書を人間のものに偽装するよう設計された自動化ツールに欺かれることもある。
Ken Sahibの事例
- イタリアで幼少期の大半を過ごした多言語話者の学生Ken Sahibは、Berkeley Collegeのネットワーキング講座で読書要約課題に0点を付けられたとき、「圧倒された」と語っている。
- 教授は、すべてのツールが同じ結果を出したとして、AI生成だと主張した。
- Sahibは最終的に授業には合格したが、この出来事によって教授との関係は悪化した。
AI検出器の利用に伴う問題点
- 一部の教育者はAI検出器から距離を置き、教育課程にAIを統合しようとしているが、依然として多くの大学や高校でこれらのツールが使われている。
- その結果、教室には虚偽の告発への不安や疑心暗鬼が広がっている。
- 学部生たちは、自分の作業の真正性を守るために多くの時間を費やしており、それが学習体験を損なっていると述べている。
- また、学生向けに特化して売り込まれている一般的なAI文章支援サービスや文法チェッカーの利用も恐れるようになっている。
AI検出スタートアップ
- AI文章検出器は一般に、提出物の語の複雑さを測るperplexityを確認する。
- AI検出企業は、自社サービスを裁判官・陪審員・執行者として扱うべきではなく、教師を導き情報を与えるデータポイントとして使うべきだと強調している。
- Copyleaksは、学生が自分のAIスコアを見られるよう、サービスへのアクセス権を提供している。
- Turnitinは、学生が作文課題をどのように組み立てたかという過程を示せるよう支援するサービスへと、AI製品ポートフォリオを拡張している。
学生たちの対処法
- 指摘を受けた後、Olmstedは再度の告発を避けるために強いこだわりを持つようになった。ノートPCで課題を書く自分を画面録画し、Google Docsで作業して変更履歴を追跡し、デジタルの証跡を残した。
- UC San Diegoの化学工学科3年生Nathan Mendozaは、GPTZeroを使って自分の課題を事前チェックしている。AI検出器に誤って指摘されないよう表現を修正することに、時間の大半を費やしていると話す。
- 別の学生たちは、このプロセスを早めるため、提出物を自動で書き換えてAI検出器を通過しやすくする「AI humanizer」サービスを使っていた。
「AI humanizer」サービス
- BloombergによるHix Bypassのテストでは、GPTZeroが98.1%AI作成と誤判定した人間執筆のエッセイが、このサービスで書き換えられた後はAI比率が5.3%まで大きく低下した。
Grammarlyなどの文章支援ツール利用の問題
- 学生たちは、Grammarlyのような人気のオンライン文章支援ツールの利用を見直すようになった。
- Bloombergは、Grammarlyを使ってエッセイを「改善」したり「学術的に聞こえるように」したりすると、100%人間が書いたと判定された文章が、100%AIが書いたものへと変わってしまうことを発見した。
- Florida SouthWestern State CollegeのKaitlyn Abellarは、Grammarlyなどのプログラム用プラグインを自分のコンピューターから削除したと語っている。
持続可能ではない現在のシステム
- 一部の教育者と学生にとって、現在のシステムは教師側・学生側の双方に負担をかけ、しかもAIは今後も存在し続けるため、持続可能ではないと感じられている。
- University of Marylandの英語教授Adam Lloydは、「人工知能は、私たちが好むと好まざるとにかかわらず未来の一部になる」としたうえで、「AIを教室から隔離したり、学生に使わせないようにしたりするのは間違った考えだ」と述べた。
GN⁺の見解
- AI検出ツールの誤検出問題は、特にニューロダイバーシティ当事者、英語学習者、単純な文体を使う学生に深刻な影響を与えうる。教育機関は、こうした学生グループに配慮し、AI検出結果を慎重に解釈すべきだ。
- AI検出器とAI humanizerサービスの軍拡競争は、教育者と学生のあいだの信頼を損ない、教育的利点はほとんどない。教育課程にAIを統合する方法を模索することが、長期的にはより良いアプローチになりうる。
- 学生の文章力向上のためにGrammarlyなどのツール利用を禁止するのではなく、それらを教育的に活用する方法を検討する必要がある。たとえば、教師が推奨ツールの一覧を直接提示したり、望ましい使い方を案内したりできる。
- Copyleaks、TurnitinなどのAI検出企業が、学生に配慮したサービス開発に努めているのは前向きな変化だ。しかし、こうしたツールに過度に依存するより、学生とのオープンな対話を通じて疑わしい事例に対応するほうが望ましい。
- AIと人間の共存が避けられない未来に備えるには、学生にAIツールの倫理的な使い方を教育し、創造的かつ批判的な思考力を育てることが重要だ。そのためには、教育課程と評価方法に革新的な変化が求められる。
1件のコメント
Hacker Newsの意見
30年間高等教育で数学を教えてきた経験からすると、非対面試験では不正行為が蔓延している。技術を使えなくし、対面試験を求めるのが解決策だが、そうすると学生は授業に登録しなくなるだろう。高等教育委員会がすべての授業でこれを義務化すべきだと思う。しかし、対面試験だけでは十分ではない。学生は学習よりも合格のための作業に慣れてしまっており、不正行為が増えている。K-12教育も変わる必要がある。
AIは今後も存在し続けるのだから、学生の成果を評価する新しい方法が必要だ。かつては電卓が使えないことを理由に試験で禁止されていたが、今では24時間いつでも電卓を使える時代だ。変化に適応し、社会が一緒に対応方法を決めるべきだ。
AIがその課題をフラグした理由を学生に説明しないのが問題だ。アルゴリズムは、なぜ特定の課題をフラグしたのかを正確に説明できるべきだ。現在のAIベースのソリューションはそれを説明できないため、適切ではない。
ある生徒の教師は、すべてのエッセイをAI検出ソフトでチェックすると警告したが、その警告文自体がAI生成物だと判明した。
大学附属の大規模病院で働くコンサルタントとして、ChatGPTを使って英語をより簡潔でビジネス向けに修正している。AI検出器は機能するかもしれないが、スペルチェッカーほど有用ではない。AIは大規模言語モデルにすぎず、実際にはモデルですらない。教師は優れた嘘発見者であるべきだ。
AI検出が100%正確でないなら、何百万人もの学生や若者の将来を判断するのに適切ではないと考える。技術やエッセイ形式から離れるべきだ。テーマに対する習熟度の基準を変えなければならない。
AI生成の作業を識別するのは人間には簡単かもしれないが、それをコンピュータにプログラムするのは難しい。以前の職場で盗用検出器を扱っていて、いかに簡単に騙せるかを思い知った。
教師がLLM検出器を使って学生を不合格にするのは矛盾している。教師は学生が課題を理解していないと非難するが、教師自身もツールの判断を理解しておらず、責任を回避している。
子どもたちの学校ではAI駆動の武器スキャナーを導入したが、学校支給のLenovoノートPCを武器と認識した。AI製品を購入して信頼しているが、まともに動作しない。
人々がアルゴリズムを信頼するようになったことに驚く。仕組みも分からず説明もできないのに、ただ動くと信じている。不正行為だと判定されると、もう何もできない。責任を取らない人が多い。昔は不正行為を疑われても、証明できなければ問題なかった。しかし今では証明する必要すらなく、システムがあると信じられている。