ミシガン大学、アルファベット順で後ろの名前の学生ほど低い成績を取ることが判明

 (record.umich.edu)
1 ポイント 投稿者 GN⁺ 2024-04-21 | 1件のコメント | WhatsAppで共有

逐次採点バイアスに関する研究結果

  • ミシガン大学の研究チームが3,000万件以上のCanvas成績記録を分析した結果、アルファベット順で後ろに位置する姓を持つ学生ほど、より低い点数を受ける傾向がある
    • これは逐次採点バイアスと、Canvasで学生の提出物のデフォルト順序が姓のアルファベット順に基づいているため
  • アルファベット順で不利な学生は、より否定的で丁寧さに欠けるコメントを受け、学生の事後的な成績への不満で測定した採点品質も低い
  • 研究チームは採点の公平性と正確性について多く考えていたが、データを見て順序が差を生むと気づくまで、この問題を認識していなかったという

研究データと結果

  • 2014年秋学期から2022年夏学期まで、Canvasにあるすべてのプログラム、学生、課題について利用可能な過去データを収集
    • 大学の登録データで補完し、学生の背景、人口統計、大学での学習軌跡に関する詳細情報を含めた
  • データはミシガン大学のものだが、研究チームは学習管理システムに共通する設計上の問題により、他の機関やコースにも一般化できると述べている
    • 学生の課題を名前のアルファベット順に並べるデフォルト設定に起因する
  • 評価者がより多くの課題を採点するほど、採点品質が低下する明確なパターンを発見
    • A、B、C、D、Eで始まる姓を持つ学生は、無作為に採点された場合より100点満点で0.3点高い点数を受ける
    • 同様に、アルファベット後半の姓を持つ学生は0.3点低い点数を受け、合計で0.6点の差が生じる
  • 0.6点差は小さく見えるが、このような不一致は学生の科目GPAに影響し、それぞれのキャリアパスにおける機会へ悪影響を及ぼす

研究の背景と提案

  • この研究アイデアは、教育技術を研究するワンとAIを研究するペイが研究について議論している最中に生まれた
    • 機械学習の基本作業であるデータラベリングも長く退屈になりうる連続作業だが、無作為に行われる点に注目した
    • 予備研究を通じて、採点時間に伴う成績の不均衡があるかを確認した
  • 研究チームは、疲労がこうした効果を引き起こす主要因の一つである可能性が高いと推測している
    • 長時間何かを続けると疲れ、注意力が落ち、認知能力が低下する
  • Canvasや他のオンライン学習管理システムには、課題を無作為の順序で採点するオプションがあり、一部の教育者は利用しているが、デフォルトモードはアルファベット順
    • 簡単な解決策は、デフォルト設定を無作為順にすること
  • また、学術機関には、大規模授業により多くの採点者を雇うこと、作業量をより多くの人に分配すること、あるいはバイアスを認識して減らすための訓練を行うことを提案している

GN⁺の意見

  • 逐次採点バイアスが学生の成績に実質的な影響を与えるという点は、教育評価システムの公平性の問題を提起している。成績が学生の将来に大きく影響するだけに、改善は急務に見える
  • ただし英語圏の国に限定された研究であり、日本では大きな問題にならない可能性もある。五十音順や漢字の画数順にした場合にも同じ現象が現れるのか、国内研究が必要に思われる
  • 評価者の疲労度が採点品質に影響する点は、教育現場で評価業務に対する適切な報酬と支援が必要であることを示唆している。過度な業務負担は公正な評価を損なう可能性がある
  • AIベースの自動採点システムの導入も一つの代替策になりうる。ただし、バイアスの問題が完全に解消されるとは限らず、評価の質的な側面を補う方策もあわせて求められる

関連記事

1件のコメント

 
GN⁺ 2024-04-21
Hacker Newsの意見

以下はHacker Newsのコメントを要約した内容です:

  • 大学で試験を採点する際、机に積まれた答案用紙の順番は回収された順です。採点者は、同じ部屋で各自が特定の問題を担当して一貫した点数を付けるために、答案をシャッフルします。採点順は事実上ランダムだと言えます。
  • 課題の提出物を採点する際は、学生の名前のアルファベット順で採点することになりますが、公平性のために順番を混ぜるべきだという点に誰もが同意しています。理由は、(1) 序盤はまだ疲れておらず、(2) 終盤にはもうすぐ終わるという気分の高まりがあり、(3) 最初のうちはありがちなミスや傾向をつかめずに見落とすことがあるためです。
  • 小学校のとき、筆者は苗字が名簿の一番前だったため、チケット管理や体育の授業で最初に評価されることなど、特別な役割をよく任されたそうです。内向的な子どもには面倒なことでした。
  • 80〜90年代の学校では、苗字のアルファベット順で席を前後に配置していました。高校時代には、A〜Dの苗字の生徒には優等生が多く、U〜Zの苗字の生徒には問題児が多かったそうです。先生の近くに座ってより注意を向けられたことが理由だったのかもしれません。
  • ZやWのイニシャルを持つ人はアルファベット順の並びを強く意識しますが、AやBのイニシャルを持つ友人たちはそうではないそうです。
  • 大学では、重要な試験や課題は匿名化された受験番号で扱います。完全な匿名ではないものの、制度にある程度の公正さを与えています。
  • 採点時、序盤では特定のミスや予想外の回答に出会わず、後になってから見つけた場合、以前の答案に戻って再採点しなければならないことがあります。
  • デフォルトをランダム順にすることは、バイアスの軽減に役立つかもしれません。ただし、最後に採点される学生が依然として低い点数を受ける可能性はあります。
  • 妻の苗字がYで始まり後ろの方になるのを嫌がっていたため、子どもたちの苗字は夫の苗字（Eで始まる）を先にしてハイフンでつなげたそうです。名前もAやBで始まるようにして、並び順で前に来るようにしたとのことです。
  • 『グレッグのダメ日記』では、アルファベットの早い苗字の子どもたちが教室の前の席に座り、より多く質問され、その分多く学ぶという内容が出てきます。
  • アルファベットの後ろの方の苗字を持つ生徒の父親として、息子の授業で教師がプロジェクトレビューを苗字順で行うと、約40%のケースで後ろの方まで扱きれないのを見ているそうです。ただし、すべての生徒が積極的に教師のもとへ行くわけではないため、成績が低くなる可能性があります。
  • Helen Wangがなぜこのテーマを研究したのか気になっている、という声もありました。