ミシガン大学の研究：アルファベット順で後ろの姓の学生ほど成績が低くなる
(record.umich.edu)- ミシガン大学の研究チームは、3,000万件以上のCanvas採点記録を分析し、姓がアルファベットの後ろにある学生ほど低い点数を受ける傾向を確認した
- 主な原因は、提出物を姓のアルファベット順で表示するCanvasのデフォルト並び順と、採点者が課題を順番に評価することで生じる逐次バイアスにある
- A-Eの姓の学生はランダム採点より100点満点で0.3点高く、アルファベット後方の姓の学生は0.3点低くなり、合計0.6点の差が生じる
- 約5%の採点者がZからAの方向で採点した場合には差が逆に現れ、姓そのものよりも採点順序が点数差を生むという解釈を裏づけている
- 0.6点差は小さく見えても、科目GPAや進路の機会に影響しうるため、ランダム採点をデフォルトに変更し、大規模講義の採点負担を減らす対策が必要である
Canvasのデフォルト並び順が生んだ姓イニシャル格差
- ミシガン大学の研究チームは、2014年秋学期から2022年夏学期まで、Canvasで取得可能なすべてのプログラム、学生、課題の過去の採点データを収集した
- 分析対象は3,000万件以上の採点記録で、大学の教務データによって学生の背景、人口統計、学習経路の情報を補完した
- 姓のアルファベット順が後ろの学生ほど低い点数を受け、より否定的で丁寧さに欠けるフィードバックを受け、学生の不満で測定した採点品質も低くなるパターンが見られた
- 関連論文は 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity で、Management Scienceで査読中である
逐次採点バイアスの仕組み
- Canvasは学生の提出物をデフォルトで姓のアルファベット順に並べる
- このデフォルト設計は特定の科目にとどまらず、学習管理システムを使う複数の機関や科目へ広がる可能性がある
- 採点者がより多くの課題を評価するほど、採点品質が低下するパターンが現れた
- Wangによれば、A、B、C、D、Eで始まる姓の学生は、ランダム順で採点される場合に比べて100点満点で0.3点高くなり、アルファベット後方の姓の学生は0.3点低くなる
逆順採点で明らかになった反対効果
- 約5%の採点者はZからAの順で採点する
- この場合、差は予想どおり逆に現れる
- A-Eの姓の学生は不利になる
- W-Zの姓の学生はランダム採点時より高い点数を受ける
- この観察は、当初の点数差の原因が姓そのものではなく採点順序であるという解釈を強めている
小さな点数差が学生に与える影響
- 0.6点差は小さく見えるかもしれないが、学生の科目GPAに影響する
- GPAの変化は、各学生の進路機会にも悪影響を及ぼしうる
- Wangは、採点者に無意識のうちに起きたことが実際の社会的影響につながりうると述べている
研究の着想と疲労要因
- 研究の着想は、Wangの教育技術研究とPeiの人工知能研究を議論する過程で生まれた
- Peiは、機械学習の基本作業であるデータラベリングも長く退屈な逐次作業だが、ランダム化されている点に注目した
- この観察は、Canvasのような教育システムにおける採点時間と成績格差の関係を調べるパイロット研究へとつながった
- 長時間の作業では疲労が蓄積し、注意力や認知能力が低下するため、疲労がこの効果を生む主要因の1つである可能性がある
提案された改善策
- Canvasには課題をランダム順で採点するオプションがあり、一部の教育者はこれを利用している
- しかし、Canvasや他のオンライン学習管理システムのデフォルトモードはアルファベット順である
- 最も簡単な解決策は、ランダム順をデフォルト設定に変更することだ
- 学術機関には次のような代替案も提案されている
- 大規模講義により多くの採点者を雇用する
- 採点業務をより多くの人に分散する
- 採点中のバイアスを認識し減らすための訓練を提供する
1件のコメント
Hacker Newsのコメント
学界で働いている。試験の採点では、答案の束の順番は教室で回収された順で、たいてい1室に5人が集まり、それぞれ特定の問題だけを担当して一貫性を保つ
各自が束を取り、自分の担当問題がまだ採点されていない答案を探して抜き出すので、答案はかなり混ざり、実際の採点順はほぼランダムと見てよい
一方、学期中の毎週の課題はリポジトリにコミットされるが、学生ごとのフォルダは名前の頭文字で始まる。公平性のために毎週採点順をシャッフルすべきだという点では全員一致した。序盤は疲れが少なく、最後の2つくらいになるともうすぐ終わると思って気分がよくなる。また特に序盤は、よくあるミスをまだ全部見ていないため勘所がつかめず見逃し、後ろの提出物ではすぐ見つけられるようになる
もう一つのアルファベット効果として、小学校のころクラス名簿の一番上にいたので、博物館の団体券を持つ、何かを記録する、誰も最初にやりたがらないことを皆の前で最初にやる、体育の評価を最初に受ける、といった役をよく任された。かなり内気な子どもだったので、1年生のころからうんざりしていた
こうすると、同じミスをした学生が同じ点を取ることになる。1問終えるたびに答案の順番も自然と混ざる
単純な選択式には不要だし、長いエッセイにもあまり向かないだろうが、コンピュータサイエンスやセキュリティ分野の技術的な短答問題には非常によく合っていた
全てのミスを一度見てからでないと、そのミスが実際にどれほど悪いのか判断できないからだ
ところが、メモも印も何もないまま**80%**をもらった
それ以来25年間、学生の課題が実際どれほど確認されているのかずっと気になっている
EdTechで働いているが、学生の成果物に対して教師による手動レビューが必要な機能を追加するたび、非常に誠実な教師もいれば、まったく触らない教師もいることが分かる
1本目の赤ペンでは、スペルミスや明らかな用法ミスのような一点ごとの問題を示す。この過程で全体の文章レベルも自然に把握でき、全ての文章に素早く目を通せる
2本目の緑ペンでは、よい論点が出ている箇所や結論に達している箇所を主に余白に示し、次の段階に備える。これも全ての文章に対して行う
3本目の青ペンで文章の質を評価し、批評する。余白に短いメモを残したり、エッセイの最後にコメントを書いたりもする
学生たちはきれいな色を見て笑うこともあったが、方法と理由を説明すると明確に理解してくれ、おそらく感謝もしてくれたように思う
関係あるかもしれないし、ないかもしれないが、80年代から90年代初めにK-12の学校に通っていたころは、いつも姓のアルファベット順で前から後ろまで座らされていた。A〜Dあたりで始まる子は常に前、U〜Zあたりは常に後ろで、どの授業もそうだった
友人の中に自分の姓に近い姓の人が多かったのも、いつも近くに座っていたからだと記憶している。高校生になるころには、A〜Dの姓を持つ高成績の生徒が明らかに多く、U〜Z側には問題児が多かったように思う
教師の近くに座り、より多く関心を向けられた結果だったのだろうか。実験でもなく対照群もないので分からない
友人の中にも眼鏡をかけた子が多く、眼鏡が視力を完全に矯正してくれるわけではなかったので前の席を好んでいた
もちろん1週目に前から始めた生徒にはまだ利点があったと言えるが、おそらくそれほど大きくはなかっただろう
私のイニシャルはZとWなので、アルファベット順ソートをよく意識する。イニシャルがAとBの友人に聞いたら、まったく意識したことがないと言っていた
採点や順位の差は感じなかったが、「あなたの番が来る前に物や時間などがなくなった」と言われることははるかに多く、そのため計画や段取りの問題にずっと敏感になった
私はアルファベットの一番最後で、すでに読む本を選ぶときにも問題になっていた。本は選べたが、いつもアルファベット順だったので、自分の番が来るころには数冊しか残っておらず、人気の本は全部なくなっていた
ビー玉を受け取る番がようやく来たときにも、全部なくなっていた。「私のビー玉はどこですか？」と聞くと、教師は肩をすくめて「なくなった」と言った。たぶん7歳くらいで、たくさん泣き、ほかの子から少しビー玉をもらった気がするが、実際にはビー玉そのものが本質ではなかった
こういう結果以外に何を期待できるのか、今でも理解できない
ある日、教師が「今日は順番を逆にしよう、しかも名前順でも並ぼう」といったことを言った。私の名前はAで始まるので、結局また一番後ろになり、みんな大いに面白がった
私の大学では、ほぼすべての採点が仮名化されていた。毎年初めにランダムな受験番号を受け取り、重要な課題や試験にはその番号を書いていた
それほど重要でない授業課題ではそこまでせず、学籍番号を書くことが多かったが、基本的な考え方は同じだった
論文と、最終成績に影響しない小さな課題いくつかを除けば、名前は書かなかった。匿名性を解除するのはそれほど難しくはなかったが、システムに少しだけ完全性を与えていた
実装はとても簡単な方法なのに、なぜもっと頻繁に使われないのか分からない
私たちの仮想学習環境も、何らかの識別子より提出時刻順で課題を並べていたように思う
個人に対するバイアスは解決するが、提出物がどう並べられるかに関係するバイアスは解決できない
ランダムな識別子とランダムな並び順を併用するのが正しそうだ
ただし、ブラインドのカンファレンス提案書が良い考えなのかはあまり確信がない。過去の経験から、ある人がほぼ確実にホームランを打つと分かっているなら、同じテーマで明確な資格のないランダムな人を選ぶ気にはなりにくい。もちろん、委員会の友人だけを選ぶのは明らかに行き過ぎになり得る
ユーザー名は見た目にはランダムでも、授業のディスカッション掲示板で特定の名前が評判を得始め、学生たちも一部の名前を認識するようになった
ただしコンピュータサイエンス科目は採点基準が非常に客観的な方なので、匿名性がどれほど重要だったのかはよく分からない
「簡単な解決策はランダムな順序をデフォルトにすること」だと言うが、直るという意味は、バイアスがランダムになるということだ。おそらく最後に採点される学生は依然として低い点を受けるだろう
チューター経験上、このバイアスは確かに存在する。だが、完全に間違った解答や非常に見事に正しい解答を別のものに変えることはできない
後になると、苦戦している学生とよくできる学生が分かるようになった。できる学生が間違っていたなら何か大きなことが起きているのでまずざっと見て、苦戦している学生たちの問題を見た後、残りを受け取った順に採点し、最後に苦戦している学生とできる学生を見た。最悪の答案が実際にどれほど悪いのかを見るにはベースラインが必要だった。課題によっては偶然の冒険のようだったと言える
こう書くとまったく冷淡で冷たいように聞こえるが、演習問題で下位3分の1に集中し、彼らがどこで行き詰まっているのかをTAと教授に伝えることは、全員にとって、特にその学生たちにとって非常に役立った。重要な基礎をきちんと固めさせることができた
数か月前に初めて採点してみたとき、私もこれを感じた
最初に採点した答案は特定のミスをしていなかったり、想定した方法で答えていたりしたが、後から予想外の回答やミスに出会うと、すでに採点した答案の点数を考え直さなければならなかった。例えば、誰かの答えのせいで、私が間違いだと見なした答えが実際にはそれほど間違っていないと感じる場合があった
少人数の授業だったので戻ることができ、提出順もすでにある程度混ざっていたため、そのように採点したが、そうでなければ確実にバイアスが生じていただろう
あるバグが非常に一般的だということを何度か見てからようやく再評価することになり、実は簡単に起こし得るミスだと分かった
あるいは、最初は知らなかった新しいバグがかなり一般的だと気づくこともあった。そうなるとテストを更新し、全員に対してもう一度走らせる必要があった
私はかなり徹底してやろうとし、結局山全体を見直すことが多かったが、本当に苦痛だった。適当にやることもできただろうが、学生たちが何週間もかけた作業なので、正直なフィードバックを与えるべきだと感じた
その結果、採点がより寛大になる傾向もあった。怠けていくつかのバグだけを確認すると、各問題で多くの点を引くことになるが、想定したバグにたまたま引っかかった学生には公平ではない。すべてのバグを見つけると、全員の点数を台無しにしないために、バグ1つにつき数点だけ引くしかなくなる
私も同じ状況で、同じようにしてはいる。手作業で本当にランダムに並べ替える自信がないので、提出順が持つごく弱いランダム性に頼っているのだ
うちの子どもたちの姓がそうなっている理由は、実質的にこれだ
私の姓はEで始まり、妻の姓はYで始まる。伝統に反して、結婚時に妻は姓を変えず、子どもが生まれたときにどの姓を与えるか決める必要があった。私たちはハイフン付き姓を選んだ
歴史的には、ハイフン付き姓は女性の姓-男性の姓の順だった。だが妻は育つ中で、自分の姓がアルファベットの後ろの方であることを嫌っていた
そこで再び伝統を破り、私の姓を前に置いて、アルファベット順に並べたとき子どもたちが前の方に来るようにした。ちなみに子どもたちの名前もAとBで始まるので、名の順の並びでも前の方に出てくる
本当に伝統を破りたいなら、結婚せずにただ一緒に暮らして子どもを持てばいい
結局、結婚ほど伝統的なものもないのではないか
私の姓はアルファベットの終わりのほうの文字で始まるので、こういうことにはいつも気づく。今年あったことだが、息子が長期プロジェクトについて教師から継続的なフィードバックを受ける必要がある高校の授業を履修している
教師は姓のアルファベット順にプロジェクトを確認するが、約 40% はクラスの後ろのほうまでたどり着けず、問題があれば放課後に来るようにと言う。しかしプロジェクトの性質上、教師の先回りしたコメントがどうしても必要になる
そのため息子には、問題がなくても教師のところへ行って事前に確認してもらうよう言っているが、すべての子がそうするわけではなく、その結果、低い点を取る可能性が生じる
Helen Wangがなぜこれを研究テーマに選んだのか気になる
並べ替えの深刻な 意図しない結果 が思い浮かぶ
空腹の裁判官効果 [1] に似ている。裁判官は休憩前にはより厳格に、休憩後にはより寛大になる傾向があるという効果だ
[1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect