小論文自動採点システム
小論文を自動採点するシステムが出来ているようです。
小論文や論述式の試験の採点は結構難しいです。僕も何度か論述式の試験を出題して採点したことがあるのですが、このタイプの試験は受験者が自由に記述することが出来るため、あらかじめ作っておいた採点基準に当てはまらないような答案が次々と出てきてしまいます。出題した側から見ると、「おいおい、何でそんなこと書いているんだよ・・・（汗」なんて思ってしまうのですが、記述式の問題を出題したのは自分自身なわけですから「変なこと書くなよ」なんて文句をいうわけにはいきません。もちろん、まったくのでたらめが書いてあれば容赦なく減点しますが、微妙に出題意図とずれた解答をされてしまったり、まったく予想外の論点から議論を展開されてしまった場合、判断に困ります。また、こうしたケースでなかったとしても、「解答に対してどのような配点をするのか？」ということも結構難しい問題だったりします。
論述式の試験や小論文は、本人の理解度や文章能力などを総合的に判断でき、知識偏重にならないと言う意味ですぐれた試験方法であるのは事実なのですが、一方で、採点を公平に行うことが難しいという欠点もあります。
複数の採点者が採点した場合、よほどきちんとした採点基準を作らない限り、まったく同じ解答をしたとしても異なった評価が下されると思います。というのも、一人の採点者が採点した場合でも、評価がばらけてしまう可能性があるからです。
実際、僕が論述式試験の採点をする場合に最も手間がかかるのは、一つ一つの答案を採点することではなく、採点し終わった答案の評価が偏ったものになっていないかチェックすることです。もちろん、初めに採点基準を作っておくのですが、ほぼ同じような内容を書いているにもかかわらず点数が学生によって微妙に異なってしまうことが時々起こります。まあ、採点基準をきちんと作っていなかったからそういうことが起こるわけで、あまり堂々とこんなことを公にいうのは問題かもしれませんねぇ（恥。しかし、実際問題として、2000字程度の答案を100枚以上採点していると、同じAという内容の記述に対し「まあいいや・・・」と初めのうちは減点しなかったにもかかわらず、後半のほうになって「こんな記述は許せない！減点！」なんて事をしてしまい、最初のほうと最後のほうで違う採点の仕方をしてしまった、なんて事が起こりうるわけです（汗。で、それを修正するための手間が結構かかるんですね。
ま、僕みたいないいかげんな採点をしている人はまれだと思いますが、一人で採点したとしてもこんな風に評価がばらけてしまうことがあるわけで、これが複数の採点者が採点した場合、評価が違ったものになってしまうのは仕方ないことのように思います。しかし、受験生からしてみれば「仕方ない」ではすまないわけで、こうした「客観的」な機械による採点が本当に実用化できるのであれば、非常に素晴らしいことだと思います。
ただ、システムをどう構築していくのかという問題もさることながら、「みんなが納得するような採点基準をどう作っていくのか」という事のほうが難しいような気もしますね。今のところ、
パソコン入力された８００〜１６００字程度の小論文を、（１）文章の形式（２）論理構成（３）問題文に対応している内容か――の三つの観点から評価し、標準的には、（１）を５点、（２）を２点、（３）を３点の計１０点満点で判定する。
と言う感じで採点するようですが、果たしてこの配点は妥当なんでしょうか？また、
「語彙（ごい）の多様性が不足」「議論の接続が不十分」「問題文との関係が希薄」
このあたりが減点対象になるようですが、それぞれ、どれくらい減点するのか。こうした項目間のウェイト付けもきちんとみんなが納得できる形で行わなければ、「なんか、試験結果に納得がいかない・・・」なんて結果になりかねないような気もします。
今のところ、テーマが客観的である、ある程度長い文章であるなどの条件が整っている場合、このシステムはそこそこうまく動いているようですので、うまくいけば実用化するかもしれませんね。
