(1)紙ベースとオンラインベースのルーブリックによる評価差の検証
学生同士のピアレビューにおいて、紙ベースルーブリックの運用は、作成、配布、回収、集計の負担が大きい。特にクラスサイズが増大に伴い負担が大きくなるため、システムによるオンラインベース・ルーブリックが相互評価には不可欠である。一方で、紙ベースとオンラインベースに評価差が生じる可能性も考えられる。そこでライティング課題について、両方のルーブリックを用いて自己評価を行い、差異を検討した。その結果、両者の間に有意差は認められなかった。また、教師から学生の評価差が大きい場合には、ルーブリックに記述語が多いため解釈に差が出ている可能性がある。
(2)ポートフォリオシステムへのピアレビュー機能の追加実装
より精度の高いピアレビューのためには、評価バイアスを低減するしくみが必要である。このため、ピアレビュー機能を追加するにあたっては、「お互い様効果」と「ハロ効果」を削減する評価手続を備えることとした。「お互い様効果」は、レビュアとレビュイを相互に入れ替える場合に甘い評価を行う傾向があることをいう。これを抑制するために、あるレビュイを評価したレビュアは、そのレビュイからは評価されないように評価ペアを構成することにした。「ハロ効果」は、複数観点を持つルーブリックで評価を行う際に、レビュイに関する最初の観点評価が後の観点評価に影響を与えることである。また、グループにおける価値観が共有された場合、そのグループメンバー複数が1人のレビュイを評価する際には偏った評価が蓄積される可能性がある。このため、観点毎に複数のレビュイを評価するようにするとともに、1人のレビュイに対して同一グループのレビュアを割り当てないようなユーザインタフェースを実装している。また、レビュアがレビューを行いやすいようにユーザビリティにも配慮している。