本研究は、ライティング成果物の①ピアレビューの信頼性向上、②評価教育プログラムの開発、③ピアレビューシステムのユーザインタフェース改善を目的としている。そのために、学生被験者を対象とした文章評価実験を行い、得られたレビュー結果データ、行動観察、アイトラッキング、インタビューデータを分析して、新たな知見を得ようとしている。ピアレビューの信頼性向上はライティング教育に資するとともに、今後増えることが考えられるオンライン学習に寄与することを目指している。
2021年度は新型コロナウイルス感染症の拡大に伴う緊急事態宣言等の発出によって文章評価実験を行うことができなかったが、これまでの研究で得られた評価実験データを中心に画面収録ビデオデータを用いた行動観察とインタビューデータの分析を進めてきた。その結果、レビュア被験者が評価を実施する際に、「評価対象となる課題文」と「評価に用いるルーブリック」のうち参照する順序によって評価行動が異なることが明らかとなった。「課題文」を先に参照する場合はマウスポインタの動きがほとんど見られず、文章を精読する様子がうかがえた。一方「ルーブリック」を先に参照する場合はマウスポインタを頻繁に動かす行動が見られた。これらの結果は2022年3月16-17日にオンライン開催された第28回大学教育研究フォーラムにて「ルーブリック評価における評価行動プロセスの観察」としてポスター発表を行った。来場者からは「これまでの読みの認知研究ではなく、ピアレビューのシステムを目的としているところが非常に興味深い」というコメントをいただいた。
行動観察によって得られた知見は、ピアレビュー評価を学習者に実施させる場面において課題文とルーブリックのどちらを先に参照させるかという問題を示唆している。今後評価教育プログラムの開発にも反映していきたい。