1. 前年度に開発を行ったオンラインピアレビューシステムの運用・整備
研究分担者が所属する組織の担当授業科目においてシステムを運用することを想定し、科目、名簿、レビューグループの設定が行えるよう更新を行った。また、ピアレビュー時の「レビュア/レビュイの匿名化」機能とともに、「お互い様効果」「ハロ効果」の影響を低減できるスイッチをシステムに付与した。さらに、評価結果の分析を容易にするために、レビュー結果の一括ダウンロード機能も追加した。
2. レビューの歪みを検証するための実験方法/実験環境の検討
今回の実験で対象としたレビューの歪みは、a)前のレビュー結果が次のレビュー結果に与える影響とb)指標の明瞭度がレビュー結果に与える影響の2点である。そのためのデータとして、レビュアが取り組む1)指標、2)評価対象文書を作成した。まず、1)指標は複数の観点について3段階の評価を行うルーブリック形式のものを作成した。つぎに、2)評価対象文書は、レビュイが8000字の論文を800字程度に要約したと想定したものを作成した。この際に、a)b)を調べるために、1)にもとづいて2)に作為的にエラーを混入させ、評価が偏りやすくなるようエラーの種類とパターンを変えて複数のデータを作成した。
さらに、これら1)2)のデータをレビュアに与える環境条件についても検討を行った。当初、対面での実験を想定しながら実験ブースを設置して実施する計画を組み立てていたが、新型コロナウイルス感染症が拡大したため、オンラインでの実験を模索することとなった。