研究ブログ

事前登録体験記

こんにちは、関西福祉科学大学心理科学部の尾崎です。この記事は、"Open and Reproducible Science Advent Calendar 2021"のために書かれました。

私は昨年度まで同志社大学で院生をしており、そこで事前登録した論文を二本公刊しました。この記事では、その事前登録で実際にしたこと、すればよかったと思っていること、大変だったこと、やってよかったことなどを報告します。

 

目次

論文1

論文2

事前登録のきっかけ

事前登録原稿を書く

実際に事前登録をする

データ収集での困難 (論文1 Study 1)

追試 (論文1 Study 2)

論文執筆

データ分析

投稿先の選定

査読

論文2の事前登録など

まとめ

 

論文1

Ozaki, T., & Nakayachi, K. (2020). When Descriptive Norms Backfire: Attitudes Induce Undesirable Consequences during Disaster Preparation. Analyses of Social Issues and Public Policy, 20(1), 90–117. https://doi.org/10.1111/asap.12195

OSF (The Open Science Framework) レポジトリ (素材、ローデータ、分析コード、事前登録原稿): https://osf.io/yzdqh/ (事前登録: https://osf.io/9cg4x)

 

論文1の表紙

 

OSFストレージ

 

私は防災行動に関する心理学の研究をしています。この論文では、防災行動に影響する要素として、従来注目されていたリスク認知ではなく、社会規範 (とくに、「みんながやっている」という情報にもとづく記述的規範 (Cialdini et al., 1990) ) に着目しています。

 

どうやら記述的規範によって防災行動を促進できそうだ、ということは以前の研究でわかりました (尾崎・中谷内, 2015) 。しかし、記述的規範には負の側面があるかもしれない、というのがこの論文の目的意識でした。記述的規範は、典型的には図1のように他者の動向を提示します。この情報には、「多くの人が望ましい行動をとっている」という主な意味と、「少ないけれども望ましい行動をとっていない人もいる」という副次的な意味の両方が含まれてしまいます。もともと防災行動に対して熱心でない人は、このような少数派がいることによって、記述的規範の促進効果が打ち消されてしまうのではないかと考えました。

 

ですから、この研究で検証したかった仮説は、「記述的規範が防災行動に及ぼす影響は、防災行動への態度によって調整される」というものです。防災行動に熱心でない人、つまり防災行動への態度が否定的な人に記述的規範を提示した場合と、態度が肯定的な人に記述的規範を提示した場合では、記述的規範の効果が変わるだろうと考えたわけです。

 

実際には、アメリカ人クラウドワーカーを参加者とした実験ではこの調整効果がありませんでした (Study 1)。同じ設定で、日本人を参加者とした実験では調整効果がみられました (Study 2) 。なお、この場合の調整効果は、もともと想定していた「記述的規範の正の効果が打ち消される」というよりも、「記述的規範が防災行動を抑制すらする」というものでした。

 

論文2

尾崎 拓・中谷内 一也 (2021). 記述的規範の落とし穴―防災行動を促進するためのナッジが逆効果になる場合―. リスク学研究, 30(2), 101–110. https://doi.org/10.11447/jjra.SRA-0335

OSFレポジトリ (素材、ローデータ、分析コード、事前登録原稿): https://osf.io/8p456/ (事前登録: https://osf.io/upv5j)

 

論文1の問題点を解決するための実験を実施しました。論文1では、提示した記述的規範の水準が一つ (「68.9%の他の実験参加者が防災についてのパンフレットを読んだ」) だけでした。また、提案される防災行動も、防災全般に関するパンフレットを読むということだけでした。論文2では、提示する記述的規範の水準を増やし (75.0%~17.9%までの5水準) 、また防災行動の種類も5種類に増やしました。

 

論文2でも検証したかったのは、「記述的規範の効果が態度によって調整される」というものでした。実験の結果、交互作用を含む統計モデルの優位性が支持されました。ただし、交互作用項それ自体は統計的に有意ではありませんでした。

 

事前登録のきっかけ

事前登録のきっかけになったのは、Daniël Lakens先生の二つのレクチャーでした。一つは2016年に関学で開催された日本社会心理学会第57回大会での講演 ("Towards a reliable and cumulative psychological science": https://www.socialpsychology.jp/conf2016/program/materials/index.html) 、もう一つはその直後に慶応大学で行われたレクチャーです。それまでBem論文のことやBarghの論争のことは知っていましたが、「じゃあどうすりゃいいんだ」という感覚を持っていたのみでした。しかし、このレクチャーで、それへの制度的な対応がある、ということを知り、「じゃあやればいいじゃん」と思ったわけです。なお、慶応でのワークショップは、かなり少人数だったこともあり、パソコンを使いながらの実習形式で、ああ、これならできそうだなという感覚をもった記憶があります。事前登録の実際についての質疑応答もとてもためになりました (参考: https://shorebird.hatenablog.com/entry/20161010/1476062792) 。このレクチャーで印象的だったのは、"Justify Everything"という言葉でした。

 

事前登録して、その論文がパブリッシュされたら1,000ドルもらえるという"Preregistration Challenge"が2018年まで行われていました。私がこのキャンペーンに応募しなかったのは、使いたかった事前登録のテンプレートが、このキャンペーンの範囲外だったからであるように記憶しています。また、そのとき、事前登録された件数が大学ごとに公表されていました。最も多かったのは、当時はオックスフォード大学で、それでも数十件程度、世界全体でみても、まだまだ普及していないんだな、という感覚をもちました。日本の大学では慶応大学で1件登録があったようで、日本ではほとんどされていないのだな、とも思いました。

 

また、慶応でのレクチャーで、LakensさんがMOOC (オンライン講座) を配信していることを知りました。これは事前登録や研究の透明性だけに関わるものではなく、統計的推論に関する基礎から応用までの講義でした。Rを使った実習形式の内容もありました。このMOOCは、超おすすめです。当時は、コースの最後に実際に自分で仮説を立ててデータ分析する、という授業がありました (たしか映画レビューデータベース (Rotten Tomatoes) のデータを使って分析するんだったような) 。そこで、AsPredictedを使った事前登録のインストラクションがあり、事前登録に関する説明もありました。また、これらのレクチャーを通じて、社会心理学で事前登録をするのであれば、テンプレート (van’t Veer & Giner-Sorolla, 2016) があるということを知りました。AsPredictedに比べて、このテンプレートは社会心理学に特化していること、またAsPredictedよりも詳細な情報を記入できることから、今回はこちらのテンプレートを使用することにしました。

 

事前登録原稿を書く

van’t Veer & Giner-Sorolla (2016; JESP) を読み (本文中には具体例も提示されています) 、テンプレートの指示に従えば、事前登録原稿を作成することは、それほど難しくありませんでした。正直に言えば、「これくらいのことは研究する前に確定させてからじゃないと、ほんとはデータとれないよね」と思うくらいでした。実際、事前登録原稿が要求する内容というのは、データ収集前に決めているものがほとんどなのではないでしょうか。だとすると、事前登録をするかしないかは、単に登録する「作業をするかどうか」という違いに過ぎないと思います。

 

私の事前登録原稿は、OSFのレポジトリにあります (PDFファイルへのリンク: https://osf.io/84dx7/; OSFのRegistrationへのリンク: https://osf.io/9cg4x) 。van’t Veer & Giner-Sorolla (2016) のテンプレートが求める事前登録の内容は、"Essential elements"と"Recommended elements"に分けられています。"Essential elements"は確実に明記しなくてはいけません。最初の項目は"A. Hypotheses"です。変数間の関係を記述します。具体的には、"Study 3: An interaction effect between pre-attitudes and descriptive norms on preparation behavior will be statistically significant (H3)."のような感じです。交互作用効果の形状について追記する部分もありますので、"H3: Descriptive norms will promote more preparation among participants who hold positive pre-attitudes toward the preparation (odds ratio > 1: H3a) than among participants who hold negative pre-attitudes (odds ratio ≤ 1: H3b)."としました。操作チェックの方法についても確認されます。ラショネルについては、必須事項ではなく推奨事項として書く欄が設けられています。

 

次のセクションは、"B. Methods"です。実験や調査のデザイン・測定する変数・共変量・サンプルサイズ・手続きといった内容を記入します。多くの部分は箇条書きでかまいません。私は、G*Powerで計算したサンプルサイズ計算の結果もPDFファイルにして添付しました (https://osf.io/5k36s/) 。p-Hackingを抑止する観点からは、共変量や除外条件を事前に確定させておく必要があります。例えば私はこのオンライン実験で、1分未満と1時間以上の回答時間の参加者を除外することなどを決めていました。

 

次は"C. Analysis plan"です。まずは確証的分析の方法を決めておきます。使用する統計手法について登録します。私の場合は"Because behavior is binomial, logistic regression will be conducted. All variables will be centered to avoid multicollinearity. We sequentially introduced variables into the model, first covariates, pre-attitudes, and descriptive norms and then interaction between pre-attitudes and descriptive norms will be introduced. To test the effects of interaction, likelihood-ratio test will be conducted. To examine the interaction effect, participants will be stratified by median of pre-attitudes, and the odds ratio of descriptive norms will be reported for each positive (H3a) and negative pre-attitudes (H3b)."こんな感じで、ロジスティック回帰分析を用いること、投入する変数、検定方法 (尤度比検定) 、交互作用効果の分析手法、について書きました。後述しますが、最終的な投稿論文では、この事前登録から逸脱する部分が発生しました。事前登録の段階では交互作用効果を層別して検定を繰り返そうと思っていましたが、単純傾斜分析のほうが適切だと思い直したためです。推奨事項としては、多重検定の場合の補正方法・欠損値の処理方法・信頼性係数の基準・多重共線性の基準などを書いておきます。

 

最後に、まだデータを収集していないことなどについて確認されます。配布されているWordのテンプレートは、保存するたびに日付が自動的に記入されますし、OSF上にアップロードした段階でタイムスタンプもつきます。このことによって、データ収集前に事前登録されていることを担保しています。

 

ここまで事前登録原稿を作るのに、さすがにけっこう時間がかかりました。私のファイルの更新履歴を確認すると、約1ヶ月間かかっています。それでも、実際に投稿するための原稿を書く際には、ほとんどこの文章を流用できますから、原稿作成にかかるトータルの時間はそれほど増えなかったのではないかと思います。

 

事前登録

 

実際に事前登録をする

OSFのアカウントを作成し、プロジェクト ("When Descriptive Norms Backfire") を作成したのが2017年1月でした。この段階ではプロジェクトは"Private"にしてありました。OSFに事前登録する場合には、"Registration"機能を利用してOSFに直接事前登録の内容を書き込む方法と、自分で作成した原稿のPDFファイルを"Files"に登録する方法の二つがあります。どちらにしてもタイムスタンプが付きますから、事前登録としては有効だと思います。前者は事前登録そのものについてのユニークなURLが作成されますし (親プロジェクトのURL: https://osf.io/yzdqh; 事前登録のURL: https://osf.io/9cg4x) 、エンバーゴ期間を設定することもでき (上限あり (4年)) 、査読用に匿名化することもでき、論文本文中にURLを記載する際に便利です (北條大樹さんの資料が参考になります: https://www.slideshare.net/daikihojo/osfpsyarxiv) 。また、使いたい事前登録テンプレートも複数あるうちから選ぶことができます。私はいちおう両方登録しました。PDFファイル (査読用に著者名を消したファイルと顕名のファイル) は、投稿時にジャーナルに送ろうと思ったためです。事前登録原稿は、英語で作成し、私は英語校正を外注しました。

 

実は、OSFのプロジェクトを作成し、そこに事前登録原稿をアップロードする際に、コピペミスをしていたり、古いバージョンのファイルをアップロードしてしまったりというミスをしました。そのような場合でも、事前登録の内容は取り消せませんから、プロジェクト自体を削除する必要があります。そして、プロジェクト自体が削除された記録は残りますから、このミスは、単にかっこ悪いだけでなく、「複数事前登録をして、望む結果が出たプロジェクトだけ残す」というハッキング (Yamada, 2018; Front. Psychol.) のように見えてしまいます。実際には、データ収集前にプロジェクトを取り消したことがわかるわけですが、無用な疑いを招く失敗をしてしまったな、と思います (こんなかんじです: https://osf.io/5q72z) 。アップロードが済めば、次はデータ収集です。

 

データ収集での困難 (論文1 Study 1)

論文1の研究は、事前登録原稿にも記載したように、CrowdFlower (今はないサービス) というアメリカのクラウドソーシングサービスを利用して参加者を募集し、Qualtricsで作成した質問票を使うことにしていました。サンプルサイズ計算は、具体的には以下のように行いました (https://osf.io/5k36s/) 。先行研究 (Melnyk et al., 2011) で報告されていた行動意図に関するd族の効果量をオッズ比に変換すると2.08 (中程度) となりました。論文1でのターゲットは行動意図ではなく行動であるため、先行研究よりは効果量が小さくなると想定できること、また最低でもCohenの基準で小程度の効果量を検出できないと防災実務上の意味がないことを考慮して、想定する効果量をCohenの基準で小程度 (d = .20; オッズ比 = 1.44) に設定しました。あとはG*Powerが要請する数値を見積もり、サンプルサイズを計算すると、382名の実験参加者が必要だということがわかりました。操作チェックとしてinstructional manipulation check (Oppenheimer, Meyvis, & Davidenko, 2009) を用いた場合の脱落率を、他の研究をもとに算出し、歩留まりを80%と見積もりました。また、質問票の内容についての注意テストに通過する割合を80%とみなし、最終的に531名の参加者が必要であると計算しました。

 

実際に募集をかけると、思ったよりデータ収集には時間がかかり、一ヶ月くらいかかったと思います。ほぼ新しい参加者が応募してこなくなった時点で428名のデータが集まっており、そのデータを見ると、127件の「同一人物による重複した参加」の疑いがある回答が見つかりました。IPアドレスによる重複参加は、Qualtrics の側で制御していたのですが、緯度経度情報を見ると、14桁の緯度経度情報が同一であるものが16あり、その16の送信元から127件のデータが送信されていました。たとえば、同一の緯度経度から24件のデータが送信されていることもありました。これらは参加報酬を目当てにするbotであると疑いました (参加報酬がCrowdFlowerで行われている他の研究よりやや高めの1.5ドルだったのが良くなかったのかもしれません) 。研究者によるオンラインフォーラムでのやりとりを参考に、これらのデータを統計分析に含めないことにし、Study 1のデータ収集を打ち切ることにしました。これらの経緯については、論文1の97ページの"Participant"セクションおよび脚注に記しました。事前に設定していた除外基準も合わせると、最終的に262名が分析の対象になりました。この人数だと、検定力は64%になりました。

 

ここまで詳細に報告する必要があったかどうかは、今でもよくわかりません。しかし、『心理学のためのサンプルサイズ設計入門』 (村井・橋本編著, 2017) の井関さんの文章に、「経験則」についての記述があり、残しておくに値すると判断して論文本体に含めました。

 

追試 (論文1 Study 2)

Study 1の確証的分析では、「記述的規範が防災行動に及ぼす影響は、防災行動への態度によって調整される」という仮説は支持されませんでした。具体的には、交互作用項を含まないモデル (主効果のみのモデル; 帰無仮説モデル) と含むモデル (対立仮説モデル) の尤度比を検定しても、統計的に有意になりませんでした。しかし、上記の参加者収集プロセスにおける問題があったため、検定力が不足していたことが、仮説不支持の原因になったと考え、同一の設定で追試を行いました。

 

追試 (Study 2) は、日本人の参加者を日本の調査会社に委託して収集する方法で実施しました。質問票を日本語に変換すること以外は、同一の設定で実施しました。また、私としては後悔していることですが、Study 2そのものの事前登録は実施しませんでした。同一の設定とはいえ、参加者がアメリカ人ではなく日本人に変わっていたことについて改めて事前登録をすればよかった、と思います。Study 2では、仮説通りの調整効果がみられました。

 

論文執筆

論文執筆の際に必要だったのは、事前登録原稿からの乖離をすべて明確に記載することでした。論文96ページの"Method"セクションには、冒頭に"Differences between the present study and the preregistration"について記載しました。そこで記載したのは、まず、事前登録したのは大きなプロジェクト全体の1~3の実験だったものの、実際に論文中で報告しているのはその3についてもものだけであること、そしてこれは私の研究リソース不足であることです。さらに、上述したように、CrowdFlowerでのデータ収集に問題があり、途中でデータ収集を打ち切ったことです。

 

事前登録からの乖離

 

結果の報告: "Results and Discussion"セクションは、"Descriptive statistics", "Confirmatory analysis", "Exploratory analyses"に分けて報告しました。確証的分析として事前登録原稿に記載した通りの分析を、探索的分析として「実験中に防災用パンフレットを閲覧した時間」についての分析を報告しています。

 

確証的分析と探索的分析を分離して報告する

 

Study 2では、確証的分析として事前登録通りの分析をした結果、交互作用を含む対立仮説モデルが支持されました。さらにその交互作用を分析する際に、事前登録からの逸脱が生じましたので、その通りに記載しました。事前登録では、態度の高低によって参加者を中央値で層別し、それぞれの層に対してロジスティック回帰分析を繰り返すことを計画していました。しかし、その後単純傾斜分析のほうが自由度を損なわずに分析できることに気づき、論文本文では単純傾斜分析の結果を報告しました。脚注に、その経緯について記述し、事前登録通りの層別分析についても記載しました。

 

実際には、Study 1を実施し終えた段階で、予期しなかった参加者の質の問題に直面したこと、また仮説通りの結果が出なかったことで、そうとう途方に暮れました。研究費もこのタイミングでなくなり、Study 1の結果だけであれば、どこにも投稿できないなあ、という状況におちいっていました。幸いにも、指導教員からのリソースの支援があって、Study 2を実施することができたおかげで論文化できました。しかし、事前登録によってある程度研究者の行動が縛られるということは身を以て実感しました。

 

データ分析

データ分析自体は、事前登録のとおりに実施したことがわかるように、Rコードを公開することで透明性を担保しています (https://osf.io/yhf3e/) 。また、分析本体 (ロジスティック回帰分析) の分析コードを公開することに加え、「ローデータから分析に投入しない参加者のデータを取り除く過程 (データクリーニング) 」のコードも公開しました。この意図は、ほんとうに除外基準に従って参加者を選別していること、都合の良いデータの選別をしていないことが見えるようにするためです。しかし、選別に使った緯度経度情報などの個人情報そのものは公開できません。そのため、分析コード上では、例えば緯度経度情報が同じデータに対してフラグを立て、元の緯度経度情報は削除してフラグだけ残す、という処理をしています。フラグを立てておくことで、分析に含まれなかったデータもチェックできるようにしています。なお、個人情報を除く生データをインターネット上で公開することについては、インフォームド・コンセントをとる段階で同意を得ていました。

 

具体的には、"1. Data preprocessing"セクションで、「実際にQualtricsから取り出した生データをどう加工したかの履歴」を残しました ("1.1 Data importing"と"1.2 Data cleaning"。ただし、ここはコメントアウトしてあるので、他の環境で再分析するときには実行されないようになっています) 。"1.2 Data sanitization for upload"では、個人情報を除去しています。実際にOSFにアップロードされたのは、 (Qualtricsからそのままダウンロードしたものではなく、フラグを立てたうえで個人情報を除去した) "rawdatasanitized.csv"というデータセットです。なお、異なる環境でも分析の再現性が担保されるための工夫としては、分析に用いたパッケージがなければインストールされるようにコードの冒頭に設定しました。実際にメインマシン以外でも同じ結果になることを確認してから投稿しました。あとは、細かい点ですが、"6. Numbers for reporting"で、論文本文中に書く数値 (p値とか、記述統計値とか、四捨五入も) も、手計算せず、過程を残すためにすべてコードを残しました (ほんとうはRmarkdownで原稿を作ろうと思ったのですが、断念したことの名残りでもあります) 。また、全体的になるべくコメントを残すようにしていました。

 

分析に必要なパッケージをインストールさせるコード (一部):

#install packages if not already installed for the present analyses
if(!require("dplyr")){install.packages("dplyr")}

 

Qualtricsからダウンロードしただけのローデータをインポートし、クリーニングし、フラグを立てる過程 (一部・コメントアウトされています):

# # 1. Data preprocessing ----------------------------------------
#
# # 1.1 Data importing ----------------------------------------
#
# #import Qualtrics data
# library(pillar)
# library(qualtRics)
# rawdata<-readSurvey("D2-4_v3_S_3_April+26,+2019_15.38.csv")
#
# # 1.2 Data cleaning ----------------------------------------
#
# #duplication check history: location
# #uploaded rawdatasanitized.csv file does not contain identifiable information
# #alternatively we added the location variables to conduct duplication check to unique flag to confirm the replicability
#
# ##duplication check by location (exclude participants who responded same location)
# rawdata$LL<-as.character(paste(rawdata$LocationLatitude,rawdata$LocationLongitude)) #duplication flag pasting latitude and longitude
# table(duplicated(rawdata$LL)) #count the duplicated cases
# duplication<-rawdata %>%
# group_by(LL) %>%
# filter(n()>1) #extract if the location was exactly same
# duplicationkey<-c(duplication$LL)
# unique(duplicationkey) #view the duplication key
# duplicationkey <- data.frame(unique(duplicationkey)) #link location data to unique flag

 

アップロード用に個人情報を除去した過程の記録:

# # 1.2 Data sanitization for upload ----------------------------------------
#
# #data sanitization for upload
# rawdatasanitized<-rawdata[, !(colnames(rawdata) %in% c(
# "Status",
# "IPAddress",
# "Progress",
# "ResponseId",
# "RecipientLastName",
# "RecipientFirstName",
# "RecipientEmail",
# "ExternalReference",
# "LocationLatitude",
# "LocationLongitude",
# "DistributionChannel",
# "UserLanguage",
# "Meta info_Browser",
# "Meta info_Version",
# "Meta info_Operating System",
# "Meta info_Resolution",
# "CFID",
# "LL"))]
# write.csv(rawdatasanitized, "rawdatasanitized.csv")
# write.csv(rawdata, "rawdataprivate.csv")

 

この作業は手間は手間でしたし、ここまでやる必要があったのかはわかりませんでしたし、テンプレートというか、明確に参考になるものがあったわけではなく、試行錯誤でした。また、査読の過程で、この作業が参照された形跡ももちろんありません。しかし、いちおう他人に見られることを想定してコードを書くことはよいことだと思いますし、仮にエラーがあったとしても意図的なものではないと主張できること、また他人にエラーを指摘してもらえる余地があることは、データ分析においていくらか気が楽になるところではあります。

 

投稿先の選定

この研究の投稿先として最初に想定していたのは、Judgment and Decision Making誌でした (http://journal.sjdm.org/) 。私はこの雑誌が好きで憧れていたのと、TOPガイドライン (Transparency and Openness Promotion Guidelines: https://www.cos.io/initiatives/top-guidelines) にサインしていて、オープンサイエンスを推進する立場を明確にしていたこと、Registered reportsを受け付けることを投稿規定に明記していたことが投稿の理由でした (ただし、本誌が想定しているのは、いわゆる「査読付き事前登録」であって、私の論文のように、「査読なし事前登録にもとづいた論文」は想定していないようです) 。投稿にあたっては、原稿・事前登録原稿 (著者名を隠したもの; https://osf.io/6rv5k/) ・ローデータ・Rコードを送りました。

 

Judgment and Decision Making誌に投稿して8時間後、リジェクトされました。エディターのJonathan Baronからの、けっこうみっちりとしたコメントとともに。いちおう"honest effort"だと言及されていて、けっこううれしかったです。とくに統計的仮説検定が有意でなかったことについては、"bad luck"だった、というのも意外な評価でした。ローデータとコードも送っていたので、再分析してつき返してくれたことが印象的です (「お前の主張は成り立たないぞ」と、わざわざ作図してくれました。ただし、この図は、日本社会心理学会でポスター発表した際に使わせてもらいました) 。

 

さて、次に投稿先に選んだのはJournal of Applied Social Psychology誌でした。Judgment and Decision Making誌に投稿したものとほとんど内容は変えませんでした。雑誌のスコープにはわりかし合っていると思いましたし、よく読んでいる雑誌だったので。この雑誌はオープンサイエンスに関する投稿規定の記載はありませんでした。そして、2週間ほどでデスクリジェクションでした。内容や事前登録に対するコメントはありませんでした。

 

最後に投稿先に選んだのはAnalyses of Social Issues and Public Policy誌です。この雑誌は、私がときどき読んでいたJournal of Social Issuesの姉妹誌です。しかし、投稿時まで聞いたことのない雑誌でした。どういう経緯でこの雑誌を見つけたかは思い出せません。"preregistration social psychology journal list"とかで検索したような記憶があります。いわゆるレジレポを受けつけているジャーナルのリスト (https://www.cos.io/initiatives/registered-reports) を見たような記憶もあります。Open Research Badgesが付与されるジャーナルで調べたかもしれません (https://www.cos.io/initiatives/badges) 。いずれにせよ、この雑誌をみつけ、その投稿規定にOpen Scienceについての記載があり、これに決めました。投稿時に、バッジがもらいたかったので、原稿などに加えてAuthor Disclosure Formを送りました。

 

査読

一か月ちょっとで第一段階の査読が終わりました。とくにエディター (Christopher Aberson: "Applied Power Analysis for the Behavioral Sciences"の著者であることを後で知りました) が好意的でした。二人の査読者もおおむね好意的で、この段階で"tentatively accepted"だからプレプリントをアップロードするように勧められたので、PsyArXivに原稿をアップロードしました (https://psyarxiv.com/5cnsr/) 。

 

エディターからのコメントは、「事前登録していること、事前登録からの逸脱に関する透明性の高い議論があったこと、確証的分析と探索的分析をわけたことについて称賛します」というものでした。また、とくに検定力分析については、「特に検定力分析はよかったです。マジで今まで見た中でいちばんよかったです」とコメントされ、やってよかったな、と思ったところです。査読者からは、事前登録に関する指摘はありませんでした。しかし、統計的分析のテクニカルな指摘が一切来なかったのが印象的でした。これは、やはり事前登録をしたことのメリットだと思います。

 

エディターがOpen Scienceに関心があり、かつ検定力分析の専門家だったことは、私の論文に関してはとても幸運なことでした。以前に二回デスクリジェクションを受けていたことを考えると、たいへんスムーズに (最初の投稿からちょうど三か月でアクセプトされました。出版後には、さっそくエディターがtweetしてくれました (https://twitter.com/chrisaberson/status/1217126683137978369) 。ジャーナルの"Open materials, data, and preregistered. Our first triple badger!"として宣伝してくれました。ジャーナル側も、「バッジャー」を欲しがっている、という現状はあると思います。投稿した段階で、質問票・生データ (ただし個人情報を除去したもの) ・分析コード・事前登録原稿などはOSFにアップロードしてあり、アクセプトされるとこれをPrivateからPublicに変更しました。

 

論文2の事前登録など

一回やるとだいぶ慣れます。そのため、論文2の事前登録はそれほど大変ではありませんでした。和文誌の『リスク学研究』に投稿しました。投稿時には事前登録原稿なども送りましたが、事前登録についてポジティブに評価されることはありませんでした。現在はいわゆる尺度作成の研究をしているのですが、そのような場合は事前登録というのは向かないなあ、と思いつつ、基準関連妥当性の部分だけはAsPredictedで事前登録しています (開発している尺度と、既存の尺度の相関係数に関するごく一部のみ) 。

 

まとめ

  • たいへんはたいへんでした。手間はかかるし、研究者の自由度を狭めると、たしかに身動きがとれなくなる感覚はありました。とくに当時は博士課程の学生でしたから、時間制限があるなかで査読付き論文を出すという環境ではデメリットもあるな、と思いました。しかし、この「身動きのとれなさ」は、研究者にとって必要なものでもあると思います (たとえば池田・平石, 2016; 心理学評論)
  • 研究そのものの新奇性だけでなく、研究の透明性で勝負しようという魂胆はありました。ただし、投稿先のジャーナルやエディターの関心に左右される部分が大きく、今回は幸運な結果になったと思います。
  • 参考になる事例というものがあまりありませんでした。たとえばこのブログは実体験として参考にしました (https://bartlettje.github.io/2017-03-29-effective-preregistration/; ここでもLakensさんのMOOCが紹介されています) 。(あまりうまくいかなかった) 体験記というのはとても参考になるものだと思います。
2021/12/12
ご質問・ご感想・コメントがあれば、こちらに書き込むか、メールでご連絡ください (t-ozaki@tamateyama.ac.jp) 。