Web
Analytics

【インセンティブが大事?】オンライン実験のデザインについて

こんにちは。

コロナ禍以降心理学実験もオンライン化が急速進みました。私は民間企業で心理学の研究開発をしているのですが、データ収集のオンライン化は常に1つの選択肢には上がります。

以前にもこのブログでTwitterを用いた実験参加者・アンケート回答者募集のメリットと手法についてこの記事で解説しており、私はそもそもオンライン化は支持する立場です。

www.psycheng.com

ですが、オンライン実験のノウハウはまだ可視化が進んでいません。そこで今回は、実験者側の経験、参加者側として色々な大学の心理学実験に参加した経験から、オンラインで有意義な結果を得やすくなる(かもしれない)コツをいくつか解説したいと思います。

参加条件を確実に伝える

心理学実験をする場合、参加条件を事前に伝える必要があります。例えば

  • 年齢や性別
  • 実験の場所
  • 謝礼
などがあります。

これに加えてオンライン実験で大事なのが実験で使う端末の条件です。端末の条件に「パソコン」とあっても、Windowsじゃないといけないのか?タブレットはOKなのか?などは分かりません。

特に最近の小中学校ではiPadやChromebookを「パソコン」として使う流れが進んでおり、「パソコン」とあったからiPadで参加しようとしたけど実験が動かん!!ということが起こり得ます。実際私自身も参加者側でこれを起こしたことがあります…

参加同意してくれた方から確実にデータを収集するためにも、メジャーなOS、具体的にはWindows/Mac/Chrome/iPad OSくらいは動作確認をして対応可否を明記しておいた方が良いでしょう。

オンラインに向く実験かを確認

今回は便宜上心理学実験という表現をしていますが、アンケートを含めた心理学のデータ収集行為一般を指すものとします。

なるべく簡便に判断できるよう、フローチャートにしてみました。結論から言えば正解が明確に存在し、PCだけで完結できる実験であればかなり効率的にデータ収集できるでしょう。

一方あまり明確な正解がないもの、たとえばアンケートは「真面目にやる動機を持ちにくい」「真面目にやっているかを確認できない」のでオンライン実験をする際には十分な注意が必要です。

実験者が同席するのか?

オンラインの心理学実験でも、通常は実験者と参加者がZoomなどを通じてリアルタイムでコミュニケーションをとりながら実験を進めます。この方法は、実験参加者の居住地に関係なくデータを取れるものの、実験をする時間はどうしても平日の夜や土日に限定されます。

実験者目線だとデータを取るために毎日時間を空けないといけませんし、参加者としても希望した時間に実験参加できる保証がありません。

その対策としてか、実験者の同席不要な実験も少しずつ増えてきました。仕組みとしては、Githubなどのプログラム管理サービスから必要なファイルを参加者のPCにダウンロードさせ、実験終了後にGithubにアップロードすることで実現しています。

この方法、24時間365日データ収集できる一方、参加者からの質問には基本的に答えられない、参加者が真面目に取り組んでいるかを直接確認することが難しいという大きな問題があります。

後者の実験者が同席しない実験デザインは、

  • 正解・不正解を一意に決める
  • 十分な予備実験で教示と課題の妥当性確保
  • 不真面目な回答者を排除する仕組みの徹底
これらを実現できれば非常に有効な実験手段でしょう。
不真面目な回答者を排除する仕組みの徹底には結局お金が動きがちなので、実験成績によって報酬差をつけることを許容する組織かも大事な気がします…。

インセンティブの設定

前項でも触れましたが、参加者を監視できないオンライン実験では、真面目に取り組むインセンティブの設定が大事です。私が実験を作った際に効果的だった、参加者側で体験して「これは効果的だ!」と思ったものをいくつか例示します。

成績によるボーナスの設定

成績によるボーナスの設定はやはり効果的。

  • 参加者内での順位
  • 規定の反応時間・正答率以上で追加ボーナス

これらが考えられます。

不誠実な態度に対するペナルティ

オンライン実験だと、実験者の監視が効きにくいのでテキトーに回答してさっさと実験を終わらせることができてしまいます。

  • 遅刻/最低回答時間に対するペナルティの明記
  • 真面目に取り組んでいれば確実に正解できる課題の設定

などがあります。真面目に答えない参加者を検出する方法についてはたとえばこの記事が詳しいです。

注意
記事内に記載されている宣誓効果は追試に失敗していることにご注意ください。

www.hojosen.co.jp

これらが考えられます。

最後に

大学におけるオンライン実験の導入は、「心理学は大学2年生を研究する学問である」という自虐ネタを破壊できる革命的なものです。ですが、オンラインだからこその「不真面目な回答」はマーケティングリサーチ業界でもすでに問題になっており、このままでは心理学も同じ道を辿る(もしかしたら既に辿り始めている)気がします。

本記事も参考にしつつ、大学や企業で心理学を研究される各位がより良い実験デザインを考えていただければ幸いです。