オンラインVS実験室実験どんな実験なら有効なデータを集められる？

こんにちは。

コロナ禍もあり、心理学実験のオンライン化も進みました。アンケートのみならず、本格的な刺激処理に関する実験もオンライン化です。

このオンラインでの心理学実験ですが、実験室に被験者を集めたときと同等のデータを集めることができるのでしょうか。

というわけで今回は、複数の方法で募集した実験参加者に同じ実験を受けさせることで上記の疑問を解決しようとした論文を紹介します。

外部リンクA systematic investigation of differences in perceptual decision-making as a function of the time and method of participant recruitment

序論

オンラインでの心理学実験には実験室のそれとは異なる問題があります。例えば、オンラインでの心理学実験で使うデバイス(スマホやパソコン)が実験参加者ごとにバラバラなことによる実験結果への影響です。これらは実験参加者に提示する刺激に高度な統制が必要な実験で影響があるとされます。

今回は、参加者募集方法が実験結果に影響するという先行研究を踏まえ、実験時に提示刺激などを高度に制御する必要のある一般的な知覚的意思決定パラダイムを用いて次のことを調べました。

知覚的意思決定とは、外界に対する行動を決めるために感覚情報を用いる過程のこと。この中には五感を使って情報を集め、ヒト内部の状態や行動で狙う結果に合わせて評価して行動に移すことを含んでいます*1

研究者は、参加者募集方法により実験結果に響くと思ってるか？
参加者募集方法によって刺激に対する反応の特性が変わるか？

検証

（授業の単位のためにラボでの実験に参加する学生、お金のにためにラボでの実験に参加した地域住民、Mechanical Turkで募集された参加者）×実験の時期(学期初or学期末)という要因で、実験結果に対する影響を検証しています。

実験1-心理学者に予測させた

認知科学者に対し、以下のな方法で実験参加者を集めたときの実験結果を推測させました。その結果の要点は次の通りでした。

f:id:husbird:20210926191320p:plain
オンラインでの募集による実験成績や反応への慎重さについて、明確に有意と言えるような結果はありませんでした*2。

本筋ではありませんが、単位目当てで学期末に参加する学生はいい加減な回答をすると言う研究者予測もありました...。

実験2と3-実験で検討してみた

これが正しいのか、そして本来の目的だったオンラインでの実験参加による影響はあるのか、実際の実験で調べました。

実験参加者の募集方法は、実験1と同じです。今回は実際に参加者を集めて実験しました。

なお、今回は知覚的意思決定の題材として以下の実験をしました。実験2はランダムドットの動き(左右方向)を識別する実験。実験3は輝度の弁別課題です。

f:id:husbird:20210930002727p:plain

結果

データを比較すると、正答率についてオンライン支払グループは地域の金銭支払いグループに比べて正確さが低いなどのデータが得られました。

ただし、その結果をそのまま分析するだけではヒト内部の意思決定プロセスが明確になりませんでした。しかし、証拠の収集率や反応の閾値の変化が、正答率や反応時間にどう影響するかがわからないのです。

そこで、LBAと呼ばれる階層ベイズモデルの1種を用いて分析を行うことにしました。
LBAの基本的な考え方はこちらに書かれています。

外部リンク8行のデータで理解する階層ベイズ(Qiita)

モデル作成後に実データと比較していますが、モデルの適合度自体は高かったとのこと。そのため、以下はモデルでの分析結果を示していきます。

分析1-情報処理の質
これは、正解した反応における情報収集の速度(の平均)から不正解の反応における情報集の速度(の平均)の差を求めて算出します。この値が大きいほど質が高いことを意味します。

その結果、両方の課題において、単位目的で参加した学生と地域からお金で集めた参加者の間で情報処理の質に差がないことがわかりました*3。

オンラインの参加者は、動き弁別課題において情報処理の質がその他の2群よりも低い一方、輝度弁別ではそのような効果が見られないことが分かりました*4。

反応までの時間

実験参加者の募集方法によって反応までの時間に有意な差は生じない結果となりました。

全体考察と結論

オンラインの実験参加者は地域の参加者に比べて動き弁別課題の成績がかなり悪かった一方で、輝度弁別では地域の参加者並の成績を残しました。このことは「オンラインだから実験参加者はいい加減な回答をするor回答の質が低い」ことを否定するものと言えます。

むしろ、実験参加者によってバラバラのデバイスで参加することになるオンラインの参加者にとって、一定の条件では動的刺激の変化を見分けにくかった可能性が考えられます。

実験立案時のおススメ(実験参加者側の経験も踏まえて)

ここからは、本実験の結果や実験参加者/実施者側双方の経験を踏まえた私個人の意見です。

Amazon Mechanical Turkなどのオンラインで実験をしても、実験室に地域の一般人や学部生を呼んで実験するのと遜色ない結果が出うることは本実験の結果も示す通りです。

ただ、オンラインで実験室実験並の品質を確保するためには、いくつかの対策が必要だと思います。論文での言及を踏まえると例えば以下のようなものが考えられます。