こんにちは。
先日twitterで、「twitterで卒論のアンケート調査をするのって、学生と所属研究室の教員、大学の品位を疑いたくなる」という趣旨のツイートを見つけました。
この考え方の理念には賛同できますが、個人的には思うところがあり次のようなツイートをしたところ、いくつか懸念点を指摘されました。
質問
— ことりさん@心理系技術職 (@MarathonUniv) 2019年12月6日
個人的にはtwitterで卒論のアンケートを撒くのって(現実性を考えれば)割といい方法だと思うのですが…(少なくとも心理学の授業参加者に撒くよりはよいと思う)
サンプルの偏り以外でマズい理由ってみなさんどのあたりのことを考えてますか？リプでツッコミを頂けると幸いです。
皆さんのご指摘をまとめると,
- 多重回答への対策ができない
- サンプルはほぼフォロワーの考えに近い人になる
- まじめに回答する動機がない
おおむねこんな感じでした。皆様鋭いところをついています。特に多重回答への対策については見落としていました。
今回は皆様の批判への回答を書くことで、今の心理学部がいかに危機的な状況で卒論にtwitterを使わざるをえない状況なのかを考えて頂ければ幸いです。
なお、私自身はアンケートを撒くならそれなりの対策が必要と考えています。
こちらの記事では、そもそもなんでみんな質問紙調査(アンケート)しちゃうの？というのに個人的に思うところを書いています。
心理学部での回答者集めの方法
私自身は学生時代に心理学部にいました。毎年10～11月になると「実験に参加してください!」とか「質問紙調査へのご協力お願いします!」というお願いがなされます。
ではどうやってこういうサンプルは集められるのでしょうか？
私の知っている範囲では概ね以下の通りです。
- ①心理学の授業履修者に授業前にお願いする
- ②心理学部のLINEでお願いする
- ③マクロミルや楽天インサイトなどのネットリサーチ会社のパネルに委託する
- ④世論調査同様にRDD方式で電話をする
- ⑤手続きを踏んだうえで郵送アンケートにする
- ⑥twitterで撒く
この中で④は実際にやっている学生を(少なくとも私は)見たことがありません。おそらく実行するのに時間とお金(電話料金や郵送費)がかかる割に、サンプルを集められる保証がないからでしょう。
卒論レベルの質問紙調査の場合、ほぼ①や②のような手法で行われています。もちろん心理学の学生向けに質問紙を撒いてヒト一般に適用できる研究もあると思いますが、「(ヒト一般の)抑うつ傾向に関する尺度の検討」というテーマで心理学部の学生に質問紙を撒くのはどうみても適切だとは思えないのです。
特に臨床系の学部生の場合、卒論のテーマが質問紙になるケースが多いこともあり、心理学部生ばかり回答者にするのは適切なの？と学生時代いつも思っていました。
なぜパネル調査を活用できないのか？
ここまで読んだ方なら「マクロミルとかのパネル使うべきなのかな...」と思った方もいるのではないでしょうか。私もそう思います。
でも大学にはできません。そんなお金はないから。
このサービスの場合、回答者数100、質問数20問という卒論でありそうなレベルで7万円かかります。
自分のアルバイト代から出すなら時給1000円として70時間分です。就活もして卒論執筆もしている中では難しいはず。
次に大学の研究費から支出することが考えられます。しかし母校のように実験参加の謝礼が毎年引き下げられる状況ではかなりキツイです。先生の科研費を使いたくても心理学部の卒論の多くが科研費の枠外にあるため使えません。
このような事情を考慮すると、卒論や修論レベルでは企業の調査のようなパネルの導入は無謀と思います。
twitterでの調査は有効なのか？
ここまで、大学で一般に行われるサンプル収集の方法やパネル調査には課題が多いことを説明しました。ではなぜtwitterでの調査は有効なのでしょうか。
- ほぼ0円の超低コスト
- サンプルの質がそこそこ高くなる
こういった理由で卒論などの業績にならない論文での調査に実装できるからです。*1
コストが圧倒的に安いのは言うまでもありません。では回答者の質はどうでしょうか。
twitterでのアンケートの回答者は基本的にフォロワーさん、つまり研究実施者と興味関心・思想がある程度似ている人たちです。決して回答者の質が高いとは言えません。
しかしtwitterには、紙アンケート調査やパネル調査にはないリツイートという武器があります。リツイートが繰り返されればアンケートを見る人の属性は多様になり、回答者の属性もそれなりに多様になるはずです。
仮にリツイートされることなくフォロワーだけが回答者になったとして、大学の心理学の授業で集めるよりもサンプルの質が低くなるでしょうか？
私自身も卒論の実験参加者募集をtwitterで行いましたが、それは「同じ学部のプロ被験者を可能な限り排除する」のが目的でしたし、結果的には成功しました。
このような理由でtwitterでのアンケート調査は現実的であり、また有用な手法と考えます。
twitterで調査をする際には何を気を付けるべき?
ここまでtwitterによるアンケートの利点を書きましたが、何も考えずにやると意味のない結果が返ってきます。少なくとも次のことは気を付けるべきでしょう。
- a.調査対象属性の検討
- b.多重回答の抑制
- c.不真面目な回答の抑制
これらの問題に対策が打てない、twitterの機能であるアンケートシステムにそのまま選択肢を貼り付ける行為は避けるべきです。例えばグーグルフォームなどのtwitter外のアンケートシステムに誘導するのはどうでしょうか。少なくともtwitterで完結するよりはよいでしょう。
ではグーグルフォームを使うとして、a～cの問題を解決するためにできることを考えてみます。
aについてはグーグルフォームを予備調査・本調査に分割し、不要な属性なら予備調査で排除することで対処できます。
bについてはあきらめましょう。大学の授業で集める場合でも悪意のある回答者がこっそり2人分回答したり、パネル調査だって身分証明書を偽造すれば可能です。
cについては真面目に回答するインセンティブを与えましょう。回答者の同意を得てメールアドレスを取得し、謝礼としてamazonギフトカードを送るのはどうでしょうか。自分で謝礼を用意しサンプルも確保する分、パネルよりも安価に実施できると思います。*2
このときに、著しく回答の品質が低いとみなされる場合*3には謝礼は送らないという注意書きをすれば、真面目に回答するインセンティブにはなるはずです。
大学によって謝礼規定に差があるので、確認してからやりましょう
もちろんtwitteとグーグルフォームという無料のシステムを使うため完璧ではありませんが、それなりの質を担保することは工夫次第で可能だと思います。
実際に質問紙を作る際のグーグルフォームの使い方はこの記事で解説しました。ぜひご覧ください。
まとめ「完璧な調査は存在しない」
本記事では、心理学部におけるアンケート調査の実態、twitterでのアンケートのメリット/注意点を解説しました。
twitterでの調査には賛否ありますが、目的をしっかり決め、限界を理解して調査するならばかなり有益だと思います。理研なども実験募集を出してますしね。
これからtwitterで卒論アンケートをされる皆さんはこの記事の解説をよく読んだうえで「注意点を克服できてる？」と考えてもらえれば幸いです。