こんにちは。
先日「あいちトリエンナーレを巡るアンケートはサンプル収集法などが不適切である」という趣旨のツイートをしたところ多くの方から反応を頂きました。
私が書いたことは社会調査や質問紙作成ではよく突っ込まれることではありますが,現実の仕事ではなかなかキツイのも事実。
そこで今回は質問紙調査の理想と現実を考えてみます。
理想の質問紙調査
専門家の方々がいろいろと指摘をしてくださっていますが,要点に絞ればこれから説明する2点に集約されると思います。
「良い」サンプルであること
ここでいう「良い」サンプルというのは2つの意味があります。
- 適切なサンプル数であること
- 恣意的なサンプル収集法でないこと
1つ目はサンプル数が多すぎても少なすぎても良くないということです。サンプル数が少なすぎればみんなの意見を代表しているとは言えません。これは当たり前。
一方サンプル数が多すぎても問題があります。それはほとんど統計的な差がなくても統計的有意になるということです。*1
現実の研究・調査では統計的に有意差があるか？が全てなのが実情です。あまり良いことではないのですが…*2
ということもあり,調査目的にフィットしたサンプル数が求められます。
2つ目はサンプルを集める時に杜撰な方法を使ってはいけないということ。
私がツイートした調査の場合次のような問題が挙げられます。
- 調査主体がZakzak(保守系新聞のサンケイグループが母体)
- サンプルはZakzakのTwitterアカウントフォロワー(と予測される)
いうまでもなく「保守的な考えを持つサンプルだけを考えた調査」だと容易に推測できます。
「まともな」質問内容であること
賛成・反対を誘導するような質問紙は認められるべきではない,ということです。
私がツイートした記事の原文(問1)は次のようになっています。
《質問１》昭和天皇の写真を焼き、足で踏みつけるような映像作品の公開への税金投入をどう思いますか。(http://www.zakzak.co.jp/soc/news/191004/dom1910040007-n1.htmlより引用)
文章を見た瞬間,「これは反対と回答させるための誘導的な質問だな」と思いました。
具体的な改善策を提示できるわけではありません。ただもう少しニュートラルな表現にしたり両論併記する,イベント全体の印象にとどめるなどの工夫は可能だと思います。
なお,「良い社会調査法を知りたい！」という方には次の本がおススメです。現実的な社会調査法についてわかりやすく解説がされています。
質問紙調査の現実
ここまで(私が知っている範囲で)「質問紙調査はこうあるべきだ！」と書きましたが現実の質問紙調査は簡単ではありません。私が体験した範囲で次のような問題が指摘できます。
サンプルの質を維持できない
私たち心理系学生が質問紙調査をする場合,その多くは「回答者が大学生(しかも往々にして心理系学生)」になりがち。
そして多くの場合「まあだいたいヒト全体にあてはまるだろう」となんとなく考えながら処理しがちです。*3
これは言うまでもなくサンプルに偏りがあることを意味しています。 科学的な正確性は突っ込みどころ満載ですが,「集められないので目をつぶる」のが現状です。
一方で,お金を集めて調査を代行する企業(Ex.マクロミル,インテージなど)でも問題は残ります。
これらの企業はいい加減な回答をする人をスクリーニングするなどの努力はされていますが,「アンケート回答者の多くはネットに慣れた人で暇人」*4にどうしてもなりがち。
どうしてもサンプルには課題が残ります。*5
企業の論理/自説にとらわれる
大学研究者のように「学問の自由」にある程度守られている場合はともかく企業にはこの問題が付きまとうはずです。
ご存じのとおり私が指摘した調査を行ったZakzak(およびサンケイグループ)はいわゆる保守的な立場を取るメディアとされています。*6
またネット上を見る限り「保守的な立場の方であればあいちトリエンナーレ再開には批判的」だと思われます。
このような状況下において,Zakzakが行った調査の結果「あいちトリエンナーレ再開に賛成派が多い」という結果が出たらどうなるでしょうか。
おそらく社内でパニックになるでしょう。きっと「この調査はなかったこと」にされると思います。
スピードが重視されるため,確認と検討の時間がない
私が以前かかわったお仕事(企業さんがやる質問紙調査の処理)でもこれは挙げられます。
多くの企業(製品サイクルの短い業界ならなおさら)は「さっさと調査を終えて製品開発したい」「早く世論調査として出したい」のが実情です。
するとどのような要求がされるでしょうか？
「細かい文言の検討をしている場合があれば早く出せ！」「サンプルバイアス？そんなのどうでもいい！」
想像するだけでめまいが…。
「とりあえず適当にアンケート撒けば良い」と思っている方も多い現状では抵抗しようがないのです。 こうして「問題ある質問紙」は作られていきます。
まとめ
なかなか難しい…きっと完璧な質問紙調査は存在しないのでしょう。
私たちにできるのは「現実を容認しつつ,少しでも妥当な質問紙調査を目指す」ことだと思います。
今回指摘した調査は「保守的な立場の方はあいちトリエンナーレ展示再開に批判的」と解釈するのが限界なのではないでしょうか？
おかげさまでこの記事をたくさんの方に見ていただきました。そのため,この記事の続編として「そもそもなんで企業はアンケートや質問紙調査を乱用しちゃうの?」という疑問に答えた記事がこちらです。よろしければどうぞ!
このブログではこの記事だけではなく科学コミュニケーションや心理学を始めとする科学の限界にも触れています。例えば↓
質問箱の方を開放しておきますので,気になるところがあれば質問箱にでも入れてもらえると幸いです。(記事のネタ探しにもなりますし...)