「こうすればアンケート回答の質は高まる」心理学研究で発表されたシンプルな解決策
最近ではいろいろなデータが手軽に手に入り、それらを読み取って判断や行動に活かすことも容易になってきています。
客観的に測定されるデータだけでなく、人が考えていること・意識していることのような主観的なデータを集めるハードルも下がってきており、人材の育成に活かしやすくなってきています。
例えばグーグルフォームのような無料で作成できるWebアンケート・フォームを使うと、気軽にアンケートを作成して実施し、すぐにグーグルスプレッドシートでグラフ化できます。
技能五輪選手の育成では、ものづくりの作業時間とその時に集中できた度合いや感情の動きの度合いを一緒にアンケート・フォームに入力してグラフ化するといった使い方をされます。
これによって、躓いている技能やよく出来ている技能が客観、主観の両面から分析でき、訓練の目標設定やフィードバックをより明確で具体的に行うことにつながっています。
また、技能者の育成においては、例えば熟練者の視線の動きをアイトラッキングシステムでデータ化して育成に活用したり、モーションキャプチャで動きをデータ化して育成に活用したりするなど*文献1、幅広いデータが使われるようになってきています。
回答の精度が問題
でも、アンケートは、気軽さというメリットと引き換えに、回答の精度がバラつくなどのデメリットもあります。
回答の精度を下げるものとして、例えば5段階評価の項目に全部3をつける中間選択や、全部1や4などの同じ数字をつける同一選択、複数回答質問(選択肢から複数の回答を選ぶ)でアンケートの後半に進むほど選択される数が減る順序効果などが知られています。
アンケート精度の低さが悪影響しないよう、実際にアンケートをつかう際は、観察して行動データや、相手の話をきいて得た質的データを交えて分析や目標設定をします。このように複数の観点から集めた情報をもとに判断することを、トライアンギュレーションといいます。
トライアンギュレーションをすることは前提として、アンケートの実施者から見れば、できるだけ精度の高い回答をしてほしいものです。では、どういう方法があるでしょうか。
きちんとこたえてくれますか?と聞く
専門論文誌の心理学研究に、その問題を検討した論文が発表されています*文献2。
この論文では、回答者がきちんと回答しない背景に、回答する人が自分のエネルギーを十分に使わない「最小限化」という現象が影響するとした上で、どうやって回答者から回答エネルギーを引き出し、精度の高い回答を得るかについて、3つの方法を比べています。
いずれも、「きちんとこたえてくれますか?」とアンケートの実施前や後に確認するという、すごくシンプルな方法です。
でも、意外と効果はあるようです。
論文では、社会的意識や心理状態などに関するアンケート調査をWeb形式で行い、3つの方法を含めた条件と、含めていない、つまり何も特別なことをしていない条件とを比べて、回答に違いがあるかを統計的に分析しました。
その結果、以下の2つの方法で効果がみとめられました。(文中の方法名もわかりやすくするために著者がつけたもので、論文に書かれた正式な名称は、末尾の括弧内のものです。また、設問の内容も論文をもとに著者が要約したものです。実際の内容のとおりではありません)。
方法1:スルー質問。アンケート項目に全て回答した後、「きちんと項目を読んでいるかを確かめたいので、何も選択しないでください」という設問を置く(IMC条件)。
方法2:宣誓質問。回答する前に、「真面目にこたえてくれますか?」という設問と「真面目に回答します」という項目を置く。チェックしてもらってからその後の項目に回答する(TO条件)。
結果を大雑把にまとめると、以下の通りでした。
方法1:スルー質問(IMC条件)で何も選択しなかった人、つまり設問をきちんと読んだ人の回答では、
・中間選択が少なかった
・複数選択質問でも選んだ選択肢の数が減らなかった。順序効果が起こらなかった。
・全体的に、回答に一貫性があった
方法2:宣誓質問に同意した人は、つまり「真面目にこたえます」と宣言した人は、
・中間選択が少なかった
・回答を分析すると、宣誓に同意しなかった人でも実は真面目に回答した可能性がある
実際に使う立場で考えたとき、方法1よりも精度の向上に協力をお願いする形になる方法2の方が抵抗は少ないかな、という印象です。
精度を上げる一工夫
最小限化などの影響を排除するのはなかなか難しく、一般的にはアンケートの回答には常に「ほんとうにそうなの?」という精度の問題がついてきます。文献2で引用された論文によれば、幸福度調査などの国際的な比較調査においてしばしば日本人の値が低くなることの背景として、日本人の回答に中間選択が多いことなども影響しているとのことです*文献3。
精度が低いし、数字自体の意味も分かりづらいのでアンケート法は使わない、という意見も伺います。
しかし本記事でご紹介した研究は、一工夫を加えることで、回答の精度をあまり下げないようにしたり、場合によっては維持したりできる、という可能性を示しています。
もちろん、一回しか回答しない人に対して「真面目にこたえてくれますか?」ときくのと、定期的に回答する人にきくのでは効果が違うかもしれませんし、上下関係などの関係性も影響する可能性はあります。
その一方で、アンケートの問題と限界を理解した上で、トライアンギュレーションを行ったり、回答前に一工夫加えることで、工夫次第でメリットをより活かすことができるのです。
能力の強化においてフィードバックの客観性や即時性は重要な要因であることが知られていますが、先述の通り、アンケート・フォームを活用することで、客観、主観の両面から技能を分析でき、訓練の目標設定やフィードバックをより明確で具体的に行うことにつながっています。
データを上手く活用し、科学的な視点から学ぶ効率を高めることで、効果的な人材育成が可能になると考えられます。
参考資料
文献1:杉田大輔,山下龍生, 羽田野健, 菊池拓男. (2020).熟練技能の統計的分析と動作密度マップによる科学的トレーニング法への展開-. 電子情報通信学会技術研究報告, 120(141), 19-24.
文献2:増田真也, 坂上貴之, & 森井真広. (2019). 調査回答の質の向上のための方法の比較. 心理学研究, 90-18042.
文献3:Masuda, S., Sakagami, T., Kawabata, H., Kijima, N., & Hoshino, T. (2017). Respondents with low motivation tend to choose middle category: Survey questions on happiness in Japan. Behaviormetrika, 44(2), 593-605.