回答品質検証調査

はじめに

JMARでは、質問紙法によるアンケート調査(郵送調査・FAX調査)に対応可能な体制とモニター(回答者)を構築し、20年以上にわたり調査事業を推進してきました。官公庁・民間企業をはじめ、様々なお客様にご利用頂いておりますが、最近では大学・学術機関の研究者の皆様から調査をご依頼頂く機会が増加しています。その際、「回答データの品質」についてお問い合わせを頂くことがありましたが、これまでは客観的なデータに基づくご説明ができておりませんでした。こうした状況を踏まえ、この度、三浦麻子教授(関西学院大学)ご監修のもと、学術的な手続きに基づいて回答データの品質を検証するための調査を実施致しましたので、その結果をご紹介いたします。

JMARリサーチモニターの管理体制について

JMARでは回答データの品質を担保するために、調査協力謝礼振込用の銀行口座情報に基づく本人確認、年1回以上の属性情報更新・確認や、回答票を1票ずつ目視で検票、といった処理を行っています。また、不誠実な回答を繰り返すモニターに対してはモニター登録の抹消を実施しています。こうした管理体制のもとで20年以上運営してきたことにより、モニター全体として回答品質が高い水準に維持されています。さらに、モニターのアンケートに対する回答意欲を維持するために、アンケート依頼頻度を一定に保つことや、アンケート協力謝礼をオンライン調査(WEBを活用したアンケート調査)よりも高めに設定する、といった点にも配慮しています。

三浦 麻子 教授

参考:フィージビリティスタディ(以下FS)とは

1969年・京都市生まれ 関西学院大学文学部教授
専門:社会心理学.特に対人コミュニケーションと意思決定
主な著書・論文
「オンライン調査モニタのSatisfice行動に関する実験的研究」『社会心理学研究』31巻,2015年
「東日本大震災時のネガティブ感情反応表出 ―大規模データによる検討―」『心理学研究』86巻,2015年

今回の品質検証調査における“回答データの品質”の捉え方

視点1:Satisfice(努力の最小限化)発生率

質問紙調査によって品質の高いデータを得るためには、モニター(回答者)が設問文および設問項目を正しく認識し、意味を正確に理解し、十分な思考・検討を行った上で回答してもらうことが前提となります。しかし、こうした相応の労力を払わず、必要最小限の労力で回答を済ませてしまうモニターが存在します。こうしたモニターの傾向は「Satisfice(努力の最小限化)」という表現で指摘されており、近年、Satisficeの発生率やその検出方法など、実証的な研究が行われています。

今回の品質検証調査では、回答データの品質の判断基準として上記の「Satisfice」に注目し、Satisficeの発生を判断する以下の2つの指標について、弊社アンケートモニターの実態を明らかにしました。

※なお、得られた結果を解釈するために、三浦・小林(2015)によって取得されたオンライン調査モニターの回答結果と比較を行いました。

指標①:設問文の読み飛ばしによるSatisfice

三浦・小林(2015)は、設問文を十分に読まずに途中から読み飛ばしてしまうSatisficeに注目し、その発生率をOppenheimer et al.(2009)が開発したIMC(Instructional manipulation check)に準拠した設問で測定しています。本調査でも同様の方法を採用し、以下に示す設問文を回答者に提示して回答を求めました。この設問文は文章の最後に「この設問には回答しないこと」という教示文があります。教示文に従って何も回答しなかった場合は、設問文を最後まで読むという労力を払ったことになります。逆に、教示文に違反し、何らかの回答があった場合は、設問文を最後まで読むという労力を払わなかった、すなわちSatisficeが発生したと判断されます。

【 モニターに提示した設問文 】
この設問では、あなたの日常的な行動についておたずねします。人間の意思決定に関する近年の研究で、人間の決定は「真空」状態でおこなわれるものではないことが知られています。個人の好みや知識、そしてその人がそのときどんな状況にあるかが、意思決定過程に重要な影響を及ぼすのです。私たちは、こうした意思決定過程の研究のため、あなたの意思決定者としてのある要素を知りたいと考えています。つまり、あなたがこの指示を時間をかけてよく読んでいるかどうかに興味があるのです。もし誰もこの指示をお読みになっていないとしたら、指示内容を変えることが意思決定に与える影響を見たい、という私たちの試みは効果を持たないからです。そこで、あなたがこの指示をお読みになったら、以下のA)~C)の質問には回答せずに(つまり、どの選択肢も選ばずに)次の質問に進んでください。
A) さまざまな意見を聞いたり議論したりすることが楽しい
B) 政治や経済など、社会の出来事や状況に常に関心を持っている
C) 自分の知識や経験を社会のために生かしたい

指標②:設問項目の読み飛ばしによるSatisfice

三浦・小林(2015)では、設問文の読み飛ばしだけでなく、設問項目の読み飛ばしによるSatisficeにも注目しています。このタイプのSatisficeを確認するため、三浦・小林(2015)ではリッカートタイプの尺度項目の中へ「特定の選択肢番号を選択する」ことを指示するトラップ項目を混入させる方法を用いており、今回の品質検証調査でも同様の方法を採用しました。具体的には、5因子性格検査短縮版(藤島・山田・辻, 2005)から30項目を抜粋し、その中に「この項目は回答欄の一番左の数字をお選びください」「この項目は回答欄の右から二番目の数字をお選びください」という2つのトラップ項目を混入させました。正しく設問項目を確認した回答者は、指示どおりの選択肢番号を回答するはずです。指示以外の選択肢番号を選んだ回答者は、設問項目を読み飛ばすSatisficeを示したことになります(2つのトラップ項目のうち1つでも指示に違反した場合はSatisficeを示したと判断します)。

視点2:回答データと先行研究で示されている理論との整合性

今回の品質検証調査では、前述したSatisficeの発生率以外に、回答データの品質を判断する方法として「回答データと先行研究で示されている理論との整合性」にも注目します。仮に、Satisficeという形で明確な読み飛ばしをしなかったとしても、モニターが回答に際して十分な思考・検討を行った上で回答しているとは限りません。モニターが十分な思考・検討を行った場合、その回答データは全体として「適切な個人差」が含まれるはずであり、分析の結果、先行研究で示されている理論と整合することが期待されます。逆に、モニターが十分な思考・検討をしなかった場合(たとえば、特定の選択肢番号を連続して選択し続ける「ストレート回答」など)、その回答データは全体として適切な個人差が含まれず、分析を実施したとしても、本来ならば得られるはずの知見が見出されない可能性があります。

このような視点に基づき、指標②「設問項目の読み飛ばしによるSatisfice」で使用した5因子性格検査短縮版(藤島・山田・辻, 2005)に基づく30項目の回答データに対して、探索的因子分析を実施しました。回答データの品質が高い場合、分析の結果は、先行研究で見出されている5因子構造に近似することが期待されます。

※なお、結果を解釈する際の参考とするために、三浦・小林(2015)で得られたオンラインモニターの回答データにも同様の探索的因子分析を実施し、結果を比較しました。

方法

調査期間

2016年6月2日~6月7日

調査対象者

全国に居住する20〜69歳男女。
性年代別のサンプル回収目標および構成比は、母集団人口構成比率に準じて設定しました。
※母集団人口は、総務省統計局による平成26年10月1日現在人口推計値を参照しました。
 URL http://www.stat.go.jp/data/jinsui/2014np/

調査対象者数・回収票数

1799名を対象に調査を依頼し、1381名より回答を得ました(回収率76.8%)。

調査方法:FAX調査

【FAX調査を採用した理由】
弊社では質問紙調査をご依頼頂く場合、郵送調査とFAX調査のいずれかをご提案しています。FAX調査では、アンケート票および回答用紙を弊社からモニターへFAX送信し、回答票のみをFAXで返信してもらいます。FAX調査のデメリットとして、アンケート票をカラーで編集・印刷できない、文字の明瞭さがFAX機の性能に依存する、といった点が挙げられますが、逆に調査期間の短縮、通信費用等のコスト圧縮といったメリットがあり、郵送調査よりもご依頼頂く機会が多くなっています。今回は品質検証調査という主旨を踏まえ、ご依頼頻度が高く、また文字の明瞭さなど情報伝達上の制約があるFAX調査を意図的に採用致しました。

結果

視点1:設問文の読み飛ばしによるSatisficeの発生率(指標①)

弊社モニターにおける「設問文の読み飛ばし」によるSatisficeの発生率は36.9%でした。この発生率を三浦・小林(2015)で測定されたオンラインモニターのSatisfice発生率と比較致しました。三浦・小林(2015)では、オンラインモニターとして2社が調査対象となっており、それぞれのSatisfice発生率はA社51.2%、B社83.8%であったことが報告されています。カイ二乗検定を実施したところ、調査会社間で有意な差が見られ(χ2(2)=844.9, p<.001)、多重比較の結果、弊社モニターのSatisfice発生率はA社、B社よりも有意に低いことが示されました。※ 多重比較では、Bonferroni法による有意水準の調整を行いました。

図1:指標① 設問文の読み飛ばしによるSatisfice発生率

視点1:設問項目の読み飛ばしによるSatisficeの発生率(指標②)

弊社モニターにおける「設問項目の読み飛ばし」によるSatisficeの発生率は11.7%でした。この発生率を三浦・小林(2015)で測定されたオンラインモニターによるSatisfice発生率と比較致しました(A社:10.0%、B社:16.1%)。カイ二乗検定を実施したところ、調査会社間で有意な差が見られ(χ2(2)=26.2, p<.001)、多重比較の結果、弊社モニターのSatisfice発生率はB社よりも有意に低いことが示されました。A社との有意な差は見られませんでした。※ 多重比較では、Bonferroni法による有意水準の調整を行いました。

図2:指標② 設問項目の読み飛ばしによるSatisfice発生率

視点2:回答データと先行研究で示されている理論との整合性

5因子性格検査短縮版(藤島・山田・辻, 2005)30項目の回答データに対して、探索的因子分析を実施しました。分析の結果、一部の項目について因子負荷量が.35を下回る結果が得られているものの、ほぼ先行研究どおりの因子構造が再現されています。一方、三浦・小林(2015)で得られたオンラインモニターの回答データの探索的因子分析では、先行研究どおりの因子構造が再現されませんでした。特に第2、第3、第4因子において、因子ごとの尺度項目が適切にまとまらない結果となりました。したがって、弊社の回答データは先行研究で見出されている知見の再現性が高く、より誠実な回答が期待できると考えられます。

表1:探索的因子分析結果の比較
(左:弊社回答データによる分析結果、右:オンラインモニター回答データによる分析結果)

まとめ

視点1の「設問文の読み飛ばしによるSatisfice(指標①)」について、弊社モニターの発生率は36.9% でした。この発生率はオンラインモニターの発生率より有意に低いことから、例えば文章量が多い設問(文章によって特定の場面をイメージさせる場面想定法など)において、弊社モニターの回答データの方が、相対的に品質が高くなることを示唆しています。

また、「設問項目の読み飛ばしによるSatisfice(指標②)」に関して、弊社モニターの発生率は11.7%でした。FAX調査はアンケート票と回答用紙が別の紙面となり、設問項目と回答記入欄が近接していないため、読み飛ばしや誤記入が危惧されることがありますが、今回の結果はそのようなリスクがそれほど高くないことを示しています。

視点2に基づく、弊社回答データによる探索的因子分析の結果は、先行研究の理論との整合性が高いものでした。回答に際して十分な検討・思考がなされ、適切な個人差が回答データに反映されたことがうかがえます。

上記のとおり、弊社回答データは一定の品質を有していることが検証されましたが、事実としてある程度のSatisficeが発生していることは認識する必要があると考えます。弊社では、学術研究に資するデータをご提供するため、今後、研究者の皆さまからご要望があればSatisfice検出項目を調査票に含める対応をとります。Satisfice検出項目を含めることは、その調査における弊社モニターの回答姿勢の実態を報告するとともに、Satisficeを示したモニターを分析に含める、含めないといった複数の分析を可能にするため、意味があると考えています。

弊社では、Satisficeの発生を完全にゼロにすることは困難という認識に立ち、できる限りSatisficeが発生しない調査票構成およびモニター管理を推進し、納得性の高い調査データのご提供に努めていきたいと考えております。

引用文献

藤島 寛・山田尚子・辻平治郎(2005).5因子性格検査短縮版(FFPQ-50)の作成 パーソナリティ研究, 13, 231-241
三浦麻子・小林哲郎(2015). オンライン調査モニタのSatisfice行動に関する実験的研究 社会心理学研究, 31, 1-12
Oppenheimer, D.M., Meyvis, T., & Davidenko, N.(2009). Instructional manipulation check: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45, 867-872