第4回：測定の過誤 ～アンケート調査時に起こり得るさまざまなエラーと対処方法～

質問に対する「内省時」と「回答時」に系統的誤差が発生

人事の皆さんが社内でアンケート調査を実施した際、出てきた回答にはさまざまなエラーが含まれている可能性があります。それらはどのようなエラーで、どのように対処できるのかというのが今回のテーマです。

これらのエラーは、回答者がアンケートに回答する際、2つのフェーズで起こります。アンケート調査のような自己回答型の調査における回答プロセスは、大きく3つのフェーズに分かれています。まず最初に、「○○についてお答えください」といった質問項目を読み込む第1のフェーズがあり、次にその質問項目を読んで自身について内省する、つまり、自分の経験や自分の周りのことを思い浮かべて、自分はどうだろうか、あるいは上司についての質問なら、私の上司はどうだろうかと考える第2のフェーズであり、1回目のエラーのタイミングです。そして、内省を経て最終的に質問に回答する第3のフェーズが、2回目のエラーのタイミングになります。

アカデミックではこのエラーを系統的誤差と呼んでいます。わかりにくい言葉だと思いますが、ランダムに生じる誤差ではなく、系統的にずれて測定される誤差という意味です。例えば、回答者がもともと持っている考え方の傾向などによって発生する誤差を意味します。

属する集団によって自己評価が変わる「井の中の蛙効果」

どのようなエラーが起こり得るのかというと、まず、内省時に発生する系統的誤差として次の4つが挙げられます。

1つ目は「自己評価の厳しさの違い」です。自分自身の諸特性について評価する際の厳しさ/甘さにはかなりの個人差があります。例えば、「自分は勤勉な方だ」という項目について、自身に厳しい人は低めのスコアを、自身に甘い人は高めのスコアをつける傾向があります。そこで、対処方法として、こうした自己評価の厳しさの違いが出てくる自分の勤勉さや成果といったものに関しては、自己回答によって測定することを避けて他者評定にする、あるいは、本人のスコアと他者のスコアの加重平均を取るということがよく行われています。

次に、2つ目は「選択肢への反応の違い」です。選択肢の文章には「極めて」「かなり」「どちらかといえば」「ほとんど」といった副詞がよく使われますが、こうした副詞は受け取る人によってかなり違ったニュアンスで捉えられることがあります。そうした事態を防ぐため、事前にパイロット調査を行い、回答者がそれぞれの文章をどのように理解し、回答したのかをチェックしておくことが大切です。

さらに3つ目は「回答時の気分（mood）」です。私たちは気分が乗っているときは物事を肯定的に解釈し、気分が沈んでいるときは否定的に解釈する傾向があります。特に、会社での職務満足（job satisfaction）や仕事のモチベーションなどは、回答者が回答時にどのようなムードであるかに大きく左右される可能性があります。これへの対処は難しいのですが、年末や年度末の繁忙期、M&Aや大規模なリストラの前後など、社内の人々の気分が大きく上下する可能性の高い時期の実施を避けるなどの工夫はできます。

そして、4つ目の「井の中の蛙効果（big-fish little pond effect）」は、自分の能力などを評価する際に身近な他者と自分を比較するため、どのような集団に属しているかによって、その人の自己評価が変わってしまうというものです。例えば、同じ営業成績であっても、非常に競争が激しい東京都心の営業所の人は自分の成績について辛く評価し、競争が比較的緩やかな地方の営業所の人は甘く評価するといったことがよく起こります。対処としては、成果などはできるだけ客観的なデータを取ることや、過去の調査結果から、どの支社、支店は比較的評価が甘い傾向があるかをチェックし、少し結果を割り引いて見るといったことが考えられます。

認知的負荷がかかると「Yes Tendency」が起こりやすい

質問に回答する際には、次の3つの系統的誤差が発生する可能性があります。

1つ目は「肯定傾向（yes tendency）」で、これは質問に対して深い考えなしに肯定してしまう傾向です。例えば、「あなたの会社の社員が受け取っている給与水準は、国際的な水準からみて妥当なものか」といった質問だと、難易度が高く、相当考えないといけません。心理学では「認知的負荷がかかる」と言いますが、こうした難問だと「考えるのは面倒だから、イエスにしておこう」となるわけです。人によっては「ノーにしておこう」となるかもしれません。

これが起こると、データ分析の結果、実際には存在しない相関が出てしまうことがあり、注意が必要です。対処方法の一つは、認知的負荷がかかり、回答者を思考停止に陥らせる質問にならないよう、よく考えることです。先ほどの例で言えば、「国際的な水準」というだけでなく、具体的な数字を示すというように、ハードルを下げる努力ができると思います。

2つ目は「社会的望ましさ（social desirability）」。「困っている同僚がいたら助ける」とか「一生懸命働く」といったように、社会的に望ましい回答がわかりきっている質問には肯定的に回答する傾向のことです。「こう答えた方が、会社の覚えがめでたいだろう」と考えるわけですね。これを避けるためには、例えば、「困っている同僚がいたら自分がどれだけ忙しくても必ず助ける」、「プライベートを多少犠牲にしても一生懸命働く」というように副詞などを加えて文章のニュアンスを強めると、「そこまではしないな」というように変わってきます。

3つ目は「コモンメソッド・バイアス（common method bias）」です。これは、同一の回のアンケートで原因Xと結果Yを測定したことで、実際にその2つの変数の間に存在する以上の相関関係が出てしまうことです。例えば、会社への満足度や愛着と、上司との関係性の良さといったことについて知りたいとき、同じアンケートで、会社への満足度や愛着について質問し、上司との関係が良いかについても質問したとすると、「肯定傾向（yes tendency）」などのいろいろな影響から、どちらも高いスコアとなり、強い相関が出るということがよくあります。

これについては、アンケートの実施を2回に分けて、Xについては1回目で聞き、Yについては2回目で聞くというように、タイムラグを設けることで対処することができます。一般的には数週間から1カ月ほど時間を置くのがよいとされています。現実的には、アンケート調査を行う場合、同一の回でXとYの両方を測定せざるを得ないことが非常に多いのですが、出てきた相関関係を過大評価しないように、こういう傾向があることを理解しておく必要があります。

このように、測定を行う際にはさまざまなエラーが起き得るので、できる限り対処することが大切だということを、ぜひ知っておいていただきたいと思います。