第3回：調査に必要な妥当性と信頼性 ～正しく測定するため、事前に考えておくべき2つのポイント～
「人事が社員向け調査を実施する際に知っておくべきこと」「成功のポイント」はどのようなものだろうか。全6回の本連載コラムでは、組織行動論を専門とし、企業との共同調査なども数多く手がける神戸大学大学院 経営学研究科 准教授の服部泰宏氏に、学術的な内容をわかりやすくレクチャーしていただく。第3回のテーマは「調査に必要な妥当性と信頼性」。調査をめぐる4つの世界をうまく越境し、正しく測定するために決定的に重要な2つの基準、「妥当性」と「信頼性」についてご説明いただいた。
服部 泰宏
神戸大学大学院 経営学研究科 准教授
神奈川県生まれ。国立大学法人滋賀大学専任講師、同准教授、国立大学法人横浜国立大学准教授を経て、2018年4月より現職。日本企業における組織と個人の関わりあいや、ビジネスパーソンの学びと知識の普及に関する研究、人材の採用や評価、育成に関する研究に従事。2010年に第26回組織学会高宮賞、 2014年に人材育成学会論文賞などを受賞。
現場を把握する2つの切り口「状態」「関係性」
前回、測定とは「理論/仮説の世界」「実際の世界」「データの世界」「測定された世界」という4つの世界で、PDCAのようにプロセスを回していくことだとお伝えしました。今回は、これらのプロセスの中で「正しい測定を行うために重要なこと」についてお伝えします。
まず、現場の把握の仕方には、大きく分けて2つの方法があります。アカデミックの世界で「記述（description）」「説明（explanation）」と呼ばれているものです。
「記述（description）」は、「能力開発の施策に力を入れている（X）」とか「日本企業一般に比べ、わが社はレジリエンスが高い（Y）」といった、XとYのそれぞれの「状態」に関する写像です。人間の体で例えると、体温が高い・低いというような把握の仕方です。写像とは、前回も出てきましたが、アカデミックな世界で使われる言葉です。現場の現実を写し取ること、また、写し取ったもの、というような意味だと理解してください。
次に、「説明（explanation）」は、「能力開発の施策に力を入れている（X）」ほど、「組織レベルのレジリエンスが高くなる（Y）」といった、XとYの「関係性」に関する写像です。この人事施策に力を入れるとこういう結果が生まれる、また、人間の体であれば、こういうことをすると体温が下がるというような、因果関係を知るという把握の仕方です。
ちなみに、多くの企業では、人事調査で得られたデータによる現場把握が「記述（description）」の段階で留まっているようです。「説明（explanation）」は、相関分析や回帰分析という高度な手法を使って行うものですから、確かに手間はかかります。しかし、各指標について、これはなぜ低くなっているのか、これはどうすれば高くなるのかといったことがわかり、打ち手が見えてくるという利点もあります。
いずれにしても、現場を把握するには、「状態」を見る、もしくは「関係性」を見るという2つの方法があるということです。
その調査は「妥当性」に問題がなく、「信頼性」が担保されているか
「状態」もしくは「関係性」に関して写像された世界、つまり、実際の世界を写し取った世界は、もちろん実際の世界そのものではありません。調査を行う人は、そのことを理解した上で、測定の結果が本当に現実を正しく反映したものになるかどうかを、調査に先立ってしっかりと考える必要があります。その際の基準が「妥当性」「信頼性」という2つです。
「妥当性」とは、前回お話しした調査をめぐる4つの世界のうち、「理論/仮説の世界」が、測定される「実際の世界」ときちんと対応しているかということです。わかりやすく言えば、私たちが調べたいことがその調査の内容やアンケート項目に反映されているかどうか。
例えば、リーダーシップが成果に与える影響を知りたいときに、本当にその項目でリーダーシップが測れるのかということです。現場の方々に「あなたの上司はどれくらいリーダーシップを取れていると思いますか」と聞いた場合、「自分について来いというように、強い力で引っ張っていくのがリーダーシップだ」と考える部下は、その考えに基づいて自分の上司のリーダーシップを判定します。しかし、人事の方々が「後ろから背中を押し、部下の良さを引き出すサーバント・リーダーシップも、今の時代に必要なリーダーシップだ」と考えているとすると、アンケート調査のスコアには本当に人事が知りたいリーダーシップが反映されていないことになってしまいます。
また、「妥当性」には、系統的誤差の影響を受けていないかどうかということも含まれます。系統的誤差には、例えば、社会的にはリーダーシップが高いことが望ましい、あるいは上司のことは高く評価するべきだろうと考えて、実際はそう思っていなくても上司のリーダーシップは高いと回答してしまうようなことがあります。また、会社の施策に賛成するかどうか聞かれたときなど、本当はノーだと思っていることでもイエスと答えてしまいやすい、肯定傾向というものもあります。こうしたものの影響を受けてしまうと、測定された結果の妥当性に問題があることになります。
次に、「信頼性」とは、測定の結果が偶然に左右されない安定的なものであり、いつ、誰が測っても同じになるかということです。例えば、最近は、採用の際にあらかじめ評価基準と質問項目を決めておく構造化面接を行うことが望ましいとよく言われますが、これはまさに信頼性の問題に抵触するからです。面接官によって評価にバラツキがあると、測定の信頼性が低くなってしまうということです。また、アンケート調査の場合、信頼性を担保するために注意が必要なのは時期の問題です。特に従業員満足度調査やエンゲージメントサーベイなどは、年度末などの業務が多忙な時期に行うか、そうでない時期に行うかによって、同じ人でも違う回答をしてしまうことが考えられるからです。
このように、その測定によって私たちが知りたいことがきちんと見えるかどうかを考える際、チェックすべき点の一つが妥当性であり、もう一つが信頼性であるということです。ぜひ覚えておいていただきたいと思います。
