Web
Analytics

【書評・測りすぎ なぜパフォーマンス評価は失敗するのか? 】~「測定基準」を決めるのはこんなに難しい~

こんにちは。

このブログは心理学を大学で専攻し、それを活かしてメーカーの技術職で働いている私が「心理学を今学ぶ学生の方に知ってほしい」あれこれを書いています。

その中で、「測る」「評価する」ことについては下の記事をはじめいろいろな記事で書いてきました。


上の記事では実験ができないという書き方にしていますが、ここまで実験や評価するスキルを強調するのは心理学の価値が「ヒトの考えや行動を正しく測る」ことにあると考えているからです。

しかし、この「測る」はとても難しい営みであるのも事実。今回紹介する本は正しく測ることの難しさをこれでもかと解説しています。

f:id:husbird:20201011150258p:plain


そもそも「測る」って何?

ネットで「測る」と検索して一番最初に出てきたgoo辞書*1によれば、「ある基準をもとにして物の度合いを調べる。特に、はかり・ゲージなどの計測機器で測定する。「体温を―・る」「距離を―・る」」行為と定義しています。

他の辞書を見てもおおむね「基準を設けてそこに対する度合いを調べる」というものです。

ここから「適切に測る」ためには次の2点が重要と考えられます。

  • 適切な基準を設定する
  • 実際に起きたことをありのままに測る

以前紹介したこの本では心理学がなぜ信用されないのか?がテーマでしたが、どちらかと言えば実際に起きたことの測り方に焦点をあてていました。

今回紹介する本ではそもそもの基準設定がメインの内容になります。

タイトルや、章立てなど

この本は洋書の邦訳です。日本語版のタイトルはこのブログのタイトルと同じですが、原書のタイトルは「The Tyranny of Metrics(測定という暴政)」です。


 


章立ては次のようになっています。

  • Part I 議論
  • Part II 背景
  • Part III あらゆるものの誤測定?ーケーススタディー
  • Part IV 結論

Part Iでは根本的な「測る」における課題、Part IIではなぜ評価できること、評価基準というものがこれほどまでに重視されるようになったのか?を解説しています。

特にPart IIは興味深いです。序盤の1文を紹介します。

社会的信頼の欠如は測定基準の神格化へとつながり、測定基準に対する信頼は判断に対する信頼を低下させるという悪循環が生まれる。(p42)

これは、何らかの政策に対する不信感が強くなると、その政策の妥当性を示すために測定基準を乱用せざるを得なくなることを指しています。日本の大学に対する政策で行われた過度な選択と集中、IFや獲得資金額に基づいた研究者の評価もこういった測定基準を過信したことによる問題の1つと言えそうです。

Part IIIでは、教育や医療、警察など社会のありとあらゆるセクターにおける悪い意味での測定への依存を扱っています。教育などの公的なセクターだけではなく、民間企業におけるビジネスでも測定基準への依存が行われており、それがしばしば失敗しているのです。

心理学の人にとって親和性が高い教育の分野を例に挙げてみましょう。アメリカのある地域では、子供のテストの成績に応じて教師の報酬を決定するシステムが導入されていました。これは学力格差を小さくすること、特に低学力層の子供の学力を底上げすることを目的に行われました。しかし、結果としてうまくいかず格差は縮小するどころか拡大することになったのです。

この本の全体的な主張は、「測定基準を設けることが有効なシーンはあるけど、私たちが思っているよりもはるかに少ない」というものです。会社に来ると「で、いくら儲かるの?」と言われ測れることの重要性を感じますが、そんなに簡単な問題じゃないということですね。

Part IVは結論となっていますが、ここでは「測定基準を用いたい時に気を付けるべきこと」を示すチェックリストがあります。

チェックリストは10項目から構成されていますが、その中で興味深い3項目を見てみましょう

①どういう種類の情報を測定しようと思っているのか?
⑦ 組織のトップがなぜ実績測定を求めているのかきいてみる。
⑨もっともすぐれた測定でさえ、汚職や目標のずれを生む恐れがあることを覚えておく

特に⑨は「測ることが結果を歪める」リスクを指摘しています。これは心理学実験ではよく聞くお話ですね。

 

「測る」ことが仕事になりうる心理学部生から管理職までおススメできる良書

Amazon.jpで見ることができるこの本の帯には「管理職は必読!」とありました。それはおそらく企業において「評価する側」とは管理職であることが多いからでしょう。もちろんそれは1つの事実であり、最終的には上司が部下を評価します。実際私自身も上司から評価されるわけです*2

しかし、心理学専攻の人が就職後に配属されるのは技術職であれば「感性・UX UIエンジニア、安全衛生」、事務職であれば「人事」に配属されやすいはず*3

これらの仕事であれば、「評価方法や評価基準を作る」ことは極めて重要な仕事です。私の職場でも「それは計測可能なのか?」とか「測るとしてその基準はどのようにすべきか?」といった議論が良く聞かれます。

しかし、私が学生だった時には出てきたデータに対する処理(つまり統計的検定の方法や外れ値除去基準など)に関してはかなり指導を受けましたが、「そもそもの評価基準はどうなっているのか?」についてはさほど厳しく言われなかったような気がします*4。企業に移ってから上司に「その評価基準は本当に適切なの?基準を決めることは重要な業務だよ」と繰り返し指摘されてはじめて気づいたものです。

というわけで、この本は将来評価指標を作ることになるであろう心理学専攻の人にはかなりおススメできる本です。Part IIIを読みながら、「自分が計測する立場なら、結果を歪めないためにどんな工夫ができるだろうか?」と考えながら読むといいのではないでしょうか。きっと、自分で測定するときの役に立つはずです。

*1:リンクは https://dictionary.goo.ne.jp/word/%E8%A8%88%E3%82%8B/

*2:ちなみに、最近は部下が上司を評価する会社も多くあります

*3:あくまでも他の専攻に比べて、という話であり必ずこれらの部署に配属されるわけではありません

*4:私が不勉強だったことも大いに関係していると思いますが