競争的研究費の審査では、多くの場合、複数の審査員が申請書を評価し、その平均点によって順位が決まります。
一見すると、とても公平な方法に思えます。
一人だけの判断では偏りが生じるため、複数人の評価を平均すれば、公平な結果に近づくという考え方です。
実際、多くの研究費制度や助成金制度で、この方法が採用されています。
しかし、本当に平均点だけで公平な評価と言えるのでしょうか。
統計学の視点から考えてみると、いくつかの課題が見えてきます。
審査員によって採点基準は異なる
例えば、5点満点で採点する制度を考えてみます。
ある審査員は「3点を標準」と考えます。
一方、別の審査員は「4点を標準」と考えます。
同じ申請書を読んでも、
- 審査員Aは3点
- 審査員Bは4点
という結果になることがあります。
これは、どちらかが間違っているわけではありません。
採点の「癖」が違うだけです。
教育の世界でも、「甘い採点者」と「厳しい採点者」がいることはよく知られています。
研究費審査でも同じことが起こります。
平均を取れば問題は解決するのか
もちろん、複数人で評価すれば、一人だけの偏りは小さくなります。
これは統計学でも「平均化の効果」として知られています。
しかし、それは
全員が同じ基準で採点している
という前提がある程度成り立つ場合です。
もし審査員ごとに採点基準が大きく異なれば、平均を取っても完全には補正できません。
例えば、極端に厳しい審査員が一人いるだけで、平均点は下がります。
逆に、非常に高い点数を付ける審査員がいれば、平均点は上がります。
平均は万能ではないのです。
利益相反による除外も影響する
さらに、利益相反によって審査員が外れる場合があります。
▼利益相反（COI）に関する記事はこちら
5人で評価する予定だった申請書が、4人で評価されることもあります。
このとき、一人あたりの評価の重みは20％から25％へ増加します。
つまり、一人の採点が結果へ与える影響は大きくなります。
利益相反への対応は不可欠ですが、そのこと自体が統計的には評価のばらつきを大きくする可能性もあります。
公平性を高めるための仕組みが、別の課題を生み出すこともあるのです。
平均点だけでは見えない情報がある
統計学では、平均だけではなく「ばらつき」も重要な情報です。
例えば、平均点が4.0点だった二つの申請書があったとします。
Aの申請書
4・4・4・4・4
Bの申請書
2・3・5・5・5
どちらも平均は4.0点です。
しかし、評価の内容は大きく異なります。
Aは審査員全員が高く評価しています。
一方、Bは評価が大きく分かれています。
この違いは、平均点だけでは分かりません。
分散や標準偏差といった指標を併せて見ることで、「審査員の意見が一致しているのか、それとも割れているのか」という情報を把握できます。
完全に公平な審査は存在するのか
ここまで読むと、「では、どのような審査方法が最も公平なのか」と考えるかもしれません。
残念ながら、その答えは簡単ではありません。
審査員を増やせば公平性は高まる可能性がありますが、時間も費用もかかります。
採点基準を細かくすれば評価は統一しやすくなりますが、研究の独創性を十分に評価できなくなることもあります。
AIを利用した審査も研究されていますが、現時点では人間による専門的な判断を完全に置き換えることはできません。
つまり、研究費審査は「正解」を探す作業ではなく、「より納得感のある制度」を目指して改善を続ける営みなのです。
統計学は制度を疑うための学問でもある
統計学というと、平均やグラフ、検定を思い浮かべる人が多いかもしれません。
しかし、本来の統計学は「数字を計算する学問」ではありません。
数字の裏側にある仕組みを理解し、制度そのものを検証するための学問でもあります。
研究費審査における平均点も、その一例です。
平均という数字だけを見るのではなく、その数字がどのように作られ、どのような前提の上に成り立っているのかを考えることが重要です。
公平な評価制度とは、完璧な制度ではありません。
制度の限界を理解し、データに基づいて改善を続ける制度こそが、多くの研究者から信頼される評価制度につながるのではないでしょうか。
コメント