論文数をKPIにすると何が起こるのか?Goodhartの法則から考える研究評価

統計・データ分析

「今年は論文を○本発表しよう。」

大学や研究機関では、論文数を研究活動の目標として掲げることがあります。

論文は研究成果を社会へ発信する重要な手段であり、論文数を把握すること自体は決して悪いことではありません。

しかし、もし「論文数を増やすこと」そのものが目的になってしまったら、何が起こるでしょうか。

この問いを考える上で参考になるのが、経済学者チャールズ・グッドハートが提唱したGoodhartの法則です。

Goodhartの法則とは

Goodhartの法則は、

「指標が目標になると、その指標は良い指標ではなくなる。」

という考え方です。

もともとは経済政策について語られた法則ですが、現在では教育、医療、行政、企業経営など、さまざまな分野で引用されています。

つまり、本来は現状を把握するために作られた指標も、「その数字を上げること」が目的になると、本来の意味を失ってしまうことがあります。

研究評価も例外ではありません。

論文数は研究活動の「結果」である

本来、論文数は研究活動の成果として生まれるものです。

新しい知見を発見し、それを論文として公表した結果が論文数です。

ところが、「年間○本」という目標だけが一人歩きすると、研究そのものよりも論文数を増やす工夫が優先される可能性があります。

研究者は評価される指標に反応します。

これは決して研究者の問題ではなく、人間であれば自然な行動です。

数字だけを追うと何が起こるのか

論文数だけを重視した場合、いくつかの行動が起こり得ます。

例えば、一つの研究を複数の小さな論文に分けて発表する「サラミ出版」です。

本来であれば一本の論文として十分な内容でも、複数に分割することで論文数を増やせます。

また、大規模共同研究では、多くの論文に共著者として参加することで論文数を増やせる場合もあります。

もちろん、共同研究そのものは研究の発展に欠かせません。

しかし、論文数だけを評価すると、「どれだけ主体的に研究へ貢献したか」が見えにくくなります。

さらに、短期間で成果が出やすいテーマばかりが選ばれ、時間をかけて挑戦する研究が減る可能性もあります。

KPIが悪いのではない

ここで誤解してはいけないのは、KPI(重要業績評価指標)そのものが悪いわけではないということです。

組織を運営する以上、目標を数値で把握することは重要です。

大学でも、

  • 論文数
  • 被引用数
  • 外部資金
  • 国際共同研究

など、多くの指標が活用されています。

問題は、一つのKPIだけで研究活動を評価することです。

研究には、独創性、社会的意義、人材育成、長期的な成果など、数字だけでは表せない価値があります。

世界でも見直しが進んでいる

近年、研究評価の世界では、「指標を適切に使うこと」が重視されるようになっています。

2012年に公表されたDORA(サンフランシスコ研究評価宣言)では、インパクトファクターなど単一の指標だけで研究者を評価すべきではないと提言されています。

▼DORA宣言に関する記事はこちら

DORA宣言とは?責任ある研究評価に向けた国際的潮流を解説
DORA(サンフランシスコ研究評価宣言)の概要や策定背景、インパクトファクターとの関係、責任ある研究評価(Responsible Research Assessment)の考え方を研究者向けに分かりやすく解説します。

また、Leiden Manifesto(ライデン・マニフェスト)では、研究評価における10の原則が示され、定量的指標は専門家による評価を補完するものとして利用すべきだとされています。

これらに共通しているのは、「数字を否定する」のではなく、「数字を正しく使う」ことの重要性です。

研究者は数字のために研究をしているのではない

研究の目的は、新しい知識を生み出し、社会へ貢献することです。

論文は、その成果を伝える手段の一つです。

もし論文数だけが評価されるようになれば、研究活動そのものが数字を増やすための活動へ変わってしまうかもしれません。

それは研究者にとっても、大学にとっても、社会にとっても望ましい姿ではありません。

だからこそ、研究評価では複数の指標を組み合わせ、研究内容そのものも丁寧に見る姿勢が求められています。

指標は「目的」ではなく「道具」

論文数は重要な指標です。

被引用数も、科研費も、大学ランキングも同じです。

しかし、それらはすべて「研究活動を理解するための道具」であって、研究そのものの目的ではありません。

Goodhartの法則は、研究評価に大切な教訓を与えてくれます。

数字は、研究をより良くするために使うものです。

数字に研究が振り回されるようになったとき、その指標は本来の役割を失い始めます。

研究評価とは、数字を競うことではなく、研究の価値をより正確に理解するための営みです。

そのことを忘れない限り、KPIは研究を支える有効な道具であり続けるでしょう。

参考資料

  • Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience.
  • DORA(San Francisco Declaration on Research Assessment)
    https://sfdora.org/
  • Hicks, D., et al. (2015). The Leiden Manifesto for research metrics. Nature, 520, 429-431.
    https://www.nature.com/articles/520429a

コメント