近年、研究者評価の在り方を見直す国際的な動きが急速に広がっている。その代表的な取り組みが、DORA（San Francisco Declaration on Research Assessment：サンフランシスコ研究評価宣言）である。
DORAは2012年に公表され、現在では世界各国の大学、研究機関、研究助成機関、学協会など数千の組織が署名している。近年では、UNESCOによるオープンサイエンス勧告やCoARA（Coalition for Advancing Research Assessment）の設立などとも連動し、「責任ある研究評価（Responsible Research Assessment）」を実現するための国際的な枠組みの一つとして位置付けられている。
日本でも研究評価改革に関する議論は活発化しているものの、DORAの理念や勧告内容について十分理解されているとは言い難い。
DORAが提唱された背景
DORAが策定された背景には、Journal Impact Factor（JIF：インパクトファクター）が研究者個人の評価指標として広く利用されてきたことがある。
▼インパクトファクターに関する記事はこちら
インパクトファクターは、Clarivate社が公表する学術雑誌単位の引用指標であり、一定期間に掲載された論文が平均してどの程度引用されたかを示すものである。本来は図書館における雑誌選定や出版動向の分析などを目的として開発された指標であり、論文や研究者の質を評価するために設計されたものではない。
しかし実際には、
「高インパクトファクター誌に掲載された論文ほど優れた研究である」
あるいは、
「高インパクトファクター誌への掲載実績が多い研究者ほど優秀である」
という評価が世界的に定着してきた。
一方で、同一雑誌内であっても引用数の分布は極めて偏っており、平均値であるインパクトファクターは個々の論文の学術的価値を十分に反映するものではないことが知られている。また、引用行動は研究分野ごとに大きく異なるため、異分野間比較にも適さない。
こうした問題意識から、研究成果をより適切かつ公平に評価するための原則としてDORAが提唱された。
DORAの基本理念
DORAで最も重要な勧告は極めて明確である。
研究者の採用、昇任、研究費配分等の意思決定において、Journal Impact Factorのような雑誌指標を代理指標として用いるべきではない。
これは「引用指標を一切用いるべきではない」という意味ではない。
DORAは、研究成果そのものを評価対象とし、雑誌のブランドや掲載媒体を代理変数として利用しないことを求めている。
さらにDORAでは、研究成果を論文に限定せず、
- 研究データ
- ソフトウェア・プログラム
- データベース
- プロトコル
- 特許
- 社会実装
- 教育活動
- オープンサイエンスへの貢献
など、多様な成果を研究活動として適切に評価することを推奨している。
この考え方は、近年のオープンサイエンスや研究データ管理（Research Data Management）、FAIR原則の普及とも軌を一にしている。
「指標を使わない」のではなく「適切に使う」
DORAはしばしば「研究評価に指標を使うべきではない」という主張として誤解されることがある。しかし、その理解は正確ではない。
論文数、被引用数、Field-Weighted Citation Impact（FWCI）、Relative Citation Ratio（RCR）、h-indexなどの計量指標は、研究活動の一側面を客観的に把握する上で依然として有用である。
重要なのは、それらを評価の代替物（proxy）として機械的に利用しないことである。
例えば、若手研究者は研究期間が短いため被引用数やh-indexが低くなる傾向がある。また、人文・社会科学では自然科学と比較して引用文化そのものが異なるため、同一指標による単純比較は適切ではない。
さらに、地域医療、行政政策、産業界との共同研究など、社会的インパクトを重視する研究では、引用指標のみでは研究成果を十分に評価できない場合も多い。
このように、研究評価では研究目的や研究分野、キャリアステージを踏まえ、多面的なエビデンスに基づいて判断することが求められる。
日本における研究評価改革
日本でも、研究評価の在り方は徐々に変化している。
文部科学省の「研究及び開発に関する評価指針」では、研究分野の特性や研究目的を考慮し、定量的指標と専門家による質的評価を組み合わせた総合的な評価を基本原則としている。
また、大学や研究機関では、研究論文だけでなく、
- 国際共同研究
- 産学官連携
- 研究データ公開
- 若手研究者育成
- 社会実装
- オープンサイエンスへの貢献
などを評価項目へ組み込む事例が増加している。
さらに、日本学術振興会（JSPS）や科学技術・学術政策研究所（NISTEP）においても、責任ある研究評価に関する議論が進められており、日本の研究評価制度も国際的潮流との整合性を図る方向へ進みつつある。
責任ある研究評価へ
DORAは、従来の研究評価を全面的に否定するものではない。
むしろ、研究活動の多様化が進む現在において、限られた指標だけでは捉えきれない研究者の貢献を適切に評価するための原則を示した国際的な提言である。
研究評価において定量的指標は依然として重要な役割を果たす。しかし、その意味や限界を理解した上で利用し、専門家による質的判断や研究分野の特性と組み合わせて解釈することが不可欠である。
DORAは、こうした「責任ある研究評価（Responsible Research Assessment）」への転換を象徴する宣言であり、研究者のみならず、大学執行部、研究評価担当者、研究助成機関など、研究評価に関わるすべての関係者が理解しておくべき基本原則となっている。
参考資料
- San Francisco Declaration on Research Assessment (DORA)
https://sfdora.org/ - 文部科学省「研究及び開発に関する評価指針」
https://www.mext.go.jp/a_menu/kagaku/hyouka/main11_a4.htm - Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. (2015). The Leiden Manifesto for research metrics. Nature, 520, 429-431.
- Curry S, de Rijcke S, Hatch A, et al. (2020). The changing role of funders in responsible research assessment. eLife.
コメント