Forskningsevaluering: På vej tilbage til ansvarlig praksis?

Forskningens verden er gennemsyret af forskningsevaluering. Der evalueres på mange niveauer med en vifte af kriterier og multiple formål. Den klassiske metode er peer review (fagfællebedømmelse). Den bruges først og fremmest til vurdering af kvaliteten af publikationer og ansøgninger til projekter og stillinger. Ideelt set læser flere fagkyndige den/de samme tekst(er). Det muliggør en vis grad af krydskontrol. Opgaven er at afgive en klar konklusion (accepteret/støtteværdig/kvalificeret). Historisk var klassisk peer review en central mekanisme i et relativt autonomt selvstyrende forskningssystem. I relation til stillinger lavede de fagkyndige tidligere en rangering af ansøgerne. Alle ansøgere fik alle vurderinger. Åbenhed var fundament for en diskussion af kvalitet i forskning. I dag er peer review indvævet i ledelse i en lukket proces.

Klassisk peer review er presset. I publiceringssystemet gør den stærkt øgede publiceringsaktivitet det vanskeligt for tidsskriftredaktører at rekruttere peers. I stillingssystemet giver et voksende antal databaser let adgang til bibliometri. Citationsindeks som for eksempel H-indeks, i10-indeks, G-indeks og JIF tilbyder ”nemme” men uholdbare løsninger. Indikatorerne glider ind i peer review både via ansøgere, fagkyndige og ledere. Men publikations- og citationstælling måler ikke kvalitet. Publikationstælling måler produktivitet eventuelt i forskellige publiceringsarenaer. Citationstælling måler synlighed. Forskere citerer hinanden af mange årsager.

Peer review benyttes også i andet end forskningens hverdagspraksis. Peer review anvendes til vurdering af forskningskvalitet på gruppe-, institut-, disciplin- og universitetsniveau. Her læser de fagkyndige ikke tekster. I stedet danner selvvurderinger, bibliometri og site visits basis for kvalitetsvurderinger. Typisk benyttes paneler af topforskere, der dækker hvert sit delfelt. Der er en risiko for, at evalueringsrapporter bliver til på basis af en del og hersk proces.

Nogle evalueringer med fokus på organisatoriske niveauer inkluderer også indikatorer relateret til forskningsmiljøernes evne til at tiltrække funding, opbygge netværk, udvikle interaktion med praksis, skabe impact og til tider også spørgsmålet om, hvordan forskningskvalitet fremmes. I disse tilfælde bør panelerne inkludere andre typer kompetencer, fx kompetencer vedrørende forskningsorganisering, understøttelse af kreative miljøer etc.  

Forsknings- og i bredere forstand universitetsevaluering er herudover i sig selv blevet et produkt. Udbydere som fx ShanghaiRanking og Times Higher Education markedsfører rankings af institutter/institutioner. Universiteterne anvender rankings som symbolsk kapital i forsøg på at tiltrække attraktive ansøgere og studerende. 

Anvendelse af bibliometri fremfor alt citationsindikatorer samt rankings har været kritiseret lige så længe de har været kendt. I disse år har kritikken imidlertid fået en anden og potentielt mere indflydelsesrig karakter. Vi har set eksempler på toneangivende universiteter, der trækker sig ud af rankings. Kritikken kommer ikke længere fra enkeltpersoner eller enkeltstående forskningsmiljøer. Den er institutionaliseret i internationale netværk. San Francisco Declaration on Research Assessment, DORA (2013), Leiden Manifesto (2015), Coalition on Advancing Research Assessment, COARA (2022) og More than our rank initiativet er eksempler på institutionaliserede stemmer, der alle taler for ansvarlig brug af indikatorer og rankings. Citationsindikatorer bør ikke bruges på individniveau. De bør ikke bruges mekanistisk. På grund af variation i kvalitetsbegreber, publicerings- og citationspraksis er der snævre grænser for sammenlignbarhed. Som supplement til peer review kan de anvendes på dialogbasis på aggregeret niveau. Måske er forskningsverdenen på vej tilbage til en mere ansvarlig evalueringspraksis.