Vijf vragen over Erkennen en Waarderen

Het verantwoord beoordelen van onderzoek zit in het hart van de wetenschapsfinanciers NWO en ZonMw. Bij het toekennen van onderzoeksbeurzen is de kwaliteit altijd doorslaggevend: de financiers beoordelen op basis van de kwaliteit van het onderzoeksvoorstel, de verwachte wetenschappelijke of maatschappelijke impact en de kwaliteit van de onderzoekers.

Voor de selectie van het beste wetenschappelijke onderzoek helpt het E&W-programma kandidaten bij hun onderzoeksvoorstel in het schetsen van een breder perspectief dan alleen het onderzoek en de eigen onderzoekskwaliteiten.

Juiste context meewegen

Zo geeft het aan de beoordelaars de juiste context mee over de onderzoekservaring. Een kandidaat met minder effectieve onderzoekstijd heeft in de regel ook een minder uitgebreid of omvangrijk onderzoeksprofiel. Toch kan deze kandidaat een kwalitatief en origineel sterk onderzoeksidee én genoeg ervaring hebben om dit idee uit te voeren. Binnen de beoordelingsprocedures is het dus van belang dat de context meegewogen wordt.

Een groot deel van het Erkennen en Waarderen-programma richt zich op beleid aan de universiteiten. Denk aan loopbaanpaden die misschien niet een lineaire of eenzijdige ontwikkeling kennen. Of aan het verhelderen van criteria voor bevordering die leiden tot andere profielen van academici en wetenschappers. NWO ondersteunt dit gedachtegoed. Dit doen wij door onder andere ruimte te bieden in onze procedures voor kandidaten om de relevante context te schetsen van het verloop van diens loopbaan. Verder worden binnen onze procedures ook aspecten als teamwetenschap en open science opgevraagd om iemands wetenschappelijke activiteiten juist in kaart brengen.

Hiernaast zetten we ons ook actief in voor het Erkennen & Waarderen-beleid door het ontwikkelen van extra financieringsinstrumenten waar de nadruk ligt op team science, maatschappelijke impact, open science en diversiteit.

Het NWO-Talentprogramma biedt persoonsgebonden financiering aan talentvolle, creatieve onderzoekers. Daarmee is het bij uitstek het programma, waarin de aanvrager zelf ook beoordeeld wordt (anders dan bij programma’s als de Open Competitie, waar het onderzoeksidee centraal staat).

Het format heeft als uitgangspunt een kwalitatieve beoordeling, eventueel ondersteund door verantwoord gebruik van kwantitatieve indicatoren. Daarmee sluit het format nauw aan op Erkennen & Waarderen dat spreekt over “het accent leggen op de kwaliteit van het werk en minder nadruk legt op kwantitatieve resultaten”, en bij CoARA wiens tweede commitment luidt: “Base research assessment primarily on qualitative evaluation for which peer review is central, supported by responsible use of quantitative indicators.” Daarnaast blijft de nadruk in het formulier en de instructies naar commissieleden liggen op het beoordelen van de onderbouwingen in het CV. Claims die niet onderbouwd worden, zullen dan ook niet positief beoordeeld worden.

NWO werkt sinds 2023 met het evidence based CV. Sindsdien is NWO voortdurend in gesprek met de achterban over deze werkwijze en werkt ook continu aan eventuele aanpassingen of verbeteringen op basis van de ervaringen van aanvragers en beoordelaars.

Het verantwoord beoordelen van onderzoek is voor NWO essentieel. Als financier willen we graag de individuele wetenschapper beoordelen en vergelijken op verantwoorde wijze. Het noemen van de h-index of Journal Impact Factors (JIFs) zijn niet toegestaan, omdat ze geen betrouwbaar beeld geven van de kwaliteit en bijdrage van de individuele onderzoeker. Uitvoerig onderzoek heeft dit aangetoond (zie voetnoten).

Deze conclusie wordt ook onderbouwd in een brief van het AWTI (Adviesraad voor Wetenschap Technologie en Innovatie), waarin zij onderzocht hebben hoe de kwaliteiten van wetenschap vastgesteld kunnen worden. We zien ons door deze brief dan ook gesterkt in ons beleid over het niet gebruiken van deze indicatoren.

Waltman, L., & van Eck, N. J. (2012). The inconsistency of the h-index. Journal of the American Society for Information Science and Technology, 63(2), 406-415. https://doi.org/10.1002/asi.21678

Halt the h-index. (2021, mei 19). https://www.leidenmadtrics.nl/articles/halt-the-h-index

Larivière, V., Kiermer, V., MacCallum, C. J., McNutt, M., Patterson, M., Pulverer, B., Swaminathan, S., Taylor, S., & Curry, S. (2016). A simple proposal for the publication of journal citation distributions (p. 062109). bioRxiv. https://doi.org/10.1101/062109

De veranderingen vanuit Erkennen en Waarderen staan niet op zichzelf. Er is internationaal een brede beweging gaande, waarin instellingen de beoordelingssystematieken onder de loep nemen. Neem de programma’s zoals DORA (San Francisco Declaration on Research Assessment) en CoARA (Coalition for Advancing Research Assessment), die door instellingen van over de hele wereld gesteund worden.

Een vraag die regelmatig wordt gesteld is of Nederland niet te veel voorop loopt in het anders erkennen en waarderen van onderzoekers en of dat negatief zou kunnen uitpakken voor onderzoekers. Het eerder genoemde AWTI-briefadvies is een goede opsteker, want dat concludeert dat er vooralsnog geen indicaties zijn dat het anders evalueren van wetenschap en wetenschappers invloed heeft op de internationale positie van de Nederlandse wetenschap. Bovendien biedt het vooroplopen wat Nederland op dit thema ook kansen. Nederland zou als één van de gidslanden kunnen fungeren, waarbij andere landen ons beleid als inspiratie gebruiken.