Onderzoekers: ‘Kijk niet alleen naar wetenschappelijke kwaliteit'

Wie de discussies over wetenschaps­beleid de afgelopen jaren volgt, zou geneigd zijn te denken dat de kri­tiek op het belonen op basis van publicaties en citaties breed gedra­gen wordt. De bekende klaagroep publish or perish heeft geleid tot invloedrijke initiatieven als Science in Transition, Open Science en de San Francisco Declaration on Research Assessment. Bij NWO worden op dit moment zelfs alle verwijzingen naar de H-in­dex uit de subsidieaanvragen en criteria verwij­derd. Het is dan ook opmerkelijk dat slechts 34 procent van de onderzoekers aan Nederlandse kennisinstellingen lijkt af te willen van het sys­teem dat bibliometrische gegevens gebruikt om wetenschappers te beoordelen. Een derde staat positief tegenover het huidige systeem, nog een derde staat er neutraal tegenover. Van de man­nen en de bèta’s staat zelfs zeven op de tien po­sitief of neutraal tegenover het huidige systeem. Het zijn vooral vrouwen (41 procent), alfa’s en gamma’s (46 procent) die kritisch zijn op de be­staande manier van belonen en waarderen.

100 procent verdelen

We vroegen de onderzoekers ook waarop ze be­oordeeld willen worden. Ze konden 100 procent verdelen over de volgende aspecten: weten­schappelijke kwaliteit, maatschappelijke impact, onderwijs, leiderschap & talentontwikkeling en overig.

Op dit moment is de wetenschappelijke kwaliteit doorslaggevend bij het al dan niet ontvangen van een subsidieaanvraag. Bijdragen aan onder­wijs en leiderschap & talentontwikkeling zijn vooral aan de orde bij universiteiten en soms bij de tweede geldstroom (zo is leiderschap een voorwaarde bij de Vici-beurs). Behalve bij het NWO-domein Technische en Toegepaste weten­schappen en bij de Nationale Wetenschapsa­genda spelen maatschappelijke toepassingen van kennis doorgaans een kleine rol bij granting.

Bijdrage aan onderwijs telt

En wat vindt de gemiddelde onderzoeker? Vol­gens de enquête moeten wetenschappers voor de helft afgerekend worden op de wetenschap­pelijke kwaliteit die ze leveren. Bij de beoordeling door de werkgever moet dat voor 47 procent meetellen, bij de beoordeling door NWO of ande­re subsidieverstrekkers is dat hoger: 60 procent. Dat klinkt logisch, het gaat immers om een aan­vraag voor onderzoek. Bij beoordeling door de werkgever vinden de respondenten onderwijs (22 procent) en leiderschap (14 procent) belang­rijker dan bij een oordeel over een subsidieaan­vraag (respectievelijk 8 en 10 procent). Deson­danks is het opvallend dat onderzoekers – uit álle vakgebieden – bij het aanvragen van een subsidie voor onderzoek óók beoordeeld willen worden op hun bijdrage aan onderwijs (16 pro­cent) en op leiderschap (12 procent).

Relevant voor samenleving

Bij een subsidieaanvraag mag maatschappelijke impact – in de vragenlijst omschreven als het op­lossen van een maatschappelijk vraagstuk, het benutten en/of delen van kennis, valorisatie, we­tenschapscommunicatie en opinievorming – voor 19 procent van de respondenten meetellen. Onderzoekers in de maatschappij- en gedrags­wetenschappen en technische wetenschappen hechten het meest aan het belang voor de sa­menleving (respectievelijk 21 en 26 procent). De behoefte aan maatschappelijk relevant onder­zoek is sinds de jaren negentig gestaag toege­nomen (denk aan de societal challenges uit Brussel, het topsectorenbeleid en de NWA) en dit lijkt dus op instemming van de onderzoekers te kunnen rekenen. Het is niet alleen de overheid of de maatschappij die aan academici vraagt om nuttige kennis, wetenschappers vinden het zelf zó belangrijk dat ze er voor 20 procent op beoor­deeld – en waarschijnlijk ook gewaardeerd – wil­len worden.

Team science in opkomst

In de categorie ‘andere criteria’ (3 procent) is de weerstand tegen het Mattheuseffect opvallend (het fenomeen waarbij veel subsidie gaat naar een beperkt aantal toponderzoekers). De respon­denten tikten: ‘Stel een limiet aan het aantal NWO-gefinancierde posities binnen een groep om de huidige scheefgroei te corrigeren’; ‘Kijk naar reeds ontvangen subsidies en geef nieuw­komers meer kans’ en zelfs: ‘Elk beoordelingssy­steem moet rich get richer-fenomenen vermij­den.’

Daarnaast klinkt de groeiende behoefte aan het waarderen van werken in teams. Wetenschap is meer en meer teamwork, maar het huidige sys­teem zou daar onvoldoende rekening mee hou­den. Wij legden dan ook de volgende stelling voor: ‘Naast individuele prestaties moeten ook samenwerking en prestaties van een team mee­wegen.’ Daar is 78 procent voor als het gaat om het oordeel van de werkgever. Twee derde vindt dat samenwerking een rol mag spelen bij het be­oordelen van een subsidieaanvraag.

Liever valide dan objectief

Omdat NWO en ZonMw op dit moment vormen van beoordeling verkennen die niet zijn geba­seerd op publicaties, vroegen we wat onderzoe­kers belangrijk vinden bij het ontwikkelen van nieuwe criteria. Moeten ze vooral meten wat je wilt meten (valide), moeten ze objectief en onder­ling vergelijkbaar zijn, of zijn andere aspecten belangrijk? Om de respondenten te dwingen tot prioriteren, mochten ze maximaal twee antwoor­den geven. Van de 748 respondenten vinden 441 dat de beoordeling vooral valide moet zijn. Dat is fors meer dan objectief (292) of onderling verge­lijkbaar (254). Hier is een interessant kruisver­band gevonden: respondenten die positief staan tegenover het huidige systeem vinden objectivi­teit belangrijker (50 procent) dan respondenten die hier negatief tegenover staan (26 procent). Dit komt overeen met de evaluaties en ervarin­gen rond het huidige systeem: het meet niet exact wat je wilt meten, maar is behoorlijk objec­tief.

Onderscheid tussen disciplines

Een zesde van de respondenten geeft aan ook andere aspecten belangrijk te vinden. In de toe­lichtingen kwam het toepassen van maatwerk het vaakst naar voren. De beoordeling moet ‘con­textueel’ zijn: afhankelijk van het vakgebied, de discipline en het profiel van de wetenschapper. ‘Stem de beoordeling af op het specifieke traject en de prestaties van de aanvrager. Het is belang­rijk om een diversiteit van geselecteerde aanvra­gers te hebben, die het pluralisme van acade­misch werk en de samenleving als geheel weerspiegelt.’ De spontane antwoorden sluiten nauw aan bij de stelling in de laatste vraag: ‘Ik vind dat er per vakgebied andere beoordelings­criteria mogen zijn.’ Daar is maar liefst 86 procent het mee eens. Een duidelijk signaal.

Welke beoordelingscriteria verdienen meer aandacht? Vier perspectieven

Onderwijs

Christine Espin, Hoogleraar Leerproblemen en Orthopedagogische Interventies in Onderwijs, Universiteit Leiden

‘Soms komen studenten naar me toe en zeggen: je hebt mijn manier van denken veranderd of ik ga het vanaf nu anders aanpakken. Dat is leuk, want dan merk ik dat ik invloed heb. In zo’n reactie zit de vertaling van mijn onderzoek en mijn leservaring, en hopelijk nemen studenten dat mee als ze later zelf met leerlingen of leerkrachten werken.’

‘Ik vind dat het onderwijs en docenten zich doorlo­pend moeten blijven verbeteren. Ik en twee collega’s zijn recent een onderzoek gestart naar hoe onderwijs voor studenten met leerproblemen, zoals dyslexie, autisme en ADHD kan verbeteren. We weten nog heel weinig van studenten die op een andere manier leren. Dat is een uitdaging voor de universiteit. Ik zou willen dat daar veel meer aandacht voor komt.’

‘Ik denk dat onderwijs zeer belangrijk is voor onderzoekers. Het is een manier om kennis te vertalen naar de praktijk. Sinds vijftien à twintig jaar merk ik dat er meer aandacht is voor onderwijskwaliteit. Ik denk dat universiteiten steeds meer laten zien dat onderzoek en onderwijs allebei belangrijk zijn. Er wordt bijvoorbeeld gepraat over de bevordering van UD naar UHD primair op basis van onderwijspresta­ties. Het is natuurlijk een universiteit, dus onderzoek blijft belangrijk, maar het zou kunnen dat de balans per persoon verschilt.’

Nieuwsgierigheid

Monica Wagner, Promovendus, Donders Institute for Brain, Cognition and Behaviour, Nijmegen

‘Familie en vrienden vragen weleens wat ik doe en waar het goed voor is. Sommige mensen begrijpen het beroep van wetenschapper niet helemaal. Ze denken dat alle wetenschap toegepast onderzoek is om problemen op te lossen. Ik probeer altijd uit te leggen dat de mens nieuwsgierig is en dat onderzoek fascinerend kan zijn. Neem een foto van een zwart gat: iedereen vindt het leuk, ook al weten ze niet precies waar het goed voor is.’

‘Ik onderzoek waarom de ene persoon een tweede taal vloeiender en zonder accent uitspreekt dan de ander. Sommige mensen klinken als een native speaker, terwijl anderen dat nooit lukt. Ervaring is belangrijk, maar talent speelt ook mee. De vraag is bijvoorbeeld of mensen met een goede uitspraak vooral goede imitatoren zijn en hoe dat komt. Het blijkt een complex vraagstuk, eigenlijk te groot voor vier jaar. That’s the nature of the beast. Je vindt antwoorden én vooral meer vragen.’

‘Toen ik mijn aanvraag indiende voor mijn promotie, moest ik ook mogelijke toepassingen aangeven. Het is wel goed om daarbij stil te staan, maar fundamenteel onderzoek heeft ook waarde zonder die concrete doelen, want toepassingen van kennis kunnen ook later ontstaan. Je kunt dat niet voorspellen.’

Impact

Bart Knols, Medisch entomoloog, Science, Management and Innovation, RU Nijmegen

‘Naast mijn werk aan de universiteit ben ik consultant en mede-eigenaar van een social enterprise in Oeganda, die klamboes bedrukt. Als je een logo van voetbalclub Manchester United op een klamboe zet, gaan duizenden Oegandese jongetjes erom zeuren bij hun ouders. Daar heb je geen hardcore wetenschap voor nodig, maar het levert wel ongekende mogelijk­heden op in de malariabestrijding.’

‘Het is geweldig om jonge mensen in Nijmegen, Tanzania en Oeganda te enthousiasmeren om met kennis een verschil te maken. Die motivatie ontstond bij mij uit frustratie over het feit dat er duizenden malaria-papers per jaar verschijnen, maar in Afrika nog altijd met DDT wordt gespoten. Ik wilde niet langer aan de zijlijn staan. Ik zou me opvreten na een carrière met veel publicaties en eervolle prijzen, zonder betekenisvol te zijn geweest. Ik wil oplossin­gen verzinnen.’

‘We kijken in de wetenschap nog altijd te veel naar publicaties en citaties. Ik zou willen dat er een relevance index of impact index komt in plaats van een citation index. Al vind ik eigenlijk dat je onderzoe­kers überhaupt niet moet afrekenen op indexen of milestones. Vroeger dacht ik bij het bedrijfsleven aan zakkenvullers, maar inmiddels verkies ik vaker bedrijfsmatig denken boven het academisch gedachtengoed. In het bedrijfsle­ven staan de neuzen dezelfde kant op, terwijl op de universiteit kleine koninkrijkjes onderling concurreren. Ik schipper dus tussen die twee plekken en dat vind ik eigenlijk wel prima.’

Talentontwikkeling

Marcel van den Hout, Hoogleraar Klinische Psychologie, Universiteit Utrecht

‘Ik vind het begeleiden van promovendi een van de aangenaamste aspecten van het vak. Je werkt met getalenteerde, gedreven mensen, die zich een aantal jaar wijden aan de wetenschap. Ze komen binnen en moeten nog veel leren, maar aan het einde van de rit hebben ze je als het goed is niet meer nodig. Ze groeien uit tot collega. Dat is zeer bevredigend en feestelijk.’

‘Onderzoeksmanagement en promotiebegeleiding zijn geloof ik geen zaken waarmee je veel krediet verwerft. Maar welk criterium je ook kiest: publicaties, promoties of onderwijs – als het gaat over het honoreren van prestaties, wil je niet dat mensen zich daarnaar gaan gedragen. In het verleden is dat een beetje uit de hand gelopen. Er hing te veel af van publicaties bij personeels­werving en visitaties. Het tellen van papers is overzichte­lijk, maar heeft allerlei neveneffecten als je alleen daarop carrières bouwt. Overigens denk ik dat de laatste jaren ook andere prestaties en indices in een mengverhouding worden bekeken, om een genuanceerder beeld te krijgen.’

‘Ik zou willen dat er voor een nieuwe generatie onderzoe­kers een premie komt te staan op kwaliteit. Laat onderzoekers zoveel schrijven als ze willen, maar maak vooraf duidelijk dat besluiten over bijvoorbeeld een aanstelling of bevordering worden genomen op basis van de beste publicatie per twee jaar. Dat is het tegenoverge­stelde van de tactiek waartoe jonge onderzoekers nu worden verleid.’

Online enquête

In april 2019 heeft bureau Markteffect in opdracht van NWO een online enquête uitgevoerd. Zij benaderden onderzoekers die in de eerste drie maanden van 2019 een aanvraag bij NWO hebben ingediend voor onder andere Veni- en Vici-beurzen, de open competitie van NWO-domeinen ENW en TTW, en promotiebeurzen in de geesteswetenschappen.1940 onderzoekers ontvingen op 5 april een uitnodigingsmail. Op 16 april hadden daarvan 748 – anoniem – de online enquête ingevuld. Het responspercentage komt daarmee op 39 procent, waardoor de antwoorden met een zekerheid van 95 procent en nauwkeurig­heid van 2,8 procent generaliseerbaar zijn voor de doelgroep. De volledige rapportage van Markteffect staat op nwo.nl.