Beoordelingscommissievergadering

Goede afspraken reduceren de ruimte voor vooringenomenheid of suboptimale besluitvorming. Ook voor commissieleden geldt dat hun beperkte ideaalbeeld van een aanvraag of aanvrager van invloed kan zijn op hun beoordeling. Commissieleden zullen elkaar dus ook moeten blijven herinneren aan de gemaakte afspraken en elkaar aanspreken als daarvan wordt afgeweken. Onderstaande handvatten uit de video zorgen ervoor dat de commissieleden zo goed mogelijk kunnen omgaan met deze uitdagingen. Uiteraard is het afhankelijk van het betreffende onderzoeksprogramma welke handvatten het meest passend dan wel uitvoerbaar zijn.

Bekijk de video: Interactie en groepsdynamiek in beoordelingscommissies

Liever geen filmpje kijken, maar tekst lezen? 

Download factsheet (pdf)

Tips

Bevooroordeeld taalgebruik

• Voorkom bevooroordeeld taalgebruik dat wordt ingegeven door ideaalbeelden en daardoor meer ruimte biedt aan de ene aanvrager ten opzichte van de andere.

Criteria

• Expliciteer met elkaar de beoordelingscriteria en hoe deze toegepast moeten worden.
• Maak tijdens een interview of presentatie aantekeningen op basis van de criteria en stoel je beoordeling op de inhoud die de aanvrager heeft verstrekt.
• Spreek elkaar aan als irrelevante kenmerken of informele interacties mee worden genomen in de beoordeling.

Structuur

• Stem voorafgaand aan de beoordeling de vergaderstructuur en omgangsregels af. Spreek elkaar hier tijdens de vergadering op aan als dat nodig is.
• Spreek met elkaar af wie tijdens een interview welke vragen stelt.
• Gebruik je eigen aantekeningen tijdens het bespreken van de aanvragen als leidraad.
• Bespreek aanvragen en aanvragers nooit buiten de formele vergadering om met andere commissieleden.
• Vergelijk aan het einde van de vergadering de beoordelingen van alle aanvragen nogmaals onderling en bekijk de rangordening opnieuw.

Tijd

• Geef tijdens de vergadering ieder commissielid evenveel spreektijd en wissel af wie als eerste spreekt.
• Trek voor het bespreken van elke aanvraag evenveel tijd uit.

Verantwoording

• Beargumenteer waarom aanvragen niet voldoen en eveneens waarom aanvragen wél voldoen aan de criteria.

U vindt hieronder per thema tips met een korte toelichting. Ga voor de geraadpleegde literatuur naar het overzicht onderaan deze pagina.

Bevooroordeeld taalgebruik

Tip | Voorkom bevooroordeeld taalgebruik dat wordt ingegeven door ideaalbeelden en daardoor meer ruimte biedt aan de ene aanvrager ten opzichte van de andere.

Zo wordt het effect van vooringenomenheid op de beoordeling gereduceerd.

• Erken gezamenlijk dat het ideaalbeeld over de ‘ideale aanvrager’, het ‘ideale consortium’, de ‘ideale wetenschappelijke loopbaan’ en / of de ‘ideale aanvraag’ bij iedereen (impliciet of expliciet) een rol speelt in de beoordeling van aanvragen en in hetgeen wordt gezegd over aanvragers of aanvragen. 
• Identificeer jouw eigen ideaalbeeld(en). Bijvoorbeeld: visualiseer het ideaalbeeld of benoem/ beschrijf de belangrijke aspecten van het ideaalbeeld. 
• Ga samen na wat de consequenties kunnen zijn van dat ideaalbeeld in jullie beoordeling van aanvragen. Ga na of je bepaalde aanvragers beter beoordeelt als zij voldoen aan het ideaalbeeld of juist minder goed beoordeelt als zij afwijken van het ideaalbeeld.
• Bedenk hoe dat ideaalbeeld ((on)bewust) een rol kan spelen in hetgeen je over die aanvragen of aanvragers zegt of opschrijft.
• Wees bewust van de manier waarop een aanvrager over eigen prestaties schrijft of spreekt en welk effect dat op de beoordeling kan hebben.  
• Spreek elkaar aan wanneer er ongepaste opmerkingen worden gemaakt of bevooroordeeld taalgebruik wordt gebezigd. 
• Wees alert op een onderbouwing van een beoordeling die is gebaseerd op een beperkt ideaalbeeld of vooringenomenheid. 
• Vuistregel: schrijf en spreek over een aanvrager zoals je zelf beschreven of besproken wilt worden. Gebruik bijvoorbeeld constructieve en goed onderbouwde argumenten. 

Voorbeelden

Vooringenomenheid gebaseerd op een beperkt ideaalbeeld van een aanvrager of aanvraag is vaak impliciet, maar wordt hoorbaar en leesbaar in taalgebruik. Wees je daarom bewust van mogelijk bevooroordeeld taalgebruik in de beoordeling van een aanvraag of aanvrager en corrigeer dit waar nodig. We noemen hier een aantal veelvoorkomende voorbeelden:

• Doubt raisers: “Heeft de aanvrager dit voorstel wel zelf geschreven?”
• Faint praise & hedges: “Het lijkt er op dat…” of “Er is vast hard aan gewerkt”
• Backhanded compliments: “Mooi voorstel, voor een vrouw”
• Ontkenningen: “Ze heeft geen slecht CV”
• Labels: “meisje”, “afhankelijk”, “bescheiden”, “pittig”.
• Othering: opmerkingen over uiterlijk, accent, kleding et cetera die benadrukken dat iemand anders is dan het ideaalbeeld.

Als de aanvrager wel in het ideaalbeeld past, worden er meer complimenten gegeven (bijvoorbeeld door middel van “stand out language” en superlatieven zoals “talent, excellent, baanbrekend”). Bovendien wordt hier vaak niet precies uitgelegd wat er zo goed is aan het voorstel. Bij de beoordeling van het woordgebruik van een aanvrager in een narratief CV of in een presentatie speelt vooringenomenheid ook een rol. Jezelf en je idee moeten verkopen maakt dat er extra kritisch wordt gekeken naar en gesproken over aanvragers die niet of minder goed in het ideaalbeeld passen. Dat resulteert (vaak) in lagere scores.

Bronvermelding bij deze tip

Criteria

Tip | Expliciteer met elkaar de beoordelingscriteria en hoe deze toegepast moeten worden.

Zo creëer je duidelijkheid en overeenstemming in de commissie en krijgen impliciete criteria minder ruimte.

• Houd je aan de beoordelingscriteria zoals voorgeschreven door NWO.
• Maak gezamenlijk de betekenis en / of weging van (sub)criteria expliciet. 
• Probeer voor alle (sub)criteria te beargumenteren waarom een aanvraag wel of niet voldoet. Zo kunnen er bijvoorbeeld voor sommige subcriteria negatieve argumenten zijn maar voor andere positieve, waardoor een criterium als geheel een positieve score krijgt.
• Bepaal samen, indien van toepassing, óf en hoe (lage) scores op het ene (sub)criterium gecompenseerd kunnen worden door hoge scores op een ander (sub)criterium. 
• Bespreek met elkaar of en hoe de toepassing van criteria aanvragers die meer of minder aan het ideaalbeeld voldoen kan bevoordelen of benadelen en zo ja, hoe jullie hiermee om willen gaan. Bijvoorbeeld: wanneer een aanvrager of penvoerder jonger is dan je op grond van de doelgroep van de call zou verwachten, roept dit vragen op over diens kwaliteit, verdienste en onafhankelijkheid. Bovendien leggen beoordelaars een jonge leeftijd bij mannen vaker als een voordeel uit (“veelbelovend”) en bij vrouwen als een nadeel (“onervaren”) (Malmström, Johansson & Wincent, 2017).
• Vermijd een dubbele standaard in de betekenis en toepassing van criteria. Wees dus kritisch dat je een gelijk speelveld creëert voor alle aanvragers en niet voor sommigen (die wellicht minder goed in het ideaalbeeld passen) de lat hoger legt.

Tip | Maak tijdens een interview of presentatie aantekeningen op basis van de criteria en stoel je beoordeling op de inhoud die de aanvrager heeft verstrekt.

Zo wordt er geen irrelevante of aanvullende informatie meegenomen in de beoordeling.

• Vermijd zoveel mogelijk informele interacties met de aanvrager(s) voor of na een presentatie of interview. Als ze toch voorkomen, neem ze dan niet mee in de beoordeling; het moment van beoordelen begint pas bij aanvang van de presentatie of het interview. 
• Evalueer enkel op basis van de relevante criteria en de door de aanvrager(s) verstrekte inhoud. Beoordeel geen irrelevante informatie zoals accent, kleding, uiterlijk, leeftijd, houding, stemgebruik et cetera. Additionele informatie die buiten de presentatie / het interview om is verkregen (informeel of via via) is ook niet relevant. 
• Schrijf tijdens of kort na afloop van de presentatie of het interview eerst een heel beknopte individuele beoordeling voor alle criteria en reflecteer hierop voordat je met andere commissieleden in gesprek gaat en dat mogelijk jouw beoordeling beïnvloedt.

Tip | Spreek elkaar aan als irrelevante kenmerken of informele interacties mee worden genomen in de beoordeling.

Zo zorg je ervoor dat je elkaar scherp houdt op de beoordelingscriteria.

• Spreek elkaar aan wanneer commissieleden informatie inbrengen die niet uit de ingediende aanvraag komt, bijvoorbeeld op basis van persoonlijke gesprekken met of over de aanvrager. Dergelijke informatie mag de beoordeling niet positief of negatief beïnvloeden.
• Spreek elkaar aan als commissieleden additionele eisen of argumenten inbrengen die niet voor alle aanvragers evenredig worden toegepast.

Bronvermelding bij deze tips

Structuur

Tip | Stem voorafgaand aan de beoordeling de vergaderstructuur en omgangsregels af. Spreek elkaar hier tijdens de vergadering op aan als dat nodig is.

Zo behoud je een gelijkwaardige vergadercultuur waarin verwachtingen duidelijk zijn.

• Neem voorafgaand aan de beoordeling de tijd om gezamenlijke afspraken te maken ten behoeve van een inclusief beoordelingsproces. Duidelijke afspraken vooraf besparen tijd later in het proces.
• Spreek af dat alle commissieleden verantwoordelijk zijn voor een inclusieve beoordeling van aanvragers en aanvragen. Iedereen draagt bij aan het optimaliseren van het beoordelingsproces.
• Stem gezamenlijk de wederzijdse verwachtingen af over de rol van de voorzitter en de commissieleden. Bepaal samen de specifieke taken en verantwoordelijkheden die eenieder heeft.
• Creëer een veilige sfeer in de commissie door elk lid ruimte te geven om te spreken en goed naar elkaar te luisteren. Zorg ervoor dat er ruimte is om kritisch te reflecteren en te leren, zonder veroordeeld te worden.
• Herinner elkaar aan de vooraf gemaakte afspraken en spreek elkaar aan wanneer die afspraken niet worden nagekomen.

Tip | Spreek met elkaar af wie tijdens een interview welke vragen stelt.

Zo zorg je voor consistentie in de vragen die worden gesteld aan de aanvragers.

• Bepaal voorafgaand aan de interviews welke vragen in welke volgorde aan alle aanvragers worden gesteld.
• Spreek met elkaar af wie welke vraag (aan alle aanvragers) stelt.
• Stel geen suggestieve en / of gesloten vragen.
• Toets jouw eventuele aannames over mogelijkheden of kwaliteiten bij aanvragers en laat ze geen rol spelen in de beoordeling.
• Let erop dat je tijdens een interview of presentatie de antwoorden of informatie op dezelfde manier interpreteert. Houd rekening met gedrag dat anders geïnterpreteerd kan worden en deze momentopname niet alles zegt over de kwaliteiten van een aanvrager. Bijvoorbeeld: Aanvragers balanceren op een evenwichtsbalk: enerzijds wordt van hen verwacht dat zij hun onderzoek en zichzelf ‘verkopen’ en anderzijds wordt verwacht dat ze zich bescheiden opstellen en recht doen aan de bijdrage van collega’s/ coauteurs (met name in de perceptie over vrouwen die een aanvraag presenteren).

Tip | Gebruik je eigen aantekeningen tijdens het bespreken van de aanvragen als leidraad.

Zo houd je de focus op de inhoud van je eigen beoordeling.

• Keer steeds opnieuw terug naar de aantekeningen die je tijdens of na de schriftelijke beoordeling / presentatie(s) / interview(s) hebt gemaakt. Gebruik deze aantekeningen als leidraad tijdens de gezamenlijke beoordeling.

Tip | Bespreek aanvragen en aanvragers nooit buiten de formele vergadering om met andere commissieleden.

Zo zorg je voor een gelijk speelveld en een transparant proces.

• Beperk je tot de formele vergadering voor het bespreken van aanvragers of aanvragen. Bespreek deze niet in subgroepen voor, tijdens of na de commissievergadering. Op die manier worden de beoordelingen van alle commissieleden meegewogen en krijgen alle aanvragen een gelijke kans om beoordeeld te worden.

Tip | Vergelijk aan het einde van de vergadering de beoordelingen van alle aanvragen nogmaals onderling en bekijk de rangordening opnieuw.

Zo zorg je voor een hogere kwaliteit en validiteit van de beoordelingen.

• Bepaal of je / de beoordelingscommissie de uitkomsten wil(t) heroverwegen.
  De scores van de aanvragen kunnen onder invloed van bijvoorbeeld tijdsdruk of vermoeidheid verschillen aan het begin of eind van een vergadering/ beoordeling; meestal zijn de scores aan het begin van een beoordelingsronde hoger dan aan het einde.
• Vergelijk de beoordelingen nogmaals met elkaar.
• Bekijk de rangordening opnieuw.
• Evalueer gezamenlijk de aanvragen eens per criterium en niet per aanvrager, om te checken hoe jullie beoordeling dan uitpakt. Maak daarvoor een rangorde per criterium en leg die rangordes vervolgens naast elkaar om te bepalen wie gemiddeld genomen het hoogste scoort op alle criteria. Beoordeel bijvoorbeeld eerst alle aanvragen op het criterium kennisbenutting, vervolgens alle aanvragen op kwaliteit van de onderzoeker et cetera. Of experimenteer eens met een andere volgorde in het beoordelen van de aanvragen, bijvoorbeeld met de aanvraag die onderaan de stapel ligt.

Bronvermelding bij deze tips

Tijd

Tip | Geef tijdens de vergadering ieder commissielid evenveel spreektijd en wissel af wie als eerste spreekt.

Zo zorg je ervoor dat ieder commissielid wordt gehoord.

• Zorg ervoor dat ieder commissielid evenveel spreektijd krijgt. Gebruik eventueel een (gender) timer om de hoeveelheid spreektijd te monitoren.
• Wissel af in de volgorde waarin commissieleden aan het woord komen over hun preadvies of beoordeling. De volgorde van spreken kan bepalen welk gewicht er wordt gehangen aan de beoordeling van deze persoon.
• Zorg ervoor dat de beoordeling of argumentatie van elk commissielid wordt meegenomen.
• Zie er gezamenlijk op toe dat commissieleden niet worden onderbroken, overstemd of kleinerend worden toegesproken.

Tip | Trek voor het bespreken van elke aanvraag evenveel tijd uit.

Zo draag je bij aan een gelijk speelveld.

• Ga voorafgaand aan de beoordeling na hoeveel tijd je per aanvraag kan besteden op basis van de totale tijd van de commissievergadering(en).
• Neem voldoende en een gelijke hoeveelheid tijd voor het bespreken van elke aanvraag. Indien een deel van de aanvragen niet besproken wordt omdat deze niet aan de minimale criteria voldoen, dan geldt dit voor het deel van de aanvragen dat wél besproken wordt. Wijs een verantwoordelijke aan om de tijd te bewaken en gebruik een timer.

Bronvermelding bij deze tips

Verantwoording

Tip | Beargumenteer waarom aanvragen niet voldoen en eveneens waarom aanvragen wél voldoen aan de criteria.

Op die manier worden alle aanvragen aan de criteria getoetst en van argumenten voorzien.

• Zorg altijd voor een goede onderbouwing van waarom een aanvraag wél of niet voldoet aan de criteria. Motiveer ook waarom een aanvraag wél voldoet aan alle criteria wanneer de gehele commissie een aanvraag als evident ‘excellent’ beoordeelt.
• Toets het tegenovergestelde: wanneer een aanvraag als ‘excellent’ wordt beoordeeld, ga dan samen na of er argumenten zijn waarom de aanvraag niet zou voldoen. Wanneer een aanvraag als onvoldoende beoordeeld wordt, ga dan samen na waarom deze aanvraag juist wél zou kunnen voldoen aan de criteria.
• Bevraag elkaar kritisch over waarom volgens iemand een aanvraag wel of niet aan de criteria voldoet.
• Zorg ervoor dat de vereiste scoreformulieren volledig en correct zijn ingevuld en door alle commissieleden onderschreven worden.

Bronvermelding bij deze tip

Bronnen