Schriftelijke beoordeling
Referenten en commissieleden beoordelen schriftelijk één of meerdere aanvragen. Deze schriftelijke beoordeling vormt een belangrijk onderdeel van het beoordelingsproces. Een beperkt ideaalbeeld kan vooringenomenheid over de aanvrager of aanvraag in de hand werken en kan een beoordeling positief of negatief beïnvloeden. Onderstaande handvatten beperken de invloed van dit ideaalbeeld op de schriftelijke beoordeling. Ze zijn ingedeeld in vijf thema’s, namelijk: Reflectie, Criteria, Structuur, Tijd en Verantwoording.
Bekijk de video: Schriftelijke beoordeling
Liever geen filmpje kijken, maar tekst lezen?
Download handvatten voor schriftelijke beoordeling (pdf)
Tips voor schriftelijke beoordeling
Reflectie
- Kijk kritisch naar hoe jouw ideaalbeeld je beoordeling beïnvloedt.
- Vervang jouw ideaalbeeld door een alternatief of verplaats je in de positie van de aanvrager.
Criteria
Structuur
- Laat je oordeel over het onderzoeksvoorstel niet beïnvloeden door je oordeel over de aanvrager, en andersom.
- Besteed aan elke aanvraag evenveel tijd en aandacht en pas de beoordelingscriteria steeds op dezelfde wijze toe.
Verantwoording
U vindt hieronder per thema tips met een korte toelichting. Ga voor de geraadpleegde literatuur naar het overzicht onderaan deze pagina.
Reflectie
Tip | Kijk kritisch naar hoe jouw ideaalbeeld je beoordeling beïnvloedt.
Zo kun je het effect van je vooringenomenheid zoveel mogelijk beperken.
- Erken de aanwezigheid van jouw eigen ideaalbeeld over bijvoorbeeld de ‘ideale aanvrager’, het ‘ideale consortium’, de ‘ideale wetenschappelijke loopbaan’ of de ‘ideale aanvraag’.
- Identificeer hoe dat ideaalbeeld eruit ziet. Bijvoorbeeld: visualiseer het ideaalbeeld of benoem/ beschrijf de belangrijke aspecten van het ideaalbeeld.
- Ga bij jezelf na wat de consequenties kunnen zijn van dat ideaalbeeld in jouw beoordeling van aanvragers en aanvragen. Ga na of je bepaalde aanvragers beter beoordeelt als zij voldoen aan jouw ideaalbeeld of juist minder goed beoordeelt als zij afwijken van jouw ideaalbeeld.
- Bedenk hoe dat ideaalbeeld ((on)bewust) een rol kan spelen in jouw beoordeling van aanvragen en in hetgeen je over die aanvragen of aanvragers opschrijft.
Tip | Vervang jouw ideaalbeeld door een alternatief of verplaats je in de positie van de aanvrager
Zo kun je nog beter inschatten of jouw beoordeling inclusief is.
Probeer eens:
- aanwezige stereotypen te vervangen door feitelijke informatie. Bijvoorbeeld: als er over vrouwen wordt gezegd dat ze slechter in een bepaalde discipline of vaardigheid zijn dan mannen, identificeer dit dan als een stereotype en vervang dit beeld bewust met feitelijke informatie.
- het positieve counterstereotype in beeld te brengen. Bijvoorbeeld: voordat je aanvragers in een door mannen gedomineerde discipline beoordeelt, stel je dan een effectieve vrouwelijke wetenschapper in die discipline voor.
- de situatie vanuit het perspectief van de ander te bekijken. Bijvoorbeeld: stel je voor hoe het is om iemand te zijn die niet aan het ideaalbeeld voldoet. Of: stel je voor dat het stereotype over een categorie waar jij toe behoort ook de beoordeling van jouw kwaliteiten (negatief) beïnvloedt.
- de aanvrager als uniek persoon te zien en los te zien van alle mogelijke stereotypen die samenhangen met een sociale categorie, achtergrond of loopbaan.
Criteria
Tip | Baseer je beoordeling op de criteria die NWO verstrekt.
Dit zorgt ervoor dat impliciete criteria minder ruimte kunnen krijgen.
- Houd je aan de beoordelingscriteria zoals voorgeschreven door NWO.
- Sta vooraf stil bij de betekenis en de weging van (sub)criteria.
- Beargumenteer voor alle (sub)criteria waarom een aanvraag wel of niet voldoet. Zo kunnen er bijvoorbeeld voor sommige (sub)criteria negatieve argumenten zijn maar voor andere positieve, waardoor het een criterium als geheel een positieve score krijgt.
- Denk na over of en hoe de toepassing van criteria aanvragers die meer of minder aan het ideaalbeeld voldoen kan bevoordelen of benadelen en hoe je hiermee om wilt gaan.
- Vermijd een dubbele standaard in de toepassing van criteria. Wees dus kritisch dat je een gelijk speelveld creëert voor alle aanvragers en niet voor sommigen (die wellicht minder goed in je ideaalbeeld passen) de lat hoger legt.
Structuur
Tip | Laat je oordeel over het onderzoeksvoorstel niet beïnvloeden door je oordeel over de aanvrager, en andersom.
- Beoordeel eerst het onderzoeksvoorstel en vervolgens de aanvrager.
Tijd
Tip | Besteed aan elke aanvraag evenveel tijd en aandacht en pas de beoordelingscriteria steeds op dezelfde wijze toe.
Zo zorg je ervoor dat je elke aanvraag op dezelfde manier beoordeelt.
Bij meerdere aanvragen:
- Bepaal vooraf hoeveel tijd je per aanvraag wilt of kunt besteden op basis van de totale tijd die beschikbaar is in relatie tot het aantal te beoordelen aanvragen.
- Neem voldoende en dezelfde hoeveelheid tijd voor het evalueren van elke aanvraag. Gebruik eventueel een timer om de tijd bij te houden.
- Zorg ervoor dat je niet wordt afgeleid tijdens de beoordeling.
Bekijk de tips die worden benoemd onder het thema criteria.
Verantwoording
Tip | Lees je beoordeling aan het einde nog eens door en bekijk of deze helder en constructief is geschreven.
Zo controleer je of je inclusief beoordeeld hebt.
- Houd jezelf verantwoordelijk voor een inclusieve beoordeling.
- Begin met de beoordeling van het onderzoeksvoorstel en beoordeel vervolgens de aanvrager. Probeer de kenmerken van de aanvrager niet te laten meewegen in de beoordeling van het onderzoeksvoorstel.
- Beargumenteer niet alleen waarom een aanvraag niet voldoet aan een criterium, maar ook expliciet waarom een aanvraag wél voldoet aan een criterium.
- Wees je bewust van mogelijk bevooroordeeld taalgebruik in hoe aanvragers over zichzelf schrijven.
- Wees je bewust van mogelijk bevooroordeeld taalgebruik in je eigen schriftelijke beoordeling van een aanvraag of aanvrager en corrigeer dit waar nodig.
- Vul alle onderdelen van het beoordelingsformulier in. Zorg dat je alle afwegingen beargumenteerd.
- Vuistregel: beoordeel iemand anders op een manier zoals je zelf beoordeeld wilt worden. Gebruik daarbij constructieve en goed onderbouwde argumenten.
Bij meerdere aanvragen:
- Check in hoeverre de rangorde van jouw beoordelingen een bepaald patroon of ideaalbeeld laat zien. Kijk nog eens kritisch naar je beoordelingen als je dit constateert en zorg ervoor dat er geen patronen zijn op basis van bijvoorbeeld gender, etniciteit of geografische spreiding.
Bronnen per tip
Bronvermelding bij de tips:
> Kijk kritisch naar hoe jouw ideaalbeeld je beoordeling beïnvloedt.
- Veelen, R. van, & Derks, B. (2020). Academics as Superheroes: Female academics’ lack of fit with the masculine stereotype of success limits their career advancement, PsyArXiv.
- Van den Brink, M., & Benschop, Y. (2012). Gender practices in the construction of academic excellence: Sheep with five legs, Organization, 19 (4), 507-524.
- Declaration On Research Assessment (DORA), Rethinking research assessment: unintended cognitive and systems biases.
- Muhr, S. L., Teilmann-Lock, S., Guschke, B., Christensen, J. F., Mahler, R., Månsson, E., & Basner, K. I. (2019). Co-creation Gender Equality from Classroom to Organizations: Innovations in Nordic Welfare Societies. GenderLAB. Dissemination report.
- Leslie, S-J, Cimpian, A., Meyer, M. & Freeland, E. (2015). Expectations of brilliance underlie gender distributions across academic disciplines. Science, 347(6219), 262–265.
> Vervang jouw ideaalbeeld door een alternatief of verplaats je in de positie van de aanvrager.
- Carnes, M., Devine, P.G., Baier Manwell, L., Byars-Winston, A., Fine, E., Ford, C. E., Forscher, P. et al. (2015). The Effect of an Intervention to Break the Gender Bias Habit for Faculty at One Institution: A Cluster Randomized, Controlled Trial. Academic Medicine, 90(2), 221–30.
- Fitzgerald, C., Martin, A. , Berner, D. & Hurst, S. (2019). Interventions designed to reduce implicit prejudices and implicit stereotypes in real world contexts: A systematic review. BMC Psychology, 7(1), 1–12.
- Vuletich, H. A., & Payne, B. K. (2019). Stability and Change in Implicit Bias. Psychological Science, 30(6), 854–862.
- Equality and Human Rights Commission (2018) Unconscious bias training: an assessment of the evidence for effectiveness.
- Kennisplatform Integratie en Samenleving (KIS)
1. Inzetten van counterstereotypen
2. Wisselen van perspectief (pdf)
Bronvermelding bij de tip:
> Baseer je beoordeling op de criteria die NWO verstrekt.
- Bohnet, I. (2016). What Works: Gender Equality by Design. Cambridge MA: Harvard University Press.
- Vinkenburg, C. J. (2017). Engaging Gatekeepers, Optimizing Decision Making, and Mitigating Bias: Design Specifications for Systemic Diversity Interventions. The Journal of Applied Behavioral Science, 53(2), 212–34.
- Correll, S. J. (2017). Reducing Gender Biases In Modern Workplaces: A Small Wins Approach to Organizational Change. Gender & Society, 31(6), 725–50.
- Herschberg, C. , Benschop, Y. & Van den Brink, M. (2018). Selecting Early-Career Researchers: The Influence of Discourses of Internationalisation and Excellence on Formal and Applied Selection Criteria in Academia, Higher Education, 76(5), 807–25.
- Website Ministerie van Sociale Zaken en Werkgelegenheid – Pilot Nudging in werving en selectie
- Natural Sciences and Engineering Research Council of Canada (NSREC) - Discovery Grants program Peer Review Manual 2020-2021 (pdf)
Bronvermelding bij de tip:
> Laat je oordeel over het onderzoeksvoorstel niet beïnvloeden door je oordeel over de aanvrager, en andersom.
- Witteman, H. O., Hendricks, M., Straus, S. & Tannenbaum. C. (2019) Are Gender Gaps Due to Evaluations of the Applicant or the Science? A Natural Experiment at a National Funding Agency. The Lancet, 393 (10171): 531–40.
- Raymond, J. L. & Goodman, M. B. (2019) Funders Should Evaluate Projects, Not People. The Lancet, 393(10171): 494–95.
- Van der Lee, R., & Ellemers, N. (2015). Gender contributes to personal research funding success in The Netherlands. Proceedings of the National Academy of Sciences, 112(40), 12349-12353.
- Ministerie Sociale Zaken en Werkgelegenheid – Handleiding In drie stappen naar een objectievere screening
- Tomkins, A., Zhang, M., & Heavlin, W. D. (2017). Reviewer bias in single- versus double-blind peer review. Proceedings of the National Academy of Sciences, 114(48): 12708–12713.
- Kahneman, D. et al. (2021). Noise. A flaw in human judgement.
Bronvermelding bij de tip:
- Axt, J. R. & Lai, C. K. (2019). Reducing discrimination: A bias versus noise perspective. Journal of Personality and Social Psychology, 117(1), 26–49.
- Forscher, P. S., Mitamura, C., Dix, E. L., Cox, W. T. L. & Devine, P. G. (2017). Breaking the prejudice habit: Mechanisms, timecourse, and longevity. Journal of Experimental Social Psychology 72, 133–46.
- Lieberman, M. D., Rock, D. & Cox, C. L. (2014). Breaking Bias. NeuroLeadership Journal, 5, 1–17. (pdf)
- Kahneman, D. (2017). Thinking, fast and slow.
- Female Empowerment in Science and Technology Academia (FESTA) (2016) Handbook Gender-sensitive design of criteria and recruitment, appointment and promotion processes in academia.
- Fine, E., & Handelsman, J. (2012). Reviewing applicants: Research on bias and assumptions. Women in Science and Engineering Leadership Institute (WISELI), The Board of Regents of the University of Wisconsin System, Madison (pdf)
Bronvermelding bij de tip:
> Lees je beoordeling aan het einde nog eens door en bekijk of deze helder en constructief is geschreven.
- Hugenberg, K., Bodenhausen, G. V. & McLain, M. (2006). Framing Discrimination: Effects of Inclusion versus Exclusion Mind-Sets on Stereotypic Judgments. Journal of Personality and Social Psychology 91(6), 1020–31.
- Bohnet, I. (2016). What Works: Gender Equality by Design. Cambridge MA: Harvard University Press.
- Silbiger, N. J. & Stubler, A. D. (2019). Unprofessional Peer Reviews Disproportionately Harm Underrepresented Groups in STEM. PeerJ, 7, e8247.
- Castilla, E. J. (2016). Achieving Meritocracy in the Workplace. MIT Sloan Management Review, 57(4), 35–41.
- Kennisplatform Integratie & Samenleving (KIS) – Hoe bevorder je diversiteit in je personeelsbestand?
- Canadian Institutes of Health Research – Bias in Peer Review (video)