Eén replicatie ís geen replicatie
Replicatiestudies moeten bijdragen aan waarheidsvinding. Maar herhaalonderzoek lijkt juist vaak verwarring te scheppen. Betekent een failed replication ook meteen dat de originele conclusie onjuist was? ‘Vaak zijn meerdere replicaties nodig en ligt de uitkomst genuanceerd.’
![replicatie-01.jpg](https://cdn.statically.io/img/www.nwo.nl/sites/nwo/files/styles/max_1300x1300/public/gallery/replicatie-01.jpg?itok=FnjDfFe6)
Voor zijn vondst dat een pen in je mond je doet glimlachen én voor zijn ontdekking dat dit toch niet zo was, kreeg Fritz Strack dit jaar de Ig Nobelprijs – een parodie op de Nobelprijs – voor Psychologie. De Duitse psycholoog reageerde sportief (‘The pen procedure may not be effective to alter moods.’) toen zijn onderzoek uit 1988 niet te repliceren bleek in 2017. Meestal leidt herhaalonderzoek niet tot een duidelijke bevestiging óf verwerping van de oorspronkelijke conclusie. Volgens een Science-artikel uit 2008 zouden conservatieve mensen banger zijn. Na een replicatiestudie aan de Universiteit van Amsterdam bleek dat een wel erg vergaande conclusie. Dat het lezen van literatuur je empathischer maakt – in 2013 in Science – bleek vijf jaar later wel weer mee te vallen. Ook is het nog maar de vraag of je echt langzamer gaat lopen na het lezen van woorden die te maken hebben met ouderdom.
Vooraf registreren en strengere statistiek
Dat replicaties geen stand houden komt niet door opzettelijk bedrog bij het oorspronkelijke onderzoek, leert een rondgang langs replicatiedeskundigen. Zij zien publicatiebias als belangrijkste oorzaak. Daardoor komen er te veel studies met een positief resultaat in de wetenschappelijke literatuur terecht.
Als een onderzoeker wil dat een resultaat positief is, dan is hij gevaarlijk bezig
Dat is op te lossen, volgens de Delftse biomechanicus en ‘repliceerder’ Joost de Winter. ‘Door het vooraf registreren van onderzoek en een strengere statistiek. Maar cruciaal is de kritische houding van de onderzoeker. Als een onderzoeker wil dat een resultaat positief is, bijvoorbeeld omdat hij of zij daar belang bij heeft, dan is hij gevaarlijk bezig.’
Replicatiecrisis in de psychologie
De wetenschappelijke aandacht voor replicatie is terug te voeren op de zogenaamde replicatiecrisis: in 2015 werden honderd psychologische experimenten herhaald en bij meer dan de helft van de studies werd het oorspronkelijke effect niet aangetoond. In 2016 bleken ook zeven van de achttien economische studies niet repliceerbaar. Herhalen is dus belangrijk – falsificatie is een grondbeginsel in de wetenschap. Toch kwamen ook bij NWO replicatievoorstellen niet aan de bak, omdat vernieuwing een belangrijk criterium is. Bovendien vinden weinig wetenschappers het inspirerend om werk van anderen over te doen. Psycholoog Daniel Lakens stelde daarom voor om replicatie te stimuleren met aparte middelen. In 2016 startte NWO als eerste ter wereld met subsidies uitsluitend voor herhaalonderzoek. Inmiddels draaien zeventien projecten en zijn twee studies afgerond.
Mannelijk naakt: pupil wijder
Hoe lastig het overdoen van een oude studie kan zijn en hoe belangrijk meervoudige replicatie is, laat Joost de Winter zien. Hij had in 2017 de ambitie om een exacte replicatie uit te voeren. ‘Dit leverde meteen een dilemma op, want we wisten dat de originele methode beperkingen had.’ In het klassieke experiment uit 1960 concludeerde de Amerikaanse psycholoog Eckhard Hess dat je emoties kunt afleiden uit de grootte van iemands pupil. Hess liet proefpersonen verschillende foto’s zien en filmde de pupil. Bij vrouwelijke proefpersonen werd de pupil tot wel twintig procent wijder bij het zien van een baby en bij mannelijk naakt. Een landschap deed de pupillen van vrouwen een paar procent vernauwen. De pupillen van mannen werden bijna twintig procent groter bij het zien van vrouwelijk bloot. Kortom, als je iets ziet dat je interessant vindt, wordt de pupil wijder. Een afschuwwekkende afbeelding maakt de pupil kleiner, aldus Hess. Science publiceerde de conclusie, waarna die 790 maal werd geciteerd. Jaren later schreef Hess dat hij een belang had: hij was consultant voor een reclamebureau dat wilde nagaan of reclames van bijvoorbeeld Coca-Cola aantrekkelijk werden gevonden.
Pupilvernauwing nooit gemeten
Het team van De Winter analyseerde het werk van Hess – 48 dozen met notities en tabellen –, maakte kopieën van de gebruikte foto’s, bestelde op eBay eenzelfde projector als destijds werd gebruikt en bouwde de houten opstelling na. De resultaten bleken maar ten dele stand te houden. De effecten op de pupildiameter blijken voor een groot deel te wijten aan verschillen in helderheid van de afbeelding. Een methodologische fout dus. De Winter herhaalde het experiment met een vernieuwde opzet. ‘We hebben plaatjes getoond met enkel contouren, zodat de lichtintensiteit gelijk blijft. De door Hess beschreven pupilvernauwing hebben we geen enkele keer gemeten. Andere resultaten van Hess repliceerden wel. Sterker nog: enkel het tonen van een prikkelend woord als nude leidt al tot pupilverwijding.’ Een ander aspect om rekening mee te houden zijn de zogeheten verborgen moderators die een replicatie kunnen hinderen. De Winter: ‘In ons geval is bijvoorbeeld niet uit te sluiten dat culturele context een rol speelt. Plaatjes die men interessant vond in de jaren zestig zijn mogelijk minder boeiend in 2019. Ook sluit ik niet uit dat de setting een effect heeft, bijvoorbeeld als deelnemers vermoeden dat de studie over seksuele aantrekkingskracht gaat. Het uitsluiten van dergelijke verborgen moderators vergt weer nieuwe replicaties.’
Reproduceren vanuit artikel
Repliceren is een betrekkelijk jong vak. Maar volgens Nederlands meest ervaren ‘repliceerder’, cognitief psycholoog Rolf Zwaan, is wel duidelijk dat een failed replication nog niet betekent dat de conclusie van het originele onderzoek onjuist was. Zwaan is lid van de NWO-programmacommissie Replicatiestudies en auteur van Making replication mainstream. ‘Vaak zijn meerdere replicaties nodig en ligt de uitkomst genuanceerd. Ook is het moeilijk een studie te reproduceren op basis van de informatie in een artikel. Daarom is het cruciaal dat onderzoekers data beschikbaar maken voor anderen.’ De replicatiespecialisten vinden het nog te vroeg om te concluderen dat replicatiestudies tot meer robuuste wetenschap leiden. Daarvoor moeten meer herhaalonderzoeken worden afgerond. Zwaan vindt wel dat de wetenschap betrouwbaarder is geworden, omdat replicatie verborgen moderators blootlegt. ‘Bij het herhalen van de penstudie van Fritz Strack werd het effect niet gevonden in experimenten waarbij proefpersonen gefilmd werden. Mogelijk is het gedrag van mensen anders als ze weten dat ze gefilmd worden. Dit kun je testen met een experiment waarin je condities met en zonder camera vergelijkt. Dat zou ik vooruitgang noemen. Overigens is zo’n experiment al gedaan, maar niet goed uitgevoerd. Repliceren is ook een vak, zullen we maar zeggen.’
![Onderzoek 2019_2_herhaalonderzoek-1.jpg](https://cdn.statically.io/img/www.nwo.nl/sites/nwo/files/styles/max_1300x1300/public/gallery/Onderzoek%202019_2_herhaalonderzoek-1.jpg?itok=sPkIVDWy)