Puinruimen in psychologieland

Natuurlijk was het een goed idee. Heel Utrecht, en met name het treinstation, veranderde binnen een week in één grote vuilnisbelt toen de schoonmakers in mei 2010 hun werk staakten. Een uitgelezen kans om te meten hoe dat de bezoekers van Utrecht Centraal beïnvloedt: zorgt de rommel en wanorde voor een andere gemoedstoestand dan normaal? Een experiment was zo gedaan.

Sociaalpsycholoog Diederik Stapel zei precies dat te doen en haalde er het prestigieuze blad Science mee. Het is nu drie jaar geleden sinds bekend werd dat Stapel zijn onderzoeksgegevens doorgaans gewoon verzon – ook deze. Betekent dit nu dat de ideeën die Stapel onderzocht niet te vertrouwen zijn? Opvallend genoeg: nee, niet echt. Veel theorieën hebben de storm in een of andere vorm weten te doorstaan. Niet alles wat Stapel aanraakte is in steen veranderd.

De eerste reden daarvoor: de theorieën die Stapel zei te toetsen, had hij zelden zelf bedacht, maar waren vaak al door andere sociaalpsychologen geopperd en leken doodnormaal om te onderzoeken. Dat is ook een van de redenen dat de fraude zo lang onopgemerkt bleef. Stapel was simpelweg niet de enige die zich met zulke theorieën bezighield.

Zo ook het idee dat ons gedrag zich onbewust laat sturen – ook wel priming genoemd – door dingen als hoe schoon onze omgeving eruit ziet. Het experiment op Utrecht Centraal is een variant op de zogenaamde broken windows-theorie. Die bestond al in 1982, drie jaar voordat Stapel überhaupt aan zijn psychologiestudie begon. De theorie houdt in dat je automatisch anders denkt in een rommelige of vuile omgeving dan in een schone omgeving. In een vieze straat voelt het opzoeken van een vuilnisbak als verspilde moeite: de vuile omgeving duwt ook jouw norm naar beneden. Of de broken windows-theorie klopt, is een kwestie van experimenten uitvoeren. De nieuwste telg in de serie kwam begin dit jaar: toen lieten Tilburgse onderzoekers in een Rotterdamse woonwijk drie maanden lang het afval slechts één keer week ophalen, in plaats van twee keer per week. De bewoners dumpten hun afval vaker, concludeerden de onderzoekers voorzichtig.

Te perfect

Voorzichtig, want uitsluitsel is moeilijk te krijgen: menselijk gedrag laat zich in het dagelijks leven doorgaans niet leiden door net dat ene ding dat een onderzoeker wil weten, maar door veel factoren tegelijk. Volgens Hans IJzerman, sociaalpsycholoog aan de universiteit van Tilburg, ontbrak de erkenning van die rommelige realiteit in Stapels verzonnen resultaten. Het was dus niet zo dat de man onwerkelijke fantasieën had over hoe de menselijke geest in elkaar stak, maar dat zijn bewijsvoering voor al bestaande theorieën te perfect was, welk fenomeen hij ook onderzocht. ‘De resultaten waren gewoon te mooi om waar te zijn,’ zegt IJzerman. ‘Realistisch psychologieonderzoek is minder robuust, omdat er gewoon te veel storende factoren zijn.’

Zo zei Stapel ook ongelofelijk sterke aanwijzingen te vinden voor de invloed van taal op perceptie, een verschijnsel waarnaar IJzerman zelf onderzoek doet.

IJzerman deed elf van zulke experimenten over, waaronder ook een waarbij proefpersonen verschillend geprimed werden door variaties zoals ‘zij slaat hem’ en ‘zij is agressief’. Stapel meende te ontdekken dat mensen bij het eerste soort priming hun blik vernauwen en bij het tweede geval juist meer in algemeenheden gaan denken.

‘In onze herhaalexperimenten zagen we dat effect niet’, zegt IJzerman. ‘Maar we zijn blijven testen en zien nu dat in sommige contexten het effect wel bestaat. We zien het wel in Braziliaanse proefpersonen, maar niet zo gauw bij Nederlanders.’

Opvallend is dat IJzerman zijn elf herhaalexperimenten vóór de fraudegevallen van Stapel niet gepubliceerd kon krijgen. Herhalingen – oftewel replicaties – werden als saai en bedreigend voor collega’s gezien, terwijl nieuwe vondsten goed scoorden bij wetenschapstijdschriften.

Maar na de fraudezaak – gevolgd door nieuwe zaken, zoals die van psycholoog Dirk Smeesters – begonnen de deuren voor replicatie zich te openen. En daarmee komen we bij de tweede reden voor hoe de sociale psychologie de wetenschapscrisis weet te doorstaan: onderzoekers krijgen meer ruimte om herhaalexperimenten uit te voeren, op zoek naar situaties waarin bepaalde effecten wel of niet werken.

Dat leidde eerder dit jaar tot een doorbraak: in mei verscheen een speciale uitgave van Social Psychology waarin alleen maar herhaalexperimenten aan bod komen. Een regelrechte primeur in de wetenschap. Het doel ervan is niet om fraude te ontdekken, maar om te controleren of collega’s hun eerdere psychologische vondsten toevallig tegenkwamen, of dat ze echte effecten hadden gemeten.

Overeind

Een paar theorieën worden in de uitgave ontkracht, anderen bevestigd. Een voorbeeld: het zogenaamde ‘Romeo & Julia’-effect uit 1972 blijkt niet te bestaan. Jonge stelletjes worden niet verliefder wanneer hun ouders tegen de relatie zijn.

Wel overeind blijft het idee van psycholoog Solomon Asch uit 1946: mensen laten hun eerste indruk van iemand anders deels afhangen van de situatie of context waarin die persoon beschreven wordt.

Daniël Lakens, psycholoog aan de Technische Universiteit Eindhoven en een van de initiatiefnemers bij de replicatie-uitgave, is heel positief over de veranderingen in zijn vakgebied die naar aanleiding van de fraudegevallen zijn ontstaan. ‘Aan fraude zelf is heel moeilijk iets te doen,’ zegt hij, ‘maar het goed melden van onderzoek is een veel groter probleem in de weten-
schap.’

Om in de toekomst al te positief gekleurde resultaten te voorkomen, wil Lakens bijvoorbeeld dat onderzoekers vooraf hun experimenten aanmelden. Zo voorkom je dat de studie in een laatje verdwijnt als de resultaten tegenvallen. ‘Steeds meer psychologiebladen werken nu aan zulke preregistratie,’ zegt Lakens. ‘Het gaat de goede kant op.’