Slechte onderzoekspraktijken vermijden door pre-registratie

Geschreven en geverifieerd door de psycholoog Roberto Muelas Lobato.

Laatste update: 27 december, 2022

Hoe ga je slechte onderzoekspraktijken uit de weg? Het antwoord is door gebruik te maken van pre-registratie. Ontdek hier wat het is en hoe je het kan gebruiken.

Onderzoeken moeten op een ethische manier uitgevoerd worden. Onderzoekers moeten namelijk voldoen aan ethische normen om de geldigheid van hun onderzoek te verzekeren. In het verleden hebben sommige onderzoekers echter slechte onderzoekspraktijken toegepast.

Deze praktijken houden vooral in dat ze kleine inbreuken plegen om op die manier verder te kunnen gaan met het onderzoek en uiteindelijk het onderzoek te kunnen publiceren.

Het doel van de moderne onderzoeksdynamiek is resultaten uitgeven. Dit doel kan echter een negatieve druk uitoefenen op de onderzoekers.

Het komt dus vaak voor dat velen van hen hun toevlucht nemen tot slechte onderzoekspraktijken. Door de geschiedenis zijn er heel schokkende gevallen geweest. Een voorbeeld is het Stanford-gevangenisexperiment en het geval van Diederik Stapel.

Grote fraude

Het Stanford-gevangenisexperiment is één van de beroemdste onderzoeken in de sociale psychologie. Er kwamen echter enkele opnames aan het licht die de slechte onderzoekspraktijken aantoonden die gebruikt werden om dit experiment uit te voeren.

Ze steunden bijvoorbeeld op anekdotische bewijs, trainden de bewakers en gaven impliciete orders. De resultaten interpreteerden ze op een niet-correcte manier. Vanaf het moment dat dit ontdekt werd, hebben mensen gediscussieerd over het feit of dit onderzoek nog steeds in cursusboeken mag verschijnen.

Diederik Stapel was een professor in de sociale psychologie aan de universiteit van Tilburg. In 2011 ontdekte men dat Stapel de gegevens van vele van zijn onderzoeken vervalst had. In plaats van proefpersonen te gebruiken in zijn onderzoeken had hij op zo’n manier gegevens verzonnen dat hij altijd de resultaten kreeg die hij verwachtte.

Zijn studenten waren niet op de hoogte van deze slechte onderzoekspraktijken. Zij vertrouwden hun leraar. Dat bleef duren tot één van zijn doctoraatsstudenten het vreemd vond dat hij altijd de verwachte resultaten verkreeg. Vanaf dat moment stortte alles in.

Slechte onderzoekspraktijken

Hoewel deze gevallen ontdekt werden, behoren ze toch tot een minderheid. De meeste slechte onderzoekspraktijken zijn immers subtieler. Dit zijn de meestvoorkomende negatieve beroepspraktijken:

• P-hacking: Om de hypothesen van statistische analyses uit te testen gebruiken onderzoekers de p-waarde. Die is meestal 0,05. Wanneer ze echter vele variabelen en experimentele voorwaarden gebruiken, dan kan deze waarde beïnvloed worden. Daarom is het aanbevolen om deze waarde te verminderen. Onderzoekers moeten dit doen vóór ze het onderzoek uitvoeren.
• Lage macht: Een staal van kleine omvang kan ervoor zorgen dat de studie een lage statische macht bezit. Op zijn beurt zal een lage macht waarschijnlijk leiden tot een vals positief resultaat. Het onderzoek zal met andere woorden iets beweren dat in werkelijkheid niet bestaat.
• Harken: Dit houdt in dat de onderzoekers de hypothese veranderen zodra ze merken dat de resultaten niet zijn wat ze aanvankelijk verwachten.

Wat is pre-registratie en hoe kan het helpen om slechte onderzoekspraktijken te vermijden?

Pre-registratie is één oplossing om deze slechte onderzoekspraktijken te vermijden. Pre-registratie houdt in dat men de doelstelling van het onderzoek en de methoden die de onderzoekers zullen gebruiken, publiek maakt. Iedereen kan dus nagaan of de onderzoekers de studie op een ethische manier uitgevoerd hebben of zoals ze vooraf beweerd hebben.

Pre-registratie is heel eenvoudig. Er bestaan websites die jou hierbij kunnen helpen. Je hebt bijvoorbeeld het Open Science Framework (OSF). Op deze site kan je verschillende templates voor pre-registratie vinden.

Je kan ook alle onderzoeksmateriaal uploaden (databases, vragenlijsten, aanvullend materiaal, enzovoort). Op een eenvoudige manier kan je dan het onderzoek publiek maken.

Hoe kan je pre-registreren?

In het Open Science Framework kan je verschillende pre-registratie templates vinden. In sommige templates vraagt men meer informatie dan in andere. Als voorbeeld nemen we één van de eenvoudigste templates, genaamd AsPredicted. Je moet de volgende onderdelen invullen:

• De gegevens: Heb je de gegevens al verzameld of zal je die verzamelen na de pre-registratie.
• De hypothese van het onderzoek: Leg de hypothese uit die je wil testen.
• Variabelen: Wat zijn de variabelen in het onderzoek en hoe ga je ze meten.
• De omstandigheden: Welke omstandigheden zal je aan de deelnemers toewijzen (bijvoorbeeld, controle en experimenteel).
• De analyse: welke analyse zal je uitvoeren zodra je de gegevens verzameld hebt.
• Waarnemingen: Het aantal observaties die je zal verzamelen. Dit betreft met andere woorden het aantal deelnemers die je nodig hebt.

Door de gegevens van de onderzoeken publiek te maken, zijn ze voor iedereen zichtbaar. De kans dat iemand slechte onderzoekspraktijken toepast, daalt dus. Pre-registratie vereist meer tijd. Je moet immers nadenken over wat je zal onderzoeken. Toch passen vele mensen het toe. Bovendien zorgt het ervoor dat de wetenschap transparanter is.