Het lezen en verteren van wetenschappelijke artikelen is zelden een eenvoudige opgave. Zelfs als je de vaktaal en de cijfers begrijpt, is het lastig een helder beeld te krijgen van wat de onderzoekers hebben gedaan, wat ze precies beweren en, vooral, of ze gelijk zouden kunnen hebben. Wie zich echt in een artikel wil verdiepen, is behoorlijk wat tijd kwijt, maar met deze zes eenvoudige stappen kun je het tempo flink opvoeren.

Stap 1: Sla het Abstract over

Het Abstract (samenvatting) boven een wetenschappelijk stuk is als de kop boven een krantenartikel: een lokkertje — meestal net te kort door de bocht en soms stevig opgeleukt. Lees liever eerst de Conclusie. Daarin staat eerlijker en rustiger wat de onderzoekers hebben gevonden. Beschouw de conclusies als argumenten in een debat, niet als losse bevindingen: de onderzoekers vinden iets (meestal beginnen ze hun artikel met de context waarin ze dat beweren) en proberen ons met hun wetenschappelijke bevindingen te overtuigen. Interessante wetenschap begint met ruzie: de een zegt dat, de ander dit, dus we gaan eens uitzoeken hoe het zit.

Stap 2: Wacht even

Nu je weet wat de schrijvers beweren, hoe denk je dan dat ze hun standpunt zullen gaan onderbouwen? Voordat je verder leest, beantwoord je eerst de vraag: wat zou mij van hun conclusie overtuigen? Een reageerbuistest, een experiment met muizen of een studie met mensen? Zeventien psychologiestudenten of een steekproef van tienduizend verpleegkundigen? Vinden ze echt minder hartdoden of alleen patiënten met een wat lager cholesterol? Hoe hebben ze dat gemeten? Pas als je daarvan een beeld hebt gevormd, kijk je naar hun Methoden. Stelt de onderzoeksopzet je erg teleur, dan kun je al bijna stoppen met lezen — tenzij de auteurs natuurlijk goede argumenten geven om het op hun manier te doen, en de beperkingen daarvan eerlijk melden.

Stap 3: Bekijk de plaatjes

Een tabel of grafiek zegt meer dan 1024 woorden. In de ene tabel staan meestal de aantallen en eigenschappen van de onderzochte groepen (geslacht, leeftijd, achtergrond), in een andere de belangrijkste resultaten (de ‘primaire’ en ‘secundaire’ uitkomstmaten). Vaak geeft een grafiek — ook wetenschappers hebben niet alle tijd van de wereld — de resultaten nog eens in een oogopslag. Wie meer details wil, vindt ze in het artikel onder het kopje Resultaten.

Stap 4: Let niet op de significantie.

Vrijwel alles wat wordt gepubliceerd, is ‘significant’ (p < 0,05) — anders zou het niet gepubliceerd worden. Maar ‘significant’ betekent alleen maar dat er een effect ongelijk aan nul is gevonden. Het zegt niets over de grootte of het belang van het effect. (De fameuze ‘p-waarde’ meldt, kortweg, hoe onwaarschijnlijk de uitkomst van een test is als er in feite niets aan de hand is. Bij een munt die 9 van de 10 keer op kop komt, vermoeden we vals spel, want met een eerlijke munt gebeurt dat maar eens in de honderd keer  — p = 0,01. Als p kleiner is dan een vooraf afgesproken waarde, bijvoorbeeld p < 0,05, heet het resultaat ‘significant’)

Over het belang van het effect hoort het artikel vervolgens ook iets te zeggen, liefst in begrijpelijke taal. Auteurs die alleen melden dat ‘door de pil de kans op een depressie met 28 procent is verhoogd’, zijn af. Wat we willen weten is: hoe groot is de kans op het krijgen van een depressie voor een vrouw van dertig binnen vijf jaar? Dus: hoeveel scheelt het echt? Als het goed is, staat daarom ergens wel een maat voor de grootte van het effect (meestal d of r, als die lager is dan zeg 0,25, is het effect hoe dan ook klein). Maar bedenk dat een klein effect wel degelijk belangrijk kan zijn (zeker als het makkelijk te bereiken is), terwijl een groot effect in de praktijk volstrekt oninteressant, te kostbaar of onbereikbaar kan zijn. Gebruik je verstand.

Stap 5: Nogmaals, gebruik je verstand

Laat langzaam tot je doordringen wat de onderzoekers eigenlijk beweren, hoe ze die bewering onderbouwen en of er enige praktische betekenis aan kan worden gehecht. Wat weten we nu wat we nog niet wisten? Goede tijdschriften hebben een apart kadertje met ‘Wat deze studie toevoegt’, anders helpen de eerste en de allerlaatste alinea’s van het stuk (de Discussie) meestal wel om de context en het belang van het onderzoek te schetsen. Denk ook aan de literatuurverwijzing: daarin noemen auteurs vaak medestanders, maar ook tegenstanders. Niets let je om een deskundige uit de voetnoten of van de plaatselijke universiteit te vragen wat die ervan vindt.

Uiteindelijk moet je het stuk kunnen samenvatten in een paar zinnen — dat is het moment waarop je naar het Abstract mag kijken. Klopt die niet met jouw samenvatting: strafpunten voor de auteurs.

Stap 6: Geloof je het?

Begrijpen is één ding, kunnen uitleggen is twee, bekritiseren is drie. Hebben de onderzoekers overal aan gedacht? Zijn er geen verwarrende variabelen die ze onder het vloerkleed schuiven of bagatelliseren (goed corrigeren voor sociaaleconomische status is bijvoorbeeld bijna ondoenlijk: arme mensen zijn geen rijke mensen zonder geld, dikke mensen zijn geen dunne mensen met overgewicht). Kan het kloppen, ook in het licht van wat we al weten? Zijn er geen andere of betere verklaringen voor de bevindingen mogelijk, en zijn de auteurs daar eerlijk over? Zijn ze ook eerlijk over de nadelen, de bijwerkingen en de losse eindjes? Het gaat er niet eens zozeer om dat ze alles ondervangen, als ze maar erkennen dat die losse eindjes, nadelen en bijwerkingen er zijn.

Bedenk ten slotte dat ongeveer de helft van zelfs de prima artikelen reken- en telfouten bevatten, maar als je er meer dan drie vindt, moeten de alarmbellen gaan rinkelen. Dan zou er sprake van slechte wetenschap kunnen zijn. En als je toch bezig bent, kijk ook even of de auteurs belang (qua geld of carrière) hebben bij de publicatie. Belanghebbenden zijn meestal positiever dan onpartijdige onderzoekers.

Tekst: Hans van Maanen
Illustraties: Demian Janssen