30 januari 2025.
Als de resultaten voor de primaire uitkomst van een studie niet voldoen aan de drempel voor wat wordt beschouwd als een “klinisch significant” voordeel, spreekt het voor zich – of zou het dat in ieder geval moeten doen – dat onderzoekers geen legitieme redenen hebben om hun interventie als “doeltreffend” aan te prijzen. Dit geldt vooral wanneer het onderzoek in kwestie niet geblindeerd is en de meting subjectief is. Deze combinatie van elementen is een recept voor vertekening. Gezien het placebo-effect mag worden verwacht dat dergelijke onderzoeken bescheiden positieve resultaten opleveren die uitsluitend een artefact zijn van de onderzoeksopzet.
En toch… voelen de diehardleden van de ideologische CGT/GET-brigades zich blijkbaar vrij om deze basisprincipes te negeren. En dat geldt ook voor de invloedrijke tijdschriften die hun onderzoek blijven publiceren.
Het voorbeeld van vorige maand –“Brief Outpatient Rehabilitation Program for Post-COVID-19 Condition: A Randomized Clinical Trial” [Kort ambulant revalidatieprogramma voor post-COVID-19-aandoening: een gerandomiseerde klinische studie] – werd gepubliceerd door JAMA Network Open. De hoofdauteur is de Noor Vegard Bruun Wyller, hoogleraar kindergeneeskunde aan de Universiteit van Oslo. De studie omvatte 314 patiënten met “milde tot matige” gevallen die voldeden aan de brede criteria van de WHO voor langdurige covid, of wat de organisatie post-COVID-19-aandoening (PCC) noemt.
De helft van de deelnemers kreeg een programma van twee tot acht klinische sessies “gebaseerd op een cognitieve en gedragsmatige aanpak”. De andere helft kreeg geen interventie, alleen “gebruikelijke zorg”.
De interventie bestond uit het aanbieden van “cognitieve geruststelling aan de deelnemers dat lichamelijke symptomen niet noodzakelijkerwijs duiden op een ziekte, maar eerder op een stoornis die tijdelijk is en kan worden verholpen” en het uitleggen dat “bepaalde infecties (bijv. COVID-19) onaangepaste reacties en diverse, onvoorspelbare en hinderlijke symptomen (bijv. vermoeidheid, dyspneu en hersenmist) kunnen uitlokken”. Tijdens de sessies “begeleidden cognitief gedragstherapeutisch getrainde fysio/kinesitherapeuten de patiënten door gebruik te maken van non-directieve communicatie, socratische dialoog en begeleide ontdekking, waarbij ze de patiënten aanzetten tot de conclusie dat herstel een actief uitvoeren van fysieke en mentale taken zou vereisen, waardoor de verwachtingen van positieve stimuli werden bevorderd.”
Het primaire resultaat van de studie was de SF-36 Physical Function Subscale (SF-36-PFS) – een veelgebruikte maat in deze studies. Hogere scores op de schaal van 100 punten staan voor een betere zelfgerapporteerde gezondheid. Zoals zowel in het artikel als in het studieprotocol wordt opgemerkt, wordt een verandering van 10 punten op de SF-36-PFS als “klinisch significant” beschouwd. Veranderingen van minder dan 10 punten worden per definitie als klinisch onbelangrijk beschouwd, dat wil zeggen, te klein om betekenisvol of zelfs maar merkbaar te zijn voor het individu.
In deze studie is het verschil tussen de veranderingen in de interventie- en niet-interventiegroepen op de SF-36-PFS aan het eind 9,2 punten – onder de drempel van 10 punten die vooraf is aangewezen als “klinisch significant”. Maar de samenvatting meldt in plaats daarvan dat de SF-36-PFS scores “statistisch en klinisch significant verbeterden in de interventiegroep”. Dezelfde zin wordt herhaald in een kader met de titel “Belangrijke punten”.
Let op de slimme formulering – de zin verwijst blijkbaar naar de verandering binnen de interventiegroep vanaf de uitgangswaarde tot na de interventie en suggereert dat deze de drempel van 10 punten voor klinische significantie overschreed. Maar verandering binnen de interventiegroep is niet de meetwaarde die van belang is in een klinische studie. Je hoeft geen klinische studie uit te voeren om verandering te meten in een groep die een interventie krijgt. Je voert een klinische studie uit om de verandering in de interventiegroep te vergelijken met de verandering in een andere groep.
In een klinische studie is de meetwaarde die ertoe doet – zoals professor Wyller en de redacteuren van JAMA Network Open zeker weten – het verschil tussen de veranderingen in de interventie- en niet-interventiegroepen. En in dit geval was het verschil niet klinisch significant, zelfs niet in een studie met ingebouwde bias.
Hier is de claim uit de conclusie van het abstract: “In deze gerandomiseerde klinische studie was een kort poliklinisch revalidatieprogramma met een cognitieve en gedragsmatige aanpak bij patiënten met PCC effectief en veilig.” Gezien het feit dat de primaire uitkomst niet het niveau van klinische significantie bereikte, is het ongegrond en misleidend om te beweren dat de interventie in zijn geheel “effectief” was.
Afgezien van het abstract wordt het feit dat het verschil tussen de groepen onder de klinisch significante drempel viel, ook niet vermeld in de discussie of in het gedeelte over de beperkingen. De enige vermelding van de drempel van 10 punten zelf is in het gedeelte over statistische berekeningen. (Het abstract vermeldt dat het verschil tussen de groepen 9,2 punten bedraagt, maar het getal op zichzelf en zonder de benodigde context is zinloos voor de lezers).
Kortom, de onderzoekers geven een ernstig verkeerd beeld van hun bevindingen. En JAMA Network Open staat hen toe dit te doen.
Deze verkeerde voorstelling van zaken is verre van het enige probleem met deze studie. Een van de andere problemen is dat bijna een kwart van de deelnemers – 83 van de 314, oftewel 26% – geen definitieve gegevens heeft verstrekt. Aangezien ze vermoedelijk gemotiveerd waren om beter te worden, roept het hoge uitvalpercentage vragen op over waarom zo velen besloten om dit niet door te zetten.
Dit onderzoek, hoe weinig indrukwekkend de bevindingen ook zijn, heeft veel aandacht gekregen.
Samen met de studie publiceerde JAMA Network Open een “invited commentary” [uitgenodigde commentaar] van Trudie Chalder, King’s College Londons feitelijk en mathematisch betwistbare professor in cognitieve gedragstherapie. Het staat vol met haar gebruikelijke bla bla, zoals dit stukje propaganda in PACE-stijl: “In de afgelopen decennia is er substantieel bewijs verzameld voor de effectiviteit van CGT voor symptomen in de context van somatische aandoeningen, waaronder het chronischevermoeidheidssyndroom.”
En zoals zo vaak gebeurt met onderzoek van deze onderzoekers, was de berichtgeving lovend en goedgelovig. NRK, de Noorse omroep, publiceerde een goedgelovig artikel met de kop “Nieuwe studie geeft hoop”. De kop van een artikel in MedPage Today was “Langdurige COVID-symptomen verbeteren met poliklinische interventie”. Natuurlijk vermeldde geen van beide dat de resultaten op het primaire resultaat niet klinisch significant waren. Ik neem aan dat de opgeblazen beweringen van deze studie zullen worden opgenomen in de volgende versie van de recente “levende” systematische review van interventies voor langdurige covid, die zelf ook toe is aan een grote correctie.
© David Tuller voor Virology Blog. Vertaling admin, redactie NAHdine, ME-gids.
