16 januari 2025.
Afgelopen februari publiceerde The BMJ een artikel genaamd “Clinical effectiveness of an online supervised group physical and mental health rehabilitation programme for adults with post-covid-19 condition (REGAIN study): multicentre randomised controlled trial,” [Klinische effectiviteit van een online gesuperviseerd groepsprogramma voor lichamelijke en geestelijke revalidatie voor volwassenen met een post-COVID-19-aandoening (REGAIN-studie): multicentrisch gerandomiseerd gecontroleerd onderzoek,] van McGregor et al. De studie beweerde te hebben bewezen dat deze multidisciplinaire interventie “klinisch effectief” was in het verminderen van symptomen die samenhangen met long covid. Helaas zat de bewering vol met problemen waardoor deze onzin was. (Ik heb meerdere keren over de studie geschreven, onder andere hier en hier).
Eerst en vooral was de studie niet geblindeerd en uitsluitend gebaseerd op subjectieve, zelfgerapporteerde resultaten – een combinatie van eigenschappen die onvermijdelijk leidt tot een onbekende mate van vertekening. In dergelijke gevallen kunnen bescheiden positieve resultaten worden verwacht als een artefact van de studieopzet en zijn ze in wezen betekenisloos.
Daarnaast bevatte de studie enkele onhoudbare tekortkomingen. Specifiek:
- In prominente delen van het artikel, inclusief de conclusie van de samenvatting en een kader met de titel “Wat deze studie toevoegt”, presenteerden de onderzoekers hun bevindingen alsof ze geëxtrapoleerd konden worden naar alle longcovidpatiënten. Dit was volkomen onterecht omdat er een zeer opmerkelijk punt werd weggelaten. De deelnemers aan de studie waren allemaal in het ziekenhuis opgenomen voor acute COVID-19, terwijl de grote meerderheid van de longcovidpatiënten niet in het ziekenhuis was opgenomen. Gezien de grote verschillen tussen deze twee populaties, is het wetenschappelijk niet gerechtvaardigd om automatisch aan te nemen dat de bevindingen in de ene groep van toepassing zijn op die in de andere groep.
- Het gerapporteerde voordeel op de primaire uitkomst viel onder de aanbevolen drempel voor wat het “minimaal klinisch belangrijk verschil” (MCID) wordt genoemd voor die maatstaf, zoals bepaald door degenen die deze maatstaf hebben ontwikkeld. Als de resultaten van een onderzoek niet voldoen aan de MCID die wordt aanbevolen door de makers van een uitkomstmaat, is het moeilijk om de bewering van de onderzoekers dat de interventie “klinisch effectief” is serieus te nemen.
Gezien deze en andere problemen volgden er meerdere klachten. Sommige mensen dienden een snelle reactie in. Ik organiseerde een brief aan de hoofdredacteur van het tijdschrift, Kamran Abbasi, ondertekend door een dozijn andere collega’s. Van hun kant verwierpen de onderzoekers alle kritiek in hun eigen snelle reactie, die afgelopen april werd gepubliceerd. Blijkbaar was iemand bij de BMJ het echter niet eens met de besluitvorming van de onderzoekers, want in mei bevatte het artikel een correctie, hoewel deze alleen betrekking had op de kwestie van de expansieve extrapolatie van de bevindingen naar alle longcovidpatiënten. Zoals de correctie vermeldde, werd de zin “ten minste drie maanden na ontslag uit het ziekenhuis vanwege COVID-19” toegevoegd aan de hoofdstukken waaruit deze was weggelaten.
De correctie bevatte geen uitleg over waarom of hoe het tijdschrift het standpunt van de onderzoekers dat een dergelijke correctie niet nodig was, terzijde schoof. Het was niettemin een erkenning dat de onderzoekers, al dan niet opzettelijk, onjuiste of onware informatie hadden overgebracht aan het publiek. Helaas hadden mediakanalen dit direct na de eerste publicatie van de studie al op grote schaal verspreid. Geen enkel mediakanaal leek aandacht te besteden aan de correctie.
Helaas voor The BMJ is dat niet het einde van haar verantwoordelijkheden hier. De beweringen van de studie hebben een prominente rol gespeeld in ten minste twee andere BMJ-publicaties. Een editoriaal op uitnodiging begeleidde het eerste onderzoeksrapport afgelopen februari. Net als de studie zelf, gaf het editoriaal een verkeerd beeld van de bevindingen door pas helemaal aan het einde de beperkingen van de studiepopulatie te noemen. Niemand die het leest, zou zich er noodzakelijkerwijs van bewust zijn dat een correctie aan de studie de relevantie van de bevindingen voor de grotere longcovidpopulatie ernstig heeft beperkt.
Nog verontrustender is dat The BMJ in november een artikel publiceerde met de titel “Interventions for the management of long covid (post-covid condition): living systematic review,” van Zeraatkar et al. De review baseert zich uitsluitend op McGregor et al. om “bewijs van matige zekerheid” te claimen ten gunste van een programma van lichamelijke en geestelijke revalidatie voor longcovidpatiënten. De onderzoekers verwierpen het idee dat de aanbeveling zich zou moeten beperken tot patiënten die in het ziekenhuis waren opgenomen, ook al werd de review geaccepteerd voor publicatie maanden nadat REGAIN was gecorrigeerd om dat specifieke punt te versterken.
Heeft iemand deze discrepantie opgemerkt of zich erom bekommerd? Moeilijk te zeggen. Het beleid bij The BMJ is om peerreviews te publiceren. In dit geval zijn er nog geen peerreviews van deze systematische review verschenen, zonder verklaring voor de vertraging. Het spreekt voor zich dat als een studie wordt gecorrigeerd en de bevindingen drastisch worden beperkt tot een veel kleinere populatie, andere artikelen die zich baseren op de initiële fout ook moeten worden gecorrigeerd, wat de auteurs van die andere artikelen ook denken. Zelfs de biopsychosociale fanatici die blijkbaar de leiding hebben bij BMJ, zouden dit basisprincipe moeten kunnen begrijpen.
In beide gevallen heb ik brieven naar de redacteur van The BMJ gestuurd. (Je kunt ze hier en hier lezen.) In beide gevallen kreeg ik antwoord van de afdeling “onderzoeksintegriteit” van BMJ, waarin mij werd verzekerd dat de vragen die ik had gesteld, werden beoordeeld. Ik heb nog geen informatie ontvangen over oplossingen.
********
Inmiddels zijn er acht snelle reacties toegevoegd aan Zeraatker et al. (Beschamend genoeg is er één van de REGAIN-onderzoekers zelf, die vraagtekens zet bij de statistische analyse van de review). In verschillende reacties worden zorgen geuit over de te brede beweringen van de review over de REGAIN-bevindingen, naast andere problematische zaken. Bijzonder opmerkelijk zijn de slimme, goed beargumenteerde reacties van twee patiëntenvoorvechters, [onze Belgische, red.] Michiel Tack en Dominic Salisbury.
Misschien zullen The BMJ en het team dat deze problematische “levende systematische review” heeft gemaakt, op een gegeven moment besluiten enkele antwoorden te geven.
© David Tuller voor Virology Blog. Vertaling admin, redactie NAHdine, ME-gids.
