12 april 2024.
In de afgelopen weken heb ik er bij The BMJ op aangedrongen om een gebrekkig onderzoek van de Universiteit van Warwick naar een online geestelijk en fysiek revalidatieprogramma voor mensen met aanhoudende symptomen ten minste drie maanden na een ziekenhuisopname voor Covid-19 te corrigeren. De primaire uitkomst was de gezondheidsgerelateerde levenskwaliteit, beoordeeld met een maat genaamd de PROPr-score. Onlangs stuurde ik een brief ondertekend door twee dozijn wetenschappers, artsen en academici over deze kwestie. (Ik schreef hier voor het eerst over het onderzoek; een eerdere brief aan het tijdschrift staat hier).
Nu hebben de auteurs van de REGAIN-studie een snelle reactie geplaatst in een poging om de kritiek te weerleggen. Hun antwoord suggereert een slecht begrip van de belangrijke rol die voorzichtigheid en nederigheid zouden moeten spelen in de rapportage van wetenschappelijke studies. Het REGAIN-team heeft zijn maximalistische presentatie van zijn bevindingen gerechtvaardigd door onbevredigende en inadequate verklaringen te bieden voor zijn besluitvorming.
De studie was niet geblindeerd en baseerde zich uitsluitend op subjectieve uitkomsten – een studieopzet die een onbekende hoeveelheid bias genereert. Auteurs van dergelijke onderzoeken slagen er meestal niet in om voldoende kanttekeningen te plaatsen dat zeer bescheiden meldingen van verbetering waarschijnlijk eerder toe te schrijven zijn aan placebo-effecten dan aan de impact van de interventie zelf.
Naast deze fundamentele kwestie hebben wij twee belangrijke zorgen geuit. Ten eerste waren we bezorgd over het feit dat de auteurs hun bevindingen extrapoleerden naar de gehele longcovidpopulatie en niet alleen naar degenen die in het ziekenhuis waren opgenomen. Ten tweede zetten we vraagtekens bij de beslissing om de interventie “klinisch effectief” te noemen, ook al bereikten de resultaten niet de momenteel aanbevolen drempelwaarde voor een minimaal klinisch belangrijk verschil (MCID) voor de PROPr-score.
Gisteren werd ik geïnformeerd door de redacteur van de krant, Dr. Nazrul Islam, dat het REGAIN-team hun weerwoord in een snelle reactie had gepost. Even later stuurde ik hem een e-mail waarin ik het eerste extrapolatieprobleem aankaartte en uitlegde waarom de poging om het weg te borstelen niet aan de geurtest voldeed – of in ieder geval niet aan mijn geurtest.
Hier is de brief:
Geachte Dr. Islam,
Dank u voor de update. We zullen het antwoord in detail bekijken, maar ik kan op het eerste gezicht zeggen dat het half zo slim is en duidelijk voorbijgaat aan de belangrijkste punten van kritiek. Slechts één opvallend voorbeeld: In hun poging om het argument te weerleggen dat ze de bevindingen veel verder hebben geëxtrapoleerd dan de onderzochte populatie, verwijzen de auteurs naar de conclusie van het volledige artikel in plaats van naar de conclusie van het abstract.
In onze brief verwijzen we naar het abstract, dat luidt als volgt: “Bij volwassenen met een post-covid-19-aandoening was een online, thuisgebaseerd, begeleid, groepsrevalidatieprogramma voor lichamelijke en geestelijke gezondheid klinisch effectief in het verbeteren van de gezondheidsgerelateerde levenskwaliteit na drie en twaalf maanden in vergelijking met gebruikelijke zorg.” Bovendien bevat het kader dat belicht “Wat is er al bekend over dit onderwerp” en “Wat voegt dit onderzoek toe” geen enkele vermelding van het zeer saillante detail dat deze patiënten in het ziekenhuis waren opgenomen. Zoals u ongetwijfeld weet, is de kans veel groter dat lezers de samenvatting en de hoofdpunten bekijken dan dat ze het artikel helemaal uitlezen.
Als McGregor et al. “ten minste drie maanden na ziekenhuisontslag voor covid-19” hadden toegevoegd aan de zin in het abstract en aan het kader waarin de bevindingen worden uitgelicht, zouden we deze specifieke kwestie niet aan de orde hebben gesteld. Blijkbaar zijn McGregor et al. en de redactie van The BMJ van mening dat het volledig gepast is voor onderzoekers om meer verstrekkende uitspraken te doen in de conclusies in de samenvatting van een artikel en in de hoogtepuntensectie, zolang de allerlaatste alinea van de tekst van het artikel meer accurate informatie bevat.
Daar zijn we het absoluut niet mee eens. Dergelijke flagrante interne tegenstrijdigheden zijn niet acceptabel bij het rapporteren van wetenschappelijke bevindingen. Eerstejaarsstudenten epidemiologie aan Berkeley zouden berispt worden vanwege deze doorzichtige poging om in de meest spraakmakende secties van het artikel de indruk te wekken dat de bevindingen breed toepasbaar zijn op de gehele populatie van patiënten met een post-Covid-aandoening in plaats van beperkt te zijn tot de veel kleinere cohort van degenen die in het ziekenhuis werden opgenomen.
De reacties op onze andere zorgen zijn al even oneerlijk en ontoereikend – daarover volgt meer. Lezers van The BMJ verdienen beter.
Met vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow in Public Health and Journalism
Center for Global Public Health
School of Public Health
University of California, Berkeley
**********
Zielige verdediging voor tegenstrijdige verklaringen over de drempelwaarde van het primaire resultaat voor “minimaal klinisch belangrijk verschil”.
Wat ons tweede belangrijke punt betreft, schrijven de auteurs dat de kritiek “een herhaling is van materiaal uit onze discussie waarin we probeerden de waargenomen effectgrootte in context te plaatsen”. Eigenlijk werd de kritiek ingegeven door het feit dat de referentie die de auteurs aanhalen, in tegenspraak is met hun expliciete en declaratieve claim in het methodengedeelte dat de geaccepteerde MCID voor de PROPr-score hetzelfde is als voor andere op voorkeur gebaseerde maten. Dit is de zin in kwestie: “Net als bij andere op voorkeur gebaseerde maten zoals het EuroQol 5 dimensie 5 niveau (EQ-5D-5L)-instrument, wordt een verschil van 0,03 tot 0,05 als klinisch belangrijk beschouwd.”
Deze verklaring is echter niet waar. De referentie hiervoor is een gezaghebbende “veelgestelde vragen”-pagina voor de PROPr-meting. Deze pagina bevestigt wel dat 0,03 tot 0,05 het standaard MCID-bereik is voor de categorie van op voorkeur gebaseerde metingen waartoe PROPr behoort. Maar de FAQ ondersteunt niet de bewering in het methodengedeelte dat dit bereik momenteel nog steeds van toepassing is op de PROPr-score. Er wordt duidelijk opgemerkt dat “we momenteel aanbevelen om 0,04 te gebruiken” als de MCID-drempel; bovendien wordt eraan toegevoegd dat een “conservatieve” MCID twee keer zo groot zou zijn – een verschil van 0,08. Hoewel deze aanbeveling voortkomt uit “werk in uitvoering” en niet “formeel geëvalueerd” is, zoals de FAQ uitlegt, is het niettemin de huidige aanbeveling.
Het REGAIN-team vermeldt deze zeer opvallende nuance alleen in het discussiegedeelte; het lijkt erop dat de auteurs willen gefeliciteerd worden met wat zij een lovenswaardige daad van transparantie lijken te vinden. Maar net als bij de kwestie van gepaste of ongepaste extrapolatie, zijn de auteurs en de redactie van The BMJ duidelijk van mening dat het acceptabel is om in het begin van een artikel onjuiste of op zijn minst onvolledige en misleidende uitspraken te doen, zolang de werkelijke feiten maar diep in de tekst worden vermeld. Dit is een cynische en bedrieglijke benadering van de rapportage van wetenschappelijke resultaten.
Integere onderzoekers zijn eerder bescheiden dan expansief in hun interpretaties van hun gegevens. Het zou verfrissend zijn als degenen die revalidatieprogramma’s bestuderen voor complexe ziekten zoals ME/cvs en Long Covid, hun overduidelijke enthousiasme voor het hypen van bevindingen als aanzienlijk indrukwekkender dan ze zijn, zouden beteugelen. Maar dat zal nooit gebeuren zolang redacteurs van grote tijdschriften zoals The BMJ zo bereid zijn om flagrante methodologische misstappen over het hoofd te zien en te publiceren wat in wezen propaganda is.
© David Tuller voor Virology Blog. Vertaling admin, redactie NAHdine, ME-gids.
