random
David Tuller

Hits: 359
Geplaatst
door: ME-gids
op: 28 jan 2021
Bijgewerkt: 28 jan 2021
Bron: David Tuller, DrPH, Virology Blog

Trial By Error: BMJ trekt CGT-Muziektherapiestudie in, maar…


27 oktober 2020.

Ik heb dit jaar veel berichten geschreven over een Noorse studie naar cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid na een acute EBV-infectie (ook wel mononucleose of klierkoorts/Pfeiffer genoemd). De studie stond propvol methodologische en ethische fouten en had nooit gepubliceerd mogen worden.



De onderzoekers stelden hun onderzoek voor als een haalbaarheidsstudie, met het oog op gegevensverzameling om de financiering van een studie met volledige statistische kracht te rechtvaardigen. In feite was ze ontworpen als een studie met volledige statistische kracht, maar de rekruteringsdoelstellingen werden niet gehaald en de resultaten waren barslecht. De valse omschrijving van de studie was slechts één van de vele bedenkingen die ik samen met verschillende collega's aan de kaak stelde in een brief van 31 mei aan het vakblad en aan Dr Fiona Godlee, BMJ's redactioneel directeur. (Michiel Tack, een pientere patiënt en pleitbezorger uit België had eerder al een overtuigende brief aan het vakblad geschreven, waarin hij de belangrijkste kwesties uiteenzette).

Afgelopen donderdag meldde Retraction Watch dat BMJ Paediatrics Open de eerste paper had ingetrokken en had vervangen door een nieuwe paper. Dezelfde dag ontving ik een e-mail van BMJ, waarin ze mij van dat feit op de hoogte stelden.

Dit is als oplossing niet voldoende. De nieuwe versie is nog steeds ondermaats, ook al wordt ze correct voorgesteld als een gerandomiseerde proef die uiteindelijk niet voldoende statistisch krachtig bleek. De Noorse blogger Nina Steinkopf, die deze kwestie vanaf het begin heeft gevolgd, heeft haar analyse van de nieuwe versie uiteengezet.

Ook h et intrekkingsbericht zelf is problematisch. Ten eerste beweert men transparant te zijn, maar vermeldt men niets over het spaak gelopen peerreviewproces. Ik zal hier op een ander moment meer over schrijven. Voorlopig post ik hieronder het bericht dat ik afgelopen donderdag van BMJ heb ontvangen, gevolgd door mijn reactie.

**********

Beste Dr. Tuller,

Bedankt om deze publicatie onder onze aandacht te brengen.

We hebben een interne evaluatie uitgevoerd in onze redactionele en peerreviewprocedures en we hebben een aantal gebieden ontdekt waar ons proces beter had gekund. We zijn het ermee eens dat het document voorgesteld had moeten worden als een niet voldoende krachtig gerandomiseerd gecontroleerd onderzoek in plaats van een haalbaarheidsstudie. Wij zijn het ermee eens dat de statistische evaluatie grondiger had moeten verlopen. We hebben het document ingetrokken en we hebben de auteurs uitgenodigd om hun manuscript opnieuw in te dienen, na een volledige redactionele controle en peerreview. We hebben hun onderzoek intussen opnieuw gepubliceerd.

Met vriendelijke groet,

Simone Ragavooloo
Coördinator Onderzoeksintegriteit

BMJ

**********

Beste mevrouw Ragavooloo,

Dank u voor uw late reactie. Ik ben van plan om met mijn collega's te overleggen, maar ik heb nu al een paar bedenkingen.

De BMJ-redactie heeft blijkbaar maanden geleden besloten dat de eerste versie moest worden ingetrokken. Het is dan ook verontrustend dat de paper zonder kanttekening bleef staan totdat de revisie klaar was om gepubliceerd te worden. Kunt u uitleggen waarom BMJ Paediatrics Open een nietig verklaarde paper in de literatuur heeft laten staan nadat de redactie had erkend dat ze niet gepubliceerd had mogen worden? Dat BMJ zijn lezers niet informeert dat een gelezen artikel op het punt staat om ingetrokken te worden, geeft de indruk dat het blad niet veel belang hecht aan onderzoeksintegriteit.

Ook moet worden opgemerkt dat de nieuwe versie onder andere nog steeds postexertionele malaise als resultaat bevat, ook al werd deze maatstaf niet genoemd in het protocol of het statistische analyseplan, zoals mijn collega's en ik in onze eerste brief met bedenkingen hebben aangegeven. Dit suggereert op zijn minst nog maar eens dat het peerreviewproces tekort is geschoten. (Of staat BMJ Paediatrics Open misschien toe dat onderzoekers uitkomsten toevoegen die niet werden genoemd in het protocol of het statistische analyseplan?)

Is deze nieuwe versie daadwerkelijk gepeerreviewed? Zo ja, bent u van plan om de reviews te plaatsen, in overeenstemming met het beleid van BMJ Paediatrics Open? Zo nee, waarom niet?

Zoals u weet, is het de BMJ-redactie in de eerste ronde niet opgevallen dat één van de twee recensenten toegaf dat hij "niet verder dan het abstract" had gelezen. Hoe kunnen uw lezers er, gezien dat gênante voorval, zeker van zijn dat dit geen tweede keer zal gebeuren?

Vriendelijke groet,

David

David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/11/23/trial-by-error-update-on-bmjs-cbt-music-therapy-study-h-t-steinkopf-and-tack/

Trial By Error: Update over BMJ’s CGT-Muziektherapietudie (petje af voor Steinkopf and Tack!)

David Tuller, DrPH, Virology Blog, 23 november 2020

Ik heb dit jaar meerdere berichten geschreven over een Noorse studie naar cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid na een acute EBV-infectie (ook wel mononucleose of klierkoorts/Pfeiffer genoemd). De studie, gepubliceerd in april door BMJ Paediatrics Open, stond bol van de methodologische en ethische fouten. Ze had überhaupt nooit aanvaard mogen worden voor publicatie.

Eén van de vele problemen was, dat de onderzoekers hun onderzoek voorstelden als een haalbaarheidsstudie met het oog op gegevensverzameling om de financiering van een volledig aangedreven proef te rechtvaardigen. In werkelijkheid was ze ontworpen als een studie met volledige statistische kracht, maar de rekruteringsdoelstellingen werden niet gehaald en de resultaten waren barslecht. De studie bevatte ook een uitkomstmaat - postexertionele malaise - die niet was opgenomen in de studieregistratie of het protocol. Hoe die in de studie terechtkwam, werd niet uitgelegd.


De Noorse pleitbezorger Nina Steinkopf blogde begin mei over de problemen in het onderzoek. Niet lang daarna plaatste het vakblad een reactie op de studie van een andere pleitbezorger, Michiel Tack, die ook meerdere ernstige fouten onderstreepte. Op dat moment ben ik begonnen met één van de dingen waar ik vrij goed ik ben: ervoor zorgen dat het onderwerp meer aandacht kreeg door erover te bloggen en door brieven te sturen, samen met collega's of in mijn eentje, naar de redactie van het vakblad en van BMJ.

De valse beschrijving van de studie was slechts een van de vele bedenkingen die ik samen met verschillende collega's aan de kaak stelde in een brief van 31 mei aan het vakblad en aan Dr. Fiona Godlee, BMJ's redactioneel directeur. Ik volgde dit op met verdere brieven, in een poging om het proces mee te sturen. BMJ antwoordde dat ze bezig waren met het aanpakken van de verschillende problemen, maar toch plaatsten ze in de tussentijd geen mededeling bij de problematische paper.

Op 21 oktober meldde de uitstekende blog Retraction Watch dat het tijdschrift het onderzoek had ingetrokken en had vervangen door een nieuwe versie. Deze manier van omgaan met met problematische papers heeft de laatste jaren aan populariteit gewonnen. Rond dezelfde tijd ontving ik een brief van BMJ's onderzoeksintegriteitscoördinator over deze oplossing van de zaak. Na het lezen van de vervangingspaper en het intrekkingsbericht heb ik mijn ongenoegen geuit, omdat ik vind dat BMJ verzaakt aan zijn verplichtingen. Ik heb die uitwisseling hier (cf. supra) gepost.

Het intrekkingsbericht bedankte Michiel Tack, maar gaf geen accuraat beeld van wat er misgelopen was. Volgens het tijdschrift "hebben we een fout in het redactionele proces geïdentificeerd die heeft geleid tot deze verkeerde voorstelling van het uitgevoerde onderzoek". Er werd geen verdere uitleg gegeven. Maar uit de relevante beschikbare documentatie blijkt dat deze schets van de omstandigheden in tegenspraak is met de feiten. Als er andere informatie bestaat die de versie van de feiten van BMJ Paediatric Open over een "fout" bevestigt, dan moet het tijdschrift die informatie ter beschikking stellen. Het intrekkingsbericht vermeldde niets over het PEM-probleem en andere bedenkingen die over de oorspronkelijke paper werden geuit, en ook in de vervangingspaper worden vele van de bedenkingen niet behandeld.

Nogmaals: wat BMJ beweert over de feiten, komt niet overeen met de beschikbare documentatie. De peerreviews die samen met de intussen ingetrokken versie van de paper werden gepost, lieten niets aan de verbeelding over. Eén van de recensenten erkende dat hij het document niet had doorgenomen en gaf toe dat hij "niet verder dan het abstract" had gelezen. (BMJ zei in het intrekkingsbericht niets over dit mankement in het peerreviewproces.) De andere peerreviewer vond het studieontwerp onduidelijk en stelde een eenvoudige vraag: werd dit onderzoek ontworpen als een haalbaarheidsstudie of als een studie met volledige statistische kracht? De peerreviewer vroeg aan de onderzoekers om dit te verduidelijken.

De onderzoekers konden hier maar twee dingen op antwoorden. Eén van de twee mogelijke antwoorden was het juiste antwoord, het andere het foute. Het ene antwoord was waar en het andere niet. Gelet op de feiten is de verwijzing in het intrekkingsbericht naar een "fout" van de redactie raadselachtig en absurd. Een fout? Deze studie was ontworpen als een studie met volledige statistische kracht, en bleek die kracht uiteindelijk ondermaats. In plaats van dat uit te leggen, kozen de onderzoekers ervoor om op de vraag van de peerreviewer te antwoorden door het tegenovergestelde te verklaren, nl. dat de studie was ontworpen als een haalbaarheidsstudie.

Wat was dan die redactionele "fout"? Heeft een BMJ-redacteur de onderzoekers geadviseerd om te doen alsof hun ondermaats uitgevallen studie een haalbaarheidsstudie was, terwijl dat niet het geval was? In dat geval moet BMJ dat openbaar maken. Nu klinkt het vage intrekkingsbericht eerder als een poging om slecht gedrag van de onderzoekers te verbloemen. Deze stiekeme strategie zorgt er zeker voor dat BMJ Paediatrics Open makkelijker kan voorkomen dat ze de onderzoekers onder druk moeten zetten om uitleg of rechtvaardiging te geven voor de overduidelijk foute voorstelling van hun werk, iets dat ongetwijfeld voldoet aan de basisdefinitie van wetenschappelijk wangedrag.

De nieuwe versie van de paper van de onderzoekers is nog steeds rotslecht en er zijn nog steeds meerdere dingen niet pluis, net als in de eerste versie. Maar in ieder geval doet de nieuwe versie zich niet voor als haalbaarheidsstudie. Nochtans weigert BMJ Paediatrics Open om de peerreviews voor deze vervangingsversie te posten, terwijl dat in schending is met hun eigen beleidsverklaring. In de brief (zie hieronder) die ik onlangs van hen ontving, zeggen ze zelfs dat de lezers "zeker mogen zijn" van de robuustheid van hun peerreviewproces.

**********

De laatste nieuwe brief van BMJ's onderzoeksintegriteitscoördinator

Zoals hierboven al vermeldde, heb ik met enig ongenoegen gereageerd op de eerste brief van BMJ, waarin ik op de hoogte werd gesteld van de intrekking en vervanging. Hieronder staat de volgende (en ik veronderstel de laatste) brief over deze zaak van de onderzoeksintegriteitscoördinator, die ik ontving op 12 november.

Beste Dr. Tuller,

Bedankt voor uw e-mail.

Zoals u wellicht weet, is er onenigheid onder uitgevers over het tijdstip waarop uitingen van bezorgdheid moeten worden gepubliceerd. De aanpak van het intrekken en vervangen wordt aanbevolen in de COPE-intrekkingsrichtlijnen en in dit geval leek het ons best om deze gelijktijdig uit te voeren. We zagen geen urgent probleem omtrent de veiligheid van de patiënt waardoor de paper onmiddellijk zou moeten worden ingetrokken.

De hoofdredacteur, Imti Choonara, zou van u graag een korte e-reactie op het artikel ontvangen, waarin u uw standpunt duidelijk maakt over de uitkomst "postexertionele malaise" en wij zullen de auteurs vragen om te reageren. We hebben ons ervan vergewist dat hier geen sprake is van wetenschappelijk wangedrag.

Uit onze vorige reactie aan u weet u, dat deze nieuwe inzending een volledige redactionele controle en peerreview heeft ondergaan. We gaan de peerreviews niet bij dit artikel plaatsen. Het peerreviewproces is gebaseerd op vertrouwen en de lezers mogen er zeker van zijn dat we geleerd hebben uit onze eerdere fouten en dat onze procedures nu robuuster zijn.

Wij beschouwen deze zaak hiermee als afgesloten en zullen geen verdere correspondentie meer voeren over het redactionele proces. Mocht u echter in het vakblad willen reageren op de uitkomst "postexertionele malaise", dan mag u dat gerust doen.

Met vriendelijke groet,

Simone Ragavooloo

Onderzoeksintegriteitsteam BMJ

Namens Fiona Godlee, Redactioneel Directeur

Vanuit mijn perspectief is BMJ's gedrag in deze zaak alles behalve wetenschappelijk integer. Wanneer ik de tijd vind om haar terug te schrijven, zal ik dit aan de onderzoeksintegriteitscoördinator duidelijk maken, evenals aan de hoofdredacteur van BMJ Paediatrics Open en aan Dr. Godlee, BMJ's redactioneel directeur.

********

Steinkopf en Tack reageren op "intrekken en vervangen".

Inmiddels hebben zowel Nina Steinkopf als Michiel Tack reacties ingediend op de nieuwe publicatie in BMJ Paediatrics Open. Geen van beide reacties is tot op heden geplaatst, om onbekende redenen. Steinkopf heeft hier geblogd over de situatie. "Helaas blijven in de vervangingsversie van de paper de meeste van de aangekaarte problemen onopgelost", schrijft ze.

Met de toestemming van Tack post ik hieronder de opmerking die hij heeft ingediend bij het vakblad in reactie op de nieuwe paper. Vergeet niet dat het vakblad hem in het intrekkingsbericht bedankte voor het onder de aandacht brengen van deze belangrijke kwesties.

***

Dit is een heringediende versie van een ingetrokken paper en veel problemen blijven onopgelost.

Ongerijmdheden in het intrekkingsbericht

Het is jammer dat de website van BMJ Paediatrics Open niet duidelijk maakt dat dit een gewijzigde, heruitgegeven versie is van een paper waarover meerdere methodologische kwesties aan de orde zijn gesteld [1] en die uiteindelijk is ingetrokken [2]. De publicatiegeschiedenis vermeldt bijvoorbeeld niet de ingetrokken versie. Pas helemaal aan het einde van het artikel onder "Oorsprong en peerreview" wordt een link gelegd naar de vorige versie. Ik vermoed dat weinig lezers dit zullen merken. Hopelijk zal BMJ Paediatrics Open bovenaan de pagina een duidelijker zichtbare melding plaatsen, bijvoorbeeld de melding die boven het intrekkingsbericht werd geplaatst [3].

Omdat dit een nieuwe publicatie is die een eigen DOI-nummer heeft gekregen, is de kritiek op de ingetrokken paper [1, 4] niet meer zichtbaar. Dit is jammer, want, zoals ik in dit commentaar zal proberen te verduidelijken, lost deze heruitgegeven versie vele van de aangehaalde problemen niet op.

In het intrekkingsbericht legt BMJ Paediatrics Open uit dat de ingetrokken paper verkeerd werd voorgesteld als een haalbaarheidsstudie, als gevolg van een fout in het redactionele proces en dat dit niet te wijten is aan een fout van de auteurs. Zoals ik hieronder zal uitleggen, is dit een twijfelachtige verklaring gezien de informatie die op dit moment beschikbaar is. Uit de recensiegeschiedenis blijkt dat één van de recensenten het verwarrend vond hoe de auteurs hun resultaten oorspronkelijk presenteerden. Zij verklaarde: "Uit de doelstellingen van de studie en de manier waarop de studie is omschreven, wordt me niet helemaal duidelijk of dit nu bedoeld was als een haalbaarheidsstudie, nl. om te kijken naar de haalbaarheid (is dit uitvoerbaar?), aanvaardbaarheid (hoe ervaren patiënten het?) en om een eerste idee te geven van de mogelijke effectgrootte, ter staving van een toekomstige grotere studie, óf dat dit bedoeld was als een volledige studie. Ik denk dat dit algemeen duidelijk moet worden gemaakt aan de lezer, en dat interpretaties/conclusies in overeenstemming moeten zijn met de vooropgestelde doelstellingen."

Hierop hebben de auteurs gereageerd: "Dank u. Wij zijn het hiermee eens - deze studie moet beschouwd worden [als] een haalbaarheidsstudie, en het manuscript is dienovereenkomstig geherformuleerd." Dus het lijkt erop dat de auteurs expliciet hebben gezegd dat deze studie als een haalbaarheidsstudie moet worden beschouwd, terwijl dat niet het geval was. Deze informatie is in strijd met het bericht van de redactie dat de auteurs geen fout hadden gemaakt. Ik denk dat er meer informatie moet worden gedeeld om deze tegenstrijdigheid op te helderen.

Het is jammer dat de peerreviewgeschiedenis van deze heruitgegeven versie niet openbaar is gemaakt. Op de website beweert BMJ Paediatrics Open zelf dat het zich inzet voor een open peerreview en stelt het volgende: "Als onderdeel van deze verbintenis maken wij de peerreviewgeschiedenis van elk artikel dat wij publiceren openbaar". Het is onduidelijk waarom de peerreview van deze heruitgegeven versie een uitzondering lijkt te maken op deze verbintenis. In de peerreview van de ingetrokken versie gaf een recensent toe dat hij niet verder had gelezen dan het abstract. Gezien de problemen rond dit werk lijkt het bijzonder belangrijk dat de lezers het reviewproces kunnen lezen en de beslissingen van het vakblad en de auteurs kunnen begrijpen.

De paper legt niet uit dat het onderzoek bedoeld was om een grote effectgrootte te testen.

Een opmerkelijk aspect van deze studie is, dat het aantal deelnemers dat de auteurs probeerden te rekruteren (n = 60) veel lager lag dan het aantal dat volgens de krachtanalyse nodig was om een verschil van matige effectgrootte te detecteren (n = 120). Met andere woorden, het gebrek aan kracht was niet alleen te wijten aan rekruteringsproblemen of uitvallers; het lag ook aan het ontwerp van het onderzoek.

Uit het statistische analyseplan [5] blijkt dat de studie in staat was om een grote effectgrootte te testen, namelijk 0,8 keer de geschatte standaardafwijking van de primaire uitkomstmaten (ongeveer 2000 stappen per dag). De auteurs rechtvaardigden dit door te zeggen dat, aangezien "van CGT alleen aangetoond is dat het een matige effectgrootte heeft bij CVS/ME, enkel een substantiële effectgrootte van direct klinisch belang is. Analoog hieraan is enkel een beduidend behandelingseffect interessant, als het gaat om de markers van de pathofysiologie". In het protocol stellen zij ook dat "de FITNET-studie suggereert dat er grotere behandelingseffecten kunnen worden verondersteld bij adolescente CVS/ME-patiënten in vergelijking met volwassenen". [6]

Niets in deze heruitgegeven versie van het manuscript wijst er echter op dat de auteurs een grote effectgrootte hadden verwacht en dat de studie op deze hypothese was afgestemd. Het feit dat de auteurs ermee instemden om deze studie voor te stellen als een haalbaarheidsstudie (terwijl dit duidelijk niet het geval was), doet vermoeden dat ze bereid waren om te negeren dat de interventie niet de verwachte effectgrootte opleverde. Ook al vermijdt de heruitgegeven versie de term 'haalbaarheidsstudie', het probleem blijft hetzelfde.

Er zijn amper gegevens die de conclusie ondersteunen dat de interventie "haalbaar en aanvaardbaar" is.

Aangezien de interventie niet de effectgrootte had die in de statistische analyse en het protocol werden vooropgesteld, richtte het ingetrokken document zich op andere aspecten dan de doeltreffendheid van de interventie, zoals de haalbaarheid en de aanvaardbaarheid. Hetzelfde geldt voor deze heruitgegeven versie die benadrukt dat "CGT in combinatie met muziektherapie haalbaar en aanvaardbaar is bij postinfectieuze CV bij adolescenten".

De gegevens ondersteunen deze conclusie niet. Meer dan de helft van de in aanmerking komende personen (n=48) stemde niet in met deelname. Van degenen die met het programma begonnen, vielen er 6 van de 21 of 28% uit, tegenover slechts 4,5% in de controlegroep. De bewering dat de interventie acceptabel is, lijkt enkel gebaseerd te zijn op de trouwe deelname van 15 patiënten die wel zijn gestart en zijn gebleven in de interventiearm van het onderzoek.

De auteurs wijzen ook op een gebrek aan statistisch significante verschillen in bijwerkingen tussen de interventie- en de controlegroep. Maar aangezien het onderzoek "veel te weinig statistische kracht" had om de effectiviteit van de interventie te testen, kan dezelfde redenering ook gelden voor ongewenste voorvallen.

Ook moet worden opgemerkt dat in de studieregistratie [7] ongeveer 20 verschillende uitkomstmaten voor deze proef worden vermeld, en met uitzondering van de bijwerkingen was geen van deze maatstaven gericht op de aanvaardbaarheid van de interventie. De hoofdconclusie van de heruitgegeven versie van dit document blijft dan ook ongerechtvaardigd.

De uitkomstmaat voor postexertionele malaise werd post-hoc toegevoegd.

In het discussiegedeelte stellen de auteurs: "We zagen een gelijktijdige tendens tot verbetering van vele symptoomscores, waaronder vermoeidheid en postexertionele malaise, in de interventiegroep." De auteurs vermelden niet dat voor dit onderzoek ongeveer 20 uitkomstmaten zijn geregistreerd, maar dat de uitkomst 'postexertionele malaise' post-hoc werd toegevoegd: ze staat niet als uitkomst vermeld in het protocol (1), het statistische analyseplan (2), of de studieregistratie (3).

De neigingen tot verbetering waren allemaal vrij klein. Het grootste verschil dat werd gevonden was voor de primaire uitkomstmaat, waarbij de patiënten in de interventiegroep het slechter deden dan die in de controlegroep. Patiënten in de interventiegroep hadden een gemiddelde van 6198 stappen per dag na de behandeling, 2059 stappen minder dan de controlegroep. In de tekst van de paper wordt niet vermeld dat dit verschil statistische significantie haalde in de analyse volgens protocol.

De gerapporteerde herstelpercentages dreigen lezers te misleiden

In plaats daarvan wordt in het resultaatgedeelte een trend richting een hoger herstelpercentage in de interventiegroep belicht. De auteurs definieerden herstel als een score lager dan 4 punten op de Vermoeidheidsschaal van Chalder met behulp van een tweeledige scoremethode (bereik 0-11 punten). Een score van 4 of hoger op de Vermoeidheidsschaal van Chalder werd echter al gebruikt als deelnamecriterium. Dit betekent dat deelnemers konden worden ingedeeld als hersteld door rapportage van een verbetering van slechts 1 punt op de Vermoeidheidsschaal van Chalder.

Ook moet worden opgemerkt dat de Vermoeidheidsschaal van Chalder de intensiteit of impact van de vermoeidheid niet beoordeelt. In plaats daarvan beoordeelt de schaal of deelnemers last hebben van vermoeidheidsverschijnselen, zoals "problemen met het starten van activiteiten" of het "het juiste woord moeilijker vinden" dan gewoonlijk. Daarom lijkt het ongepast om de term "herstelpercentage" te gebruiken voor het percentage deelnemers dat lager scoort dan de drempel van 4 punten op de Vermoeidheidsschaal van Chalder. Na de behandeling was er geen verschil tussen de interventie- en de controlegroep in het percentage aan patiënten dat deze 4-puntendrempel haalde.

Verder rapporteerde men de behandelingsintentieanalyse volgens de ordinale score (bereik 0-33) op de Vermoeidheidsschaal van Chalder, en hieruit bleek weinig verschil tussen de twee groepen. Een plausibele verklaring voor wat de auteurs omschrijven als "een trend richting een hoger herstelpercentage in de interventiegroep" is het hoge uitvalpercentage. Bij de opvolging telde de interventiegroep slechts 13 patiënten. In de analyse van de herstelpercentages die door de auteurs worden vermeld, wordt geen rekening gehouden met de 8 personen die zich in de interventiegroep bevonden, maar verloren zijn gegaan bij opvolging. Er is geen goede reden om te veronderstellen dat er in de interventiegroep meer patiënten hersteld zouden zijn dan in de controlegroep. Het is jammer dat de auteurs deze term in hun manuscript hebben gebruikt.

Referenties

[1] Tuller D. Trial By Error: More on that Norwegian CBT/Music Therapy Study. Virology Blog. May 16, 2020. https://www.virology.ws/2020/05/16/trial-by-error-more-on-that-norwegian-cbt-music-therapy-study/

[2] Marcus A. BMJ journal retracts, replaces study on chronic fatigue in children. Retraction Watch. October 21, 2020. https://retractionwatch.com/2020/10…odBA9xf5vDnNPlIWayQ6mwr5JOVhslbloUjiRFmHwkL-k

[3] BMJ Paediatrics Open. Retraction: Cognitive–behavioural therapy combined with music therapy for chronic fatigue following Epstein-Barr virus infection in adolescents: a feasibility study. http://dx.doi.org/10.1136/bmjpo-2019-000620ret

[4] Tack M. Inaccuracy in reporting CEBA part II. BMJ Paediatrics Open. https://bmjpaedsopen.bmj.com/content/4/1/e000620.responses

[5] Statistical analysis plan – CEBA part 2. https://bmjpaedsopen.bmj.com/conten…/bmjpo-2020-000797supp002_data_supplement.pdf

[6] Akershus University Hospital. Research Protocol – processing. Mental training for chronic fatigue syndrome (CFS/ME) following EBV infection in adolescents: a randomised controlled trial. Available from: https://www.ahus.no/seksjon/forskning/Documents/Forskningsgrupper/Barne- og ungdomsklinikken/Paedia/Forskningsprotokoll – behandling.pdf

[7] ClinicalTrials.gov Identifier: NCT02499302. Available from: https://clinicaltrials.gov/ct2/show/NCT02499302

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/11/25/trial-by-error-my-letter-to-bmj-paediatrics-open-about-the-cbt-music-therapy-study/

Trial By Error: Mijn brief aan BMJ Paediatrics Open over de CGT-Muziektherapiestudie

David Tuller, DrPH, Virology Blog, 25 november 2020

Op 12 november ontving ik de laatste brief van BMJ's zogenaamde onderzoeksintegriteitsbureau over het mogelijk geval van wetenschappelijk wangedrag, beter bekend als de pediatrische studie over cognitieve gedragstherapie en muziektherapie als behandeling voor chronische vermoeidheid na acute EBV. Deze studie werd in april gepubliceerd door BMJ Paediatrics Open en kwam meteen (o.a. van mijn kant) onder scherpe en terechte kritiek te staan.

Eerder deze week postte ik de brief die ik van het onderzoeksintegriteitsbureau heb ontvangen. Ik post hem hieronder opnieuw, samen met mijn reactie. Natuurlijk ligt mijn probleem niet bij de onderzoeksintegriteitscoördinator. Ze doet gewoon haar werk, vermoedelijk in opdracht van iemand van hogerop bij BMJ. De schuld voor dit fiasco ligt dubbel en dik bij de mensen aan de top, die liever vaag blijven dan transparant te zijn in hun aanpak van methodologische en ethische fouten in papers die onder de BMJ-paraplu worden gepubliceerd. Dat is tenminste mijn ervaring.

**********

BMJ Pediatrics Open's meest recente brief aan mij

Beste Dr. Tuller

Bedankt voor uw e-mail.

Zoals u wellicht weet, is er onenigheid onder uitgevers over het tijdstip waarop uitingen van bezorgdheid moeten worden gepubliceerd. De aanpak van het intrekken en vervangen wordt aanbevolen in de COPE-intrekkingsrichtlijnen en in dit geval leek het ons best om deze gelijktijdig uit te voeren. We zagen geen urgent probleem omtrent de veiligheid van de patiënt waardoor de paper onmiddellijk zou moeten worden ingetrokken.

De hoofdredacteur, Imti Choonara, zou van u graag een korte e-reactie op het artikel ontvangen, waarin u uw standpunt duidelijk maakt over de uitkomst "postexertionele malaise" en wij zullen de auteurs vragen om te reageren. We hebben ons ervan vergewist dat hier geen sprake is van wetenschappelijk wangedrag.

Uit onze vorige reactie aan u weet u, dat deze nieuwe inzending een volledige redactionele controle en peerreview heeft ondergaan. We gaan de peerreviews niet bij dit artikel plaatsen. Het peerreviewproces is gebaseerd op vertrouwen en de lezers mogen er zeker van zijn dat we geleerd hebben uit onze eerdere fouten en dat onze procedures nu robuuster zijn.

Wij beschouwen deze zaak nu als afgesloten en zullen geen verdere correspondentie meer voeren over het redactionele proces. Mocht u echter in het vakblad willen reageren op de uitkomst "postexertionele malaise", dan mag u dat gerust doen.

Met vriendelijke groet,

Simone Ragavooloo

Onderzoeksintegriteitsteam BMJ

Namens Fiona Godlee, Redactioneel Directeur

**********

Mijn antwoord op BMJ

Beste mevrouw Ragavooloo,

De manier waarop BMJ Paediatics Open deze studie over cognitieve gedragstherapie en muziektherapie voor chronische vermoeidheid na acute EBV aanpakt, blijft verontrustend genoeg om verder commentaar te geven.

Zoals u opmerkt, heeft BMJ Paediatrics Open gekozen voor de aanpak van "intrekken en vervangen". Het vervangingsdocument bevat vele van de fouten van de ingetrokken versie, maar ik zal me op twee kwesties concentreren: de aanwezigheid van de uitkomstmaat postexertionele malaise (PEM) in de ingetrokken en de vervangende documenten, en het verhaal dat in het intrekkingsbericht wordt opgehangen over waarom de onderzoekers hun studie met volledige statistische kracht verkeerd voorstelden door ze in de ingetrokken paper te omschrijven als een haalbaarheidsstudie.

Eén van de vele bedenkingen die aanvankelijk werden geuit over de ingetrokken paper was, dat PEM niet vooropgesteld stond als uitkomstmaat in de studieregistratie of het protocol. Dat betekent dat er in de ingetrokken paper geen legitieme reden was om PEM op te nemen als uitkomstmaat, en er net zo goed geen legitieme reden is om het op te nemen in de vervangingspaper. Het opnemen van uitkomstmaten die niet werden vermeld in de registratie of het protocol van een studie, is een schending van de wetenschappelijk basisbeginselen en wordt door BMJ's eigen strenge normen verboden.

De juiste oplossing zou zijn om het vervangingsdocument te corrigeren door de foute uitkomstmaat te verwijderen, met daarbij misschien ook een verklaring waarom het redactionele proces van BMJ Paediatric Open nu al twee keer heeft gefaald om deze specifieke fout te verbeteren. In uw meest recente brief stelt u voor dat de juiste oplossing is dat BMJ Paediatrics Open een briefwisseling publiceert tussen de onderzoekers en mij, in plaats van het probleem aan te pakken. Deze voorgestelde oplossing is in deze omstandigheden ontoereikend en is onvoldoende als bescherming van de medische literatuur. De suggestie geeft ook aan dat BMJ Paediatrics Open weigerachtig staat tegenover het glasheldere beleid inzake selectieve resultaatrapportage van BMJ zelf. Ik zal daarom niet ingaan op uw uitnodiging tot indiening van een brief voor publicatie bij BMJ Paediatrics Open.

Met betrekking tot het intrekkingsbericht werd slechts in één kwestie orde op zaken gesteld, namelijk dat de onderzoekers het onderzoek presenteerden als een haalbaarheidsstudie, terwijl het in feite was ontworpen als een volledige klinische studie. In het bericht zegt BMJ Paediatrics Open dat de verantwoordelijkheid voor deze verkeerde voorstelling van zaken niet bij de onderzoekers ligt. (Het is onduidelijk waarom het intrekkingsbericht niets zei over de PEM-uitkomstmaat en andere problemen in de ingetrokken paper, en de vervangingspaper ook geen aandacht schenkt aan vele kwesties.)

Het intrekkingsbericht vermeldde het volgende: "We identificeerden een fout in het redactionele proces die leidde tot deze verkeerde voorstelling van het onderzoek dat werd uitgevoerd. Helaas gebeuren er soms redactionele beoordelingsfouten. Wij willen onze fout op transparante wijze erkennen". Er werd geen verdere uitleg of detail gegeven over deze "fout". Het is oneerlijk en gewoon onzinnig dat BMJ Paediatrics Open zichzelf "transparant" noemt omdat het een fout erkent, terwijl het niet transparant is over wat de fout was en hoe ze tot stand kwam.

Bovendien blijkt duidelijk uit de relevante beschikbare documentatie dat het intrekkingsbericht de zaken niet juist voorstelt. Als BMJ Paediatrics Open informatie heeft die documenteert dat een redactionele "fout" kan verklaren waarom de onderzoekers er zélf voor kozen om hun onderzoek verkeerd voor te stellen, dan zou het tijdschrift die informatie zeker bekend moeten maken.

Volgens de richtlijnen van BMJ Paediatrics Open worden de peerreviews naast de papers zelf gepost. De peerreviews die bij de ingetrokken paper stonden gepost, waren meer dan duidelijk. Eén van de recensenten erkende dat hij "niet verder dan het abstract" had gelezen. ( BMJ Paediatrics Open besloot om in het intrekkingsbericht niets te zeggen over dit mankement tijdens het peerreviewproces, wat aangeeft dat er grenzen zijn aan hun zogenaamde verbintenis tot transparantie.) De andere recensent uitte verwarring over het studieontwerp en stelde een eenvoudige vraag: werd dit onderzoek ontworpen als een haalbaarheidsstudie of als een volledige studie?

De onderzoekers konden hier maar twee dingen op antwoorden. Eén van de twee mogelijke antwoorden was het juiste antwoord, het andere het foute. Het ene antwoord was waar en het andere niet. Zoals we weten, hadden de onderzoekers dit onderzoek ontworpen als een studie met volledige statistische kracht. Toch reageerden ze op de vraag om opheldering door hun onderzoek fout en ten onrechte voor te stellen als een haalbaarheidsstudie.

Het is mij dan ook een raadsel waarom het intrekkingsbericht de verkeerde voorstelling van zaken toeschreef aan een "fout in het redactionele proces". Wat was die redactionele "fout" die de onderzoekers ertoe dreef om te doen alsof ze een haalbaarheidsstudie hadden uitgevoerd terwijl dat niet klopte? Heeft een BMJ-redacteur tijdens de ontwerprevisiefase de onderzoekers geadviseerd of gedwongen om hun onderzoek op een oneerlijke manier te omschrijven? Als dat het geval is, dan moeten de lezers daarvan zeker op de hoogte worden gebracht. Zo niet, dan moeten de onderzoekers misschien eens uitleggen waarom ze onder valse voorwendselen hun volledige onderzoek degradeerden tot niet meer dan een haalbaarheidsstudie.

Kortom, het ondoorzichtige intrekkingsbericht van BMJ Paediatrics Open is er niet in geslaagd om vele van de bedenkingen op te klaren. Bovendien negeert het vakblad zijn eigen richtlijnen door de peerreviews voor het vervangingsdocument niet openbaar te maken. In antwoord op mijn vraag over dit punt bevestigt uw brief dat dit afwijkt van de gangbare praktijk, maar er wordt geen rechtvaardiging voor geboden. Dat geeft niet het gevoel dat de redactie van BMJ Paediatrics Open de doorlichting van deze studie op een integere manier heeft uitgevoerd, en zeker omdat het niet de eerste keer is dit gebeurt.

Uw brief merkt tot slot op dat "de lezers er zeker van mogen zijn dat we geleerd hebben uit onze eerdere fouten en dat onze procedures nu robuuster zijn". Helaas is het moeilijk te geloven dat de lezers er "zeker" van mogen zijn. Niets in heel dit fiasco wijst erop dat BMJ en BMJ Paediatrics Open iets geleerd hebben uit hun fouten of dat de redactionele procedures nu "robuuster" zijn. Integendeel.

Vriendelijke groet,

David

David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


Lees ook


| |

Nog geen reacties geplaatst

Alleen ingelogde gebruikers kunnen een reactie plaatsen. Registreren of inloggen.