Bron:

| 4479 x gelezen

Trial By Error: mijn brief aan senior auteur van Noorse CGT/Muziektherapiestudie

David Tuller, DrPH, Virology Blog, 22 mei 2020

In de voorbije week heb ik drie posts geschreven over een Noorse studie van cognitieve gedragstherapie plus muziektherapie voor adolescenten met chronische vermoeidheid na acute infectie met Epstein-Barrvirus – een ziekte die bekend is als Pfeiffer in Nederland, en als klierkoorts in België. De corresponderende auteur van de studie is Vegard Bruun Wyller, een professor aan het Instituut voor Klinische Geneeskunde van de Universiteit van Oslo.

Professor Wyller is ook betrokken bij een geplande Noorse studie over het Lightning Process, dat tot heel wat controverse en misleidende verslaggeving heeft geleid in Dagbladet, een veelgelezen krant. Op donderdag stuurde ik een brief naar Professor Wyller, om hem uit te nodigen om op Virology Blog te reageren op mijn bedenkingen. De eerste brief vind je hieronder.

Ik stuurde ook een brief aan Dagbladet, waarin ik o.a. opmerkte dat de journalist vergat te vermelden wat mijn functie en academische referenties zijn aan Berkeley. Ik zal de krant wat tijd geven om de brief te publiceren, voordat ik hem zelf post.

**********

Geachte Professor Wyller,

Ik ben een onderzoeksjournalist en een academische fellow aan de School of Public Health aan University of California in Berkeley. Ik schrijf regelmatig over onderzoek uit het veld van cvs, ME en andere zogenaamde somatisch onverklaarde lichamelijke klachten. Een groot deel van mijn werk verschijnt op Virology Blog, een wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)

Ik heb intussen drie posts geschreven voor Virology Blog, waarin ik me kritisch uitlaat over een onlangs gepubliceerde studie over cognitieve gedragstherapie in combinatie met muziektherapie, als behandeling voor adolescenten met chronische vermoeidheid na acute infectie met Epstein-Barrvirus. Aangezien u de corresponderende auteur bent, wilde ik u de kans bieden om te reageren op mijn bedenkingen. Als u mij uw commentaar stuurt, van eender welke lengte, zal ik hem in zijn volledigheid posten op Virology Blog, zonder redactionele onderbrekingen. (Ik zou wellicht reageren op uw commentaar, maar dan in een volledig aparte post.)

De drie posts op Virology Blog over de studie staan hier, hier en hier.

Zoals ik al vermeldde, zal ik eender wat posten dat u me wil sturen. Maar ik ben vooral geïnteresseerd in een antwoord op volgende vragen:

  1. Waarom beschreef de paper het onderzoek als een haalbaarheidsstudie, zonder daarbij te vermelden dat ze gestart was als een kleine, maar volledige gerandomiseerde studie?
  2. Waarom werd in de conclusies in het abstract en in de volledige tekst niets gezegd over de slechte resultaten voor de primaire uitkomst?
  3. Waarom werd PEM voorgesteld als uitkomst, hoewel het niet vermeld stond in het protocol, de registratie of het statistisch analyseplan?
  4. Waarom werd de uitkomst van “herstel” niet vermeld in de registratie en het statistisch analyseplan?
  5. Hoe kan het dat deelnemers die het slechter deden op de objectieve primaire uitkomst, toch beschouwd werden als “hersteld” in de studie, op basis van resultaten voor een subjectieve secundaire uitkomst?
  6. Er was sprake van grote uitval in de interventiegroep; waarom benadrukte de paper dan voor “herstel” de analyse volgens het protocol, maar voor andere uitkomsten de analyse volgens behandelingsintentie?
  7. Vond u het niet zorgwekkend dat één van de reviewers enkel het abstract had gelezen, en vond u het niet vreemd dat de redacteurs ervoor kozen om geen review van de paper zelf in de plaats te vragen?
  8. Weet u of de redacteurs en/of peerreviewers het studieprotocol, de registratie en het statistisch analyseplan nagekeken hebben?

Hartelijk dank, Professor Wyller. Ik kijk uit naar uw reactie.

Vriendelijke groet,

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/05/28/trial-by-error-my-letter-to-peer-reviewer-of-bmjs-cbt-music-therapy-paper/

Trial By Error: mijn brief aan peerreviewer CGT/Muziektherapiepaper van BMJ

David Tuller, DrPH, Virology Blog, 28 mei 2020

Onlangs schreef ik enkele posts (hier, hier en hier) over een studie in BMJ Paediatrics Open die wordt geplaagd door meerdere methodologische en ethische problemen. Dit is zeker niet de eerste keer dat dit gebeurt in een BMJ-vakblad. Vorige week stuurde ik een brief naar de senior auteur van de studie, om hem te vragen of hij wilde reageren, zodat ik zijn reactie op Virology Blog kon posten. Ik heb nog niets van hem gehoord.

BMJ Paediatrics Open werkt met open (d.w.z. niet-anonieme) peerreview. Ik wil nog steeds proberen te snappen hoe een volledige gerandomiseerde studie die zwakker uitviel dan verwacht, gepubliceerd werd alsof ze van meet af aan bedoeld was als haalbaarheidsstudie, uitgevoerd om staving te vinden voor een volledige gerandomiseerde studie. Ik heb volgende brief verstuurd naar één van de twee peerreviewers die de paper effectief heeft gelezen. (Eén van hen proclameerde botweg dat hij “niet verder dan het abstract” had gelezen.)

Dr. Maria Loades is docent aan het departement psychologie van de University of Bath. Ik stuurde haar deze ochtend volgende brief: (Hoewel ik schreef dat ik Professor Racaniello in CC had gezet, was ik dat uiteindelijk vergeten, dus ik heb deze brief achteraf naar hem doorgestuurd. Gewoon voor alle duidelijkheid.)

**********

Geachte Dr. Loades,

Ik ben journalist en academische fellow aan de School of Public Health aan University of California in Berkeley. Ik schrijf regelmatig over onderzoek uit het veld van cvs, ME en andere zogenaamde somatisch onverklaarde lichamelijke klachten. Een groot deel van mijn werk verschijnt op Virology Blog, een wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)

Deze maand plaatste ik op Virology Blog drie posts, waarin ik me vragen stelde bij een studie die onlangs werd gepubliceerd door BMJ Paediatrics Open, met als titel “Cognitieve gedragstherapie in combinatie met muziektherapie voor chronisch vermoeidheidssyndroom na infectie met Epstein-Barrvirus bij adolescenten: een haalbaarheidsstudie”. De drie posts op Virology Blog vindt u hier, hier en hier.

In december jl. deed u de peerreview van een kladversie van deze studie, binnen de open peerreviewprocedure van het vakblad. Op dat moment verwees de titel naar de studie als “een verkennende gerandomiseerde studie”. Hoewel u de paper in het algemeen goede commentaar gaf, zei u wel dat de oorspronkelijke doelstelling van de onderzoekers u niet helemaal duidelijk was. Dit is wat u schreef:

“Uit de doelstellingen van de studie en de manier waarop de studie is omschreven, wordt me niet helemaal duidelijk of dit nu bedoeld was als een haalbaarheidsstudie, nl. om te kijken naar de haalbaarheid (is dit uitvoerbaar?), aanvaardbaarheid (hoe ervaren patiënten het?) en om een eerste idee te geven van de mogelijke effectgrootte, ter staving van een toekomstige grotere studie, óf dat dit bedoeld was als een volledige studie. Ik denk dat dit algemeen duidelijk moet worden gemaakt aan de lezer, en dat interpretaties/conclusies in overeenstemming moeten zijn met de vooropgestelde doelstellingen.”

In reactie schreven de onderzoekers het volgende: “Dank u. Wij zijn het hiermee eens – deze studie moet beschouwd worden [als] een haalbaarheidsstudie, en het manuscript is dienovereenkomstig geherformuleerd.”

En dit is hoe de gepubliceerde paper de doelstelling omschreef: “De doelstelling van deze studie was om de haalbaarheid te onderzoeken van dit mentale trainingsprogramma bij adolescenten die lijden aan cv na acute EBV-infectie, en om preliminaire effectinschattingen te maken, als basis voor een volledige studie in de toekomst.”

Dr. Loades, ik begrijp dat u in de war was na uw lezing van de eerste kladversie van de paper. Ik begrijp ook dat u om opheldering vroeg over de doelstelling van het onderzoek. Maar in plaats van de zaken op te helderen, geeft de gepubliceerde versie een verslag dat aanzienlijk afwijkt van de belangrijkste studiedocumenten.

Zoals duidelijk wordt uit een lezing van het studieprotocol, de registratie en het statistisch analyseplan, werd het onderzoek ontworpen als kleine, maar volledige studie – en dus niet als haalbaarheidsstudie, zoals wordt beweerd in de gepubliceerde paper. Jammer genoeg voor de onderzoekers viel de rekrutering flink tegen, en was er een hoge uitval in de groep die CGT en muziektherapie kreeg, en ook de resultaten waren teleurstellend.

Maar de versie die gepubliceerd werd door BMJ Paediatrics Open, omschrijft de studie niet als een volledige studie die de verhoopte resultaten niet had gehaald. Hoewel u de onderzoekers de suggestie gaf dat hun interpretatie en conclusies “in overeenstemming moeten zijn met de vooropgestelde doelstellingen”, ziet het ernaar uit dat zij hun interpretatie en conclusies hebben opgesteld in overeenstemming met hoe ze die doelstelling achteraf hebben bijgesteld.

Dr. Loades, wist u dat de gepubliceerde versie zo aanzienlijk afweek van het studieprotocol, de registratie en het statistisch analyseplan? Vindt u het niet vreemd dat de onderzoekers op uw commentaren antwoordden door te zeggen hoe de studie “beschouwd moet worden” eens ze klaar was, in plaats van hoe ze oorspronkelijk ontworpen was? Indien u de gereviseerde versie hebt gereviewd en goedgekeurd, staat u dan nu nog steeds achter die goedkeuring?

Ik stuurde vorige week een brief naar de corresponderende auteur, met de vraag of hij deze onregelmatigheid kon uitleggen, naast enkele andere verbluffende aspecten van dit onderzoek. Hij heeft hier nog niet op gereageerd.

Ik kijk uit naar uw reactie. Voor alle duidelijkheid: ik ben van plan om deze brief te posten op Virology Blog.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/05/28/trial-by-error-tacks-take-on-bmjs-cbt-music-therapy-feasibility-study/

Trial by Error: commentaar van Tack de Krak op BMJ’s “haalbaarheidsstudie” over CGT/Muziektherapie

David Tuller, DrPH, Virology Blog, 28 mei 2020

Iedereen weet dat het mij altijd opvalt als slimme patiënten slecht onderzoek analyseren. Zo ben ik ook in heel deze mallemolen terecht gekomen – door te lezen wat patiënten hadden geschreven over de PACE-studie. (In dat geval wees ik de bedenkingen in eerste instantie van de hand, toen ik las dat deelnemers die zieker waren geworden, toch geteld konden worden als hersteld. Ik ging ervan uit dat de patiënten het bij het foute eind hadden. Ik kende geen enkel geloofwaardig vakblad dat zo’n studie zou publiceren – en al zeker geen dat het niet zou intrekken als het probleem aan het licht zou komen.)

Eén van de analyses waar ik altijd aandacht aan besteed, zijn die van Michiel Tack. Hij nam deel aan een levendige discussie op het forum Science for ME over de zogenaamde “haalbaarheidsstudie” over cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid na acute infectie met Epstein-Barrvirus, die ik hier, hier en hier heb voorzien van commentaar. In feite publiceerde het vakblad, BMJ Paediatrics Open, een volledige gerandomiseerde studie, die niet de verwachte resultaten voortbracht, alsof de studie van meet af aan bedoeld was als haalbaarheidsstudie voor een volledige gerandomiseerde studie.

Michiel diende een krachtig en nauwkeurig beargumenteerd commentaar in bij het vakblad, maar heeft nog geen reactie ontvangen. Intussen heeft hij zijn commentaar gepost op de site van PubPeer, hier. Ik herpost het met zijn toestemming op Virology Blog.

**********

Malik et al. voerden een gerandomiseerde studie uit over cognitieve gedragstherapie (CGT) in combinatie met muziektherapie voor adolescenten met chronische vermoeidheid (cv) na infectie met Epstein-Barrvirus. (1) Jammer genoeg zijn er verschillende fouten gebeurd bij de rapportage van deze studie.

Ten eerste ziet het ernaar uit dat de studie geherformuleerd werd tot haalbaarheidsstudie, toen bleek dat de interventie niet de gewenste effectgrootte bereikte. De statistische kracht van studie was enkel gericht op grote effecten en zowel het protocol (2) als het statistisch analyseplan (3) doen vermoeden dat de auteurs verwacht hadden dat ze grote verbetering zouden vinden in de interventiegroep. In hun berekeningen van de statistische kracht voor de primaire uitkomst (gemiddeld aantal stappen per dag) schreven ze: “In deze studie is de kracht om een verhoging van 2000 stappen/dag te detecteren ten minste 80% (α=0.05). Deze effectgrootte ligt tamelijk hoog (0.8 keer de standaardafwijking); maar aangezien uit documentatie blijkt dat CGT alleen bij CVS/ME een kleine tot gemiddelde effectgrootte heeft, is enkel een aanzienlijke effectgrootte klinisch interessant. Bovendien suggereert de FITNET-studie dat men grotere behandelingseffecten mag verwachten bij adolescenten met CVS/ME, in vergelijking met volwassen patiënten (Nijhof 2012).” (2) Het protocol (2) en de studieregistratie (4) bevatten meer dan 20 uitkomstmaten die doen vermoeden dat de studie tot doel had om de doeltreffendheid te testen, eerder dan de haalbaarheid van de interventie.

Ten tweede concluderen Malik et al. dat “een combinatie van CGT en muziektherapie haalbaar en aanvaardbaar is voor postinfectieuze cv bij adolescenten.” (1) De auteurs verwijzen naar een goede naleving en een gebrek aan statistisch significante verschillen in gerapporteerde schade tussen de interventiegroep en de controlegroep. Dit kan echter mede verklaard worden door een gebrek aan statistische kracht, aangezien de studie slechts 43 deelnemers telde, en enkel in staat was om grote verschillen tussen de groepen te detecteren. Er waren ook enkele indicaties dat de interventie misschien niet zo aanvaardbaar was voor patiënten. Meer dan de helft van de in aanmerking komende adolescenten weigerde deelname aan de studie. In het protocol (2) en het statistisch analyseplan (3), veronderstelden de auteurs dat slechts 5 procent de deelname zou weigeren. Verder was er ook een hoge graad van uitval in de interventiegroep (29%) in vergelijking met de controlegroep (5%).

Ten derde zou, volgens Malik et al., “de studie erop wijzen dat het mentale trainingsprogramma symptomen zou kunnen verbeteren en na verloop van tijd zou kunnen leiden tot een hogere graad van herstel.” (1) Deze uitspraak wordt niet onderbouwd door de data. De primaire uitkomstmaat was het gemiddelde aantal stappen per dag, geëvalueerd via een stappenteller op 12 weken na de randomisering. Op deze uitkomst vertoonde de interventiegroep een lager activiteitsniveau dan de controlegroep, een verschil dat statistische significantie bereikte in de analyse volgens protocol, maar niet in de analyse volgens behandelingsintentie. Jammer genoeg zeggen de auteurs niks over deze nogal verbazingwekkende bevinding. Patiënten in de controlegroep kregen enkel “gewoonlijke zorg”. De paper legt uit dat “gewoonlijke zorg” betekent dat de personen in kwestie helemaal geen zorg zouden krijgen voor hun cv-aandoening in de opvolgingsperiode, “behalve dan de opvolgingsafspraken voor deze studie.” (1) Dus het lijkt erop dat de interventie op de primaire uitkomst slechtere resultaten gaf dan helemaal niks doen. De tijd en energie die gespendeerd moesten worden aan CGT en muziektherapie, zorgden er misschien voor dat de patiënten hun normale activiteiten niet konden hervatten. Deze verklaring komt overeen met het feit dat de interventiegroep een hoge mate van uitval kende, en dat meer dan de helft van de in aanmerking komende patiënten deelname aan de studie weigerde.

Ten vierde spreken de auteurs over trends richting statistische significantie, hoewel er meer dan 20 secundaire uitkomstmaten werden gebruikt in de studie (elk gemeten op twee tijdstippen), en er toch geen correcties werden uitgevoerd voor meervoudige vergelijkingen. Het lijkt dus ongepast dat men van de interventie zegt dat die “[…] symptomen van postexertionele malaise zou kunnen verbeteren, wat een volledige studie rechtvaardigt”. Postexertionele malaise werd gemeten a.d.h.v. één enkele vraag die achteraf toegevoegd lijkt te zijn, aangezien ze niet in de lijst van uitkomsten staat in het protocol (1), het statistische analyseplan (2) of de studieregistratie (3). Het maximale verschil voor postexertionele malaise tussen de interventie en de controlegroep was slechts 0.5 punten, een derde van de standaardafwijking voor de interventiegroep bij aanvang. In de analyse volgens behandelingsintentie daalt dit verschil tot 0.2 punten bij opvolging. Het is onduidelijk waarom deze resultaten een volledige studie zouden rechtvaardigen, aangezien de interventiegroep het slechter deed op de primaire uitkomst dan de controlegroep.

Ten vijfde benadrukt het abstract ook een trend richting een hogere herstelgraad in de interventiegroep. De auteurs definieerden herstel als een score lager dan vier punten op de Vermoeidheidsschaal van Chalder, via een gedichotomiseerde puntentelling (van 0 tot 11 punten). Een score van vier of hoger op de Vermoeidheidsschaal van Chalder werd echter al gebruikt als criterium voor deelname. Dit betekent dat deelnemers als hersteld ingedeeld konden worden, ook al rapporteerden ze slechts één punt verbetering op de Vermoeidheidsschaal van Chalder. Merk ook op dat de Vermoeidheidsschaal van Chalder de intensiteit of impact van vermoeidheid niet meet. In plaats daarvan evalueert het of deelnemers vermoeidheidsgerelateerde symptomen ervaren, zoals meer “problemen met taken aanvatten” of meer “moeilijkheden met het vinden van het juiste woord”. Daarom lijkt het dus niet gepast om de term “herstelgraad” te gebruiken voor het percentage aan deelnemers die lager scoren dan de drempel van vier punten op de Vermoeidheidsschaal van Chalder. Na de behandeling was er tussen de interventiegroep en de controlegroep geen verschil in het percentage aan deelnemers die deze drempel van vier punten haalde. De analyse volgens behandelingsintentie van de ordinale scores op de Vermoeidheidsschaal van Chalder (van 0 tot 33 punten) werd ook gerapporteerd en liet weinig verschil zien tussen de groepen. Een plausibele verklaring voor wat de auteurs beschrijven als “een trend richting hogere herstelgraad in de interventiegroep”, is de hoge mate van uitval. Bij opvolging telde de interventiegroep nog slechts 13 patiënten. De analyse die de auteurs naar voren brachten, houdt geen rekening met de 8 personen die in de interventiegroep zaten, maar verloren waren bij opvolging. Er zijn zo goed als geen aanwijzingen dat er meer patiënten in de interventiegroep herstelden dan in de controlegroep. Het is jammer dat de auteurs [de term “herstel”] hebben gebruikt in hun manuscript.

Samengevat: CGT in combinatie met muziektherapie leidde tot een hoge graad van uitval en een lager activiteitsniveau dan deelnemers die geen behandeling kregen. In tegenstelling tot wat Malik et al. concluderen, stellen deze resultaten in vraag of een volledige klinische studie gerechtvaardigd zou zijn.

Referenties

1. Malik S, Asprusten TT, Pedersen M, Mangersnes J, Trondalen G, Roy B van, et al. Cognitive–behavioural therapy combined with music therapy for chronic fatigue following Epstein-Barr virus infection in adolescents: a feasibility study. BMJ Paediatr Open. 2020 Apr 1;4(1):e000620.

2. Akershus University Hospital. Research Protocol – processing. Mental training for chronic fatigue syndrome (CFS/ME) following EBV infection in adolescents: a randomised controlled trial. Available from: https://www.ahus.no/seksjon/forskning/Documents/Forskningsgrupper/Barne- og ungdomsklinikken/Paedia/Forskningsprotokoll – behandling.pdf

3. Akershus University Hospital. Statistical analysis plan – CEBA part 2. Available from: https://www.ahus.no/seksjon/forskning/Documents/Forskningsgrupper/Barne- og ungdomsklinikken/Paedia/Statistisk analyseplan del 2.pdf

4. ClinicalTrials.gov Identifier: NCT02499302. Available from: https://clinicaltrials.gov/ct2/show/NCT02499302

© David Tuller en Michiel Tack voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/05/31/trial-by-error-letter-to-bmj-paediatrics-open-about-that-cbt-music-therapy-study/

Trial By Error: brief aan BMJ Paediatrics Open over die CGT/Muziektherapiestudie

David Tuller, DrPH, Virology Blog, 31 mei 2020

UPDATE: Kort nadat ik de brief met bedenkingen gestuurd heb, stuurde ik de volgende correctie naar Dr. Choonara.

Geachte Dr. Choonara,

Ik wilde een kleine correctie aanbrengen in punt #3 hieronder. De eerste zin had moeten luiden: “Waarom stond de uitkomst van herstel niet vermeld in de studieregistratie en het statistisch analyseplan maar werd het wél in de verf gezet in de paper?” Zoals ik eerder op Virology Blog rapporteerde, was de uitkomst van herstel vermeld in het protocol maar niet in de andere twee studiedocumenten. Mijn excuses voor de fout.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

Berkeley, Californië, VS

Vandaag stuurde ik volgende brief naar de hoofdredacteur van BMJ Paediatrics Open, Imti Choonara, Emeritus Professor Kindergezondheid aan University of Nottingham. In CC zette ik Fiona Godlee, redactioneel directeur van BMJ, om haar aandacht te vestigen op het verontrustende nieuws dat er wéér één van haar bekende vakbladen onderzoek heeft gepubliceerd van de ideologische CGT-brigade die wetenschappelijk kernprincipes met voeten treedt.

**********

Geachte Professor Choonara,

BMJ Paediatrics Open publiceerde onlangs een studie met als titel “cognitieve gedragstherapie in combinatie met muziektherapie voor chronische vermoeidheid na infectie met Epstein-Barrvirus bij adolescenten: een haalbaarheidsstudie”. Wij schrijven u om u onze bezorgdheid uit te drukken over het feit dat deze paper aanzienlijke methodologische problemen bevat.

De wetenschapssite Virology Blog heeft drie kritische posts geschreven over de paper, nl. hier, hier en hier. Een krachtig en nauwkeurig onderbouwd commentaar, dat gepost werd onder het artikel zelf, haalt vele gelijkaardige punten aan. (Virology Blog is een wetenschapssite onder het beheer van Vincent Racaniello, microbioloog aan Colombia University en één van de ondertekenaars van deze brief. De posts in kwestie werden geschreven door David Tuller, journalist en volksgezondheidsexpert aan UC Berkeley. Ook hij ondertekende deze brief.)

De primaire uitkomst van de studie was een objectieve uitkomst: gemiddeld aantal stappen per dag, gemeten met een stappenteller die gedurende één week zou worden gedragen. Tot grote verbazing van de onderzoekers, daalde het gemiddelde aantal stappen in beide studiearmen, en de interventiegroep deed het op deze meting zelfs slechter dan de groep die gewoonlijke zorg kreeg. Secundaire uitkomsten die vermeld werden in de paper, waaronder postexertionele malaise (PEM) en vermoeidheid, waren subjectief. De onderzoekers kwamen tot het besluit dat een volledige studie gerechtvaardigd zou kunnen zijn.

Dit zijn enkele van de vele bedenkingen waarvan wij vinden dat ze behandeld moeten worden:

1) Zowel het studieprotocol, als de registratie en het statistisch analyseplan, beschrijven het onderzoek als een volledige studie en niet als een haalbaarheidsstudie. Maar de rekrutering voor de studie verliep blijkbaar niet zo goed als men had gehoopt, de interventiegroep kende een grote uitval en de resultaten waren teleurstellend. Waarom publiceerde BMJ Paediatrics Open een volledige studie die slechter uitviel dan verwacht als een haalbaarheidsstudie, die net bedoeld is om te onderzoeken of een volledige gerandomiseerde studie zinvol is?

2) Waarom werd PEM in de verf gezet als uitkomst in de gepubliceerde paper, terwijl het niet vermeld werd in het studieprotocol, de registratie of het statistisch analyseplan? Heeft iemand bij BMJ Paediatrics Open het studieprotocol, de registratie en het statistisch analyseplan ingekeken, om na te kijken of de onderzoekers zich schuldig hebben gemaakt aan uitkomstverwisseling?

3) Waarom stond de uitkomst van herstel niet vermeld in het studieprotocol en het statistisch analyseplan, maar werd het wél in de verf gezet in de paper? Waarom lag de focus in de hoofdtekst op een analyse van deze bevindingen volgens het protocol, in plaats van op een analyse volgens behandelingsintentie, wat een lagere graad van herstel zou hebben gegeven voor de interventiearm, door rekening te houden met de hoge uitval?

4) Waarom construeerden de onderzoekers een definitie van herstel die de resultaten van de objectieve primaire uitkomst van de studie zelf wegliet en enkel voortging op een subjectieve secundaire uitkomst? Als deelnemers het slechter deden op vlak van aantal stappen per dag dan voor de interventie, hoe kan men dan zeggen dat ze hersteld zijn, of tenminste “hersteld” in de normale betekenis van het woord?

5) De onderzoekers zeggen dat een verdere studie gerechtvaardigd zou kunnen zijn, maar waarom repten ze dan in de conclusies van het abstract en de volledige paper met geen woord over de slechte resultaten voor de primaire objectieve uitkomst en steunden ze in plaats daarvan uitsluitend op de subjectieve, secundaire uitkomsten? Waarom maakten de conclusies geen melding van de moeilijkheden waarmee de onderzoekers geconfronteerd werden tijdens de rekrutering, en van de hoge uitval in de interventiegroep?

Bij het bekijken van de geschiedenis van de peerreview, stelden we ons ook vragen over hoe streng BMJ Paediatrics Open zich redactioneel opstelt. Alhoewel één reviewer botweg zei dat hij “niet verder dan het abstract” had gelezen, leek dat voor BMJ Paediatrics Open blijkbaar geen struikelblok voor publicatie. Vindt u als vakblad dat een peerreview van een abstract een evenwaardige vervanging is voor een peerreview van een volledige paper?

Bovendien zei de andere reviewer – die wellicht de volledige paper wél gelezen had – dat ze niet begrepen had of de onderzoekers het hadden over een volledige studie of over een haalbaarheidsstudie. De reviewer vroeg hen om te verduidelijken wat de oorspronkelijke doelstelling was van het onderzoek.

In plaats van de oorspronkelijke doelstelling te verduidelijken, herschreven de onderzoekers de geschiedenis van het project, door het voor te stellen alsof het van meet af aan een haalbaarheidsstudie was geweest. Heeft BMJ Paediatrics Open, gezien de verwarring bij de reviewer, de herziening nagekeken aan de hand van de studiedocumenten, om te verzekeren dat de nieuwe studiebeschrijving van de onderzoekers een transparante en correcte weergave was van hun intenties?

U kan toch onmogelijk beweren dat deze studie een peerreviewprocedure heeft doorstaan die voldoet aan de normen waar BMJ zelf voor pleit? Onder de huidige omstandigheden, zou BMJ Paediatrics Open de paper tijdelijk moeten intrekken en hem opnieuw laten reviewen. Elke nieuwe peerreviewer moet beloven dat hij/zij meer dan alleen het abstract zal lezen en in het kader van de review moeten de studiedocumenten én de paper grondig onderzocht worden. Als uit de nieuwe review en uit het onderzoek van BMJ Paediatrics Open zelf blijkt dat er inderdaad een verschil is tussen wat de onderzoekers beloofd hadden en wat ze gepubliceerd hebben, dan moet de studie worden ingetrokken.

Voor alle duidelijkheid: deze brief zal later gepost worden op Virology Blog. Gezien de ernstige methodologische overtredingen die hier gebeurd zijn, en het duidelijk tekortschietende redactionele toezicht van BMJ Paediatrics Open, zetten wij in CC Dr. Fiona Godlee, redactioneel directeur van BMJ.

Wij hopen dat u de kwesties in deze problematisch paper zo snel mogelijk aanpakt.

Vriendelijke groet,

Jonathan C.W. Edwards, MD

Emeritus Professor Geneeskunde University College London

Londen, Engeland, VK

Mady Hornig, MA, MD

Hoofddocent Epidemiologie

Columbia University Mailman School of Public Health

New York, New York, VSA

Vincent R. Racaniello, PhD

Professor Microbiologie en Immunologie

Columbia University

New York, New York, VSA

John Swartzberg, MD

Klinisch Professor Emeritus

School of Public Health

University of California, Berkeley

Berkeley, Californië, VSA

David Tuller, DrPH

Senior Fellow in Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

Berkeley, Californië, VSA

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


Lees ook

Geef een reactie

Zijbalk

Volg ons
ma
di
wo
do
vr
za
zo
m
d
w
d
v
z
z
27
28
29
30
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Recente Links