Bron:

| 8079 x gelezen

Trial By Error: BMJ beantwoordt oproep over Noorse CGT-muziektherapiestudie

David Tuller, DrPH, Virology Blog, 18 juni 2020

Eerder deze week stuurde ik een herinnering naar Professor Imti Choonara, hoofdredacteur van BMJ Paediatrics Open en naar Fiona Godlee, redactioneel directeur van BMJ, over een problematische “haalbaarheidsstudie” die enkele maanden geleden werd gepubliceerd. Ik had twee weken eerder al een brief gestuurd, maar had daar geen reactie op gekregen. Vroegere posts over deze kwestie staan hier en hier.

Vanochtend ontving ik een bericht van BMJ’s “coördinator voor onderzoeksintegriteit”. Hm. Dat klinkt als een belangrijke functie binnen BMJ, gezien het schijnbaar enorme gebrek aan onderzoeksintegriteit in sommige van de papers die ik heb onderzocht.

In elk geval belooft de coördinator voor onderzoeksintegriteit binnen twee weken een antwoord! Dat zou fijn zijn. Maar ik ga nog niet te vroeg beginnen juichen, want vorige keer had BMJ er een jaar voor nodig om uit te zoeken wat ze zouden zeggen over de studie over het Lightning Process – nl. hoe ze ze konden corrigeren/verduidelijken zonder ze te moeten intrekken. Dus ik ga nog even afwachten voordat ik mijn oordeel vel.

Hieronder staat de brief die ik ontvangen heb, en daarna mijn antwoord. Ik heb mijn medeondertekenaars van de oorspronkelijke brief in CC gezet, samen met Professor Choonara en Dr. Fiona Godlee.

**********

Geachte David Tuller,

Wij schrijven u om te bevestigen dat wij onderstaande klacht hebben ontvangen. Wij zullen uw bedenkingen onderzoeken via de gepaste kanalen en wij zullen u binnen de komende twee weken opnieuw contacteren met een formele reactie. Als de bespreking op dat moment nog steeds aan de gang zou zijn, en er dus nog geen formele reactie mogelijk zou zijn, dan zullen wij opnieuw contact opnemen om dit te bevestigen.

Met vriendelijke groeten,

Simone Ragavooloo

Coordinator Onderzoeksintegriteit

**********

Geachte Mevr. Ragavooloo,

Bedankt voor uw reactie op de bedenkingen waar mijn collega’s en ik op hebben gewezen, over de (zogenaamde) “haalbaarheidsstudie” van Wyller et al. Ik ben benieuwd om te horen welke oplossing BMJ over twee weken gevonden zal hebben. Gezien de feiten duidelijk zijn, zal het niet moeilijk zijn om te beslissen wat er moet gebeuren, in overeenstemming met het onderzoeksintregriteitsbeleid van BMJ. In de afgelopen jaren hebben vele mensen geklaagd over de problemen die ontstaan door het omwisselen van uitkomsten – één van de ernstige problemen die ik heb gedocumenteerd in Wyller et al. Maar deze paper in BMJ Paediatrics Open is de eerste die ik ooit heb gelezen die gebruik maakt van wat je “studiestatusdegradering” zou kunnen noemen – d.w.z. een studie met volledige statistische kracht die tegenvallende resultaten voortbrengt, voorstellen alsof ze ontworpen was als haalbaarheidsstudie om data te vinden ter onderbouwing van een studie met volledige statistische kracht. Ik heb dit fenomeen nog nooit vermeld gezien binnen de context van uitkomstenverwisseling. Het zou kunnen dat het nog nooit eerder is voorgekomen – bij BMJ of elders – dat ernstige onderzoekers zulk gedrag vertonen. Dit is ook de eerste keer dat ik een peerreview heb gelezen waarin de reviewer heel eerlijk toegeeft dat hij de paper die hij moest reviewen, niet heeft gelezen. Dus in dit geval heeft BMJ Paediatrics Open niet enkel een studie gepubliceerd die wetenschappelijke basisprincipes heeft overtreden, maar werd de studie bovendien gepubliceerd zonder de door BMJ zelf vereiste grondige peerreview.

Gezien het feit dat BMJ verplicht is om de gezondheid te waarborgen van kinderen met ernstige ziektes – een uiterst kwetsbare populatie – hoop ik dat deze jammerlijke zaak snel wordt opgelost. Ik heb mijn collega’s bij dit antwoord in CC gezet, alsook Professor Choonara en Dr. Godlee.

Vriendelijke groet,

David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/07/02/trial-by-error-now-theres-cbt-for-health-anxiety-in-cfs/

Trial By Error: nu is er ook CGT voor “gezondheidsangst” bij CVS

David Tuller, DrPH, Virology Blog, 2 juli 2020

Eind december publiceerde het International Journal of Clinical and Health Psychology een artikel met als titel: “Prevalentie en behandeling van Chronisch Vermoeidheidssyndroom/Myalgische Encefalomyelitis en comorbide ernstige gezondheidsangst“. Deze paper, van onderzoekers aan University of Bath en Oxford University, bevatte in feite twee aparte studies, waarin het zogezegde verband wordt gedocumenteerd tussen een concept dat “gezondheidsangst” heet en CVS/ME, zoals de onderzoekers van de studie naar de ziekte in kwestie verwijzen.

De eerste studie die beschreven staat in de paper is een crosssectionele bevraging over gezondheidsangst en symptomen bij CVS/ME-patiënten. (Een gekende beperking van crosssectionele data is dat ze enkel verbanden documenteren en geen causaal bewijs leveren.) De tweede studie die beschreven staat in de paper gaat over tien patiënten die een gespecialiseerde behandeling krijgen: cognitieve gedragstherapie die gezondheidsangst aanpakt en die CBT-HA wordt genoemd [Cognitive Behavioral Therapy – Health Anxiety, n.v.d.r.].

Voor zo ver ik kan zien, is de hypothese hierachter ongeveer dezelfde als die achter de PACE-studie, behalve dan dat in dit geval de psychologische entiteit die patiënten er zogezegd van weerhoudt om actief te zijn “gezondheidsangst” heet in plaats van iets wat men “angstontwijking” noemt. Gezondheidsangst komt neer op een vriendelijkere, minder denigrerende benaming voor hypochondrie. De onderzoekers onderbouwen hun interventie als volgt:

“CBT-HA is gebaseerd op het idee dat vage gezondheidsgerelateerde stimuli onderhevig zijn aan interpretatie, waaruit gedragsmatige reacties ontstaan zoals verhoogde waakzaamheid omtrent fysiologische sensaties, vermijding, inspectie van lichamelijke gewaarwordingen en bevestiging zoeken, om ervoor te zorgen dat de gezondheidsproblemen geen werkelijkheid worden. Deze handelingen leiden echter vaak tot verhoogde spanning.

Dit klinkt allemaal zo goed als identiek aan de benadering in PACE. Of zie ik hier iets over het hoofd? Is er een inhoudelijk verschil?

**********

Wat is gezondheidsangst?

Voor de nieuwe studie werd gezondheidsangst gemeten volgens een meetinstrument met 14 punten dat gepubliceerd werd in 2002. Op deze schaal staan hogere totale scores voor grotere algemene gezondheidsangst. Bij elke vraag krijgt elke volgende vraag een hogere score. Dit zijn twee voorbeelden van de vragen in kwestie:

a) Ik maak mij geen zorgen over mijn gezondheid. b) Ik maak mij af en toe zorgen over mijn gezondheid. c) Ik maak mij vaak zorgen over mijn gezondheid. d) Ik maak mij de hele tijd zorgen over mijn gezondheid.

a) Ik ben me over het algemeen niet bewust van lichamelijke gewaarwordingen of veranderingen. b) Ik ben me soms bewust van lichamelijke gewaarwordingen of veranderingen. c) Ik ben me vaak bewust van lichamelijke gewaarwordingen of veranderingen. d) Ik ben me constant bewust van lichamelijke gewaarwordingen of veranderingen.

Deze vragen zijn misschien nuttig om te peilen naar gezondheidsangst in sommige situaties. Maar mensen met CVS/ME zullen zich wellicht vaker zorgen maken over hun gezondheid en zich vaker bewust zijn van hun lichamelijke gewaarwordingen dan mensen die gezond zijn. Zo komen ze hoger op de schaal van gezondheidsangst terecht. Maar het enige wat dat betekent, is dat ze bezorgd en angstig zijn omwille van hun gezondheid, wat begrijpelijk is, gezien hun ernstige medische aandoening.

In zowel de formulering over gezondheidsangst als die over angstontwijking, wordt gesteld dat het vermijden van activiteit leidt tot negatieve gevolgen voor de gezondheid. De hier besproken paper legt het als volgt uit:

“Wij suggereren dat door de grotendeels onverklaarde lichamelijke sensaties, het gebrek aan voldoende geruststelling vanwege medische zorgverleners (doordat over de aandoening weinig geweten is) en de complexe angstuitlokkende en problematische aard van omgaan met vermoeidheid, sommige patiënten met CVS/ME geneigd zijn om symptoomverergering te voorkomen door bijvoorbeeld fysieke activiteit te beperken en/of te vermijden, aandacht te schenken aan ‘waarschuwingstekens’ of overmatig te rusten als onderdeel van een gezondheidsangstcyclus, wat vervolgens leidt tot verminderd fysiek functioneren en vermoeidheid bij inspanning.”

En de therapeutische interventie wordt als volgt uitgelegd:

“Bij CBT-HA lokken cognities omtrent gezondheidsgerelateerde bezorgdheid (bv.: ik ga instorten) gedragsmatige reacties uit die bedoeld zijn om het gevreesde gevolg te voorkomen. Maar via deze (veiligheidzoekende) gedragingen (SSB of Safety Seeking Behaviours) probeert men weerlegging van de gevreesde uitkomst te voorkomen, waardoor het gedrag bekrachtigd wordt via operatieve mechanismen…

De CBT-HA-formule brengt de onbedoelde gevolgen naar boven van de SSB (bv. angst/frustratie, intensere pijn/deconditionering) en hoe deze bijvoorbeeld de angst voor ‘instorting’ nog verder versterken. Dit creëert een vicieuze cirkel van zichzelf bestendigende angstigheid, die in stand wordt gehouden door SSB die oorspronkelijk bedoeld waren om de kans te verminderen op lichamelijke instorting of andere gevreesde uitkomsten.”

Deze uitspraken klinken als een herneming van het paradigma dat ontwikkeld werd in de jaren ’90, inclusief de zogenaamde “vicieuze cirkel die zichzelf bestendigt”, waarop de PACE-studie werd gebouwd. De beschrijving bevat wel enkele andere termen, zoals “SSB”. Misschien omdat men zo probeert om de hypothese voor te stellen als een intellectuele of conceptuele vooruitgang die onderzocht moet worden en een eigen financieringsader verdient.

Laat ons duidelijk wezen: deze paper klinkt niet als een intellectuele of conceptuele vooruitgang, maar als een nageaapte versie van de PACE-aanpak, die al lang gefaald is in zijn opzet. Meer dan 100 internationale experts wezen op dat falen door Virology Blogs open brief aan The Lancet te ondertekenen. De brief ging over de “onaanvaardbare methodologische fouten” in de PACE-studie en over het feit dat de Amerikaanse Centers for Disease Controla and Prevention hun op PACE gebaseerde adviezen hadden laten vallen.

De onderzoekers van deze studie merkten eerlijk gezegd wel op dat de interventie niet gebaseerd is op de aanname dat gezondheidsangst een verklaring is voor alle symptomen van de ziekte. Ze erkenden ook dat stigmatisering van patiënten en verwante factoren op zich de gezondheidsangst zouden kunnen vergroten. Maar deze kanttekeningen worden minder in de verf gezet dan de suggestie dat symptomen van de ziekte uitvergroot en verergerd worden door gezondheidsangst en dat gezondheidsangst dus gezien moet worden als een specifiek behandelingsdoel.

**********

Het theoretisch kader voor CGT-HA

De indruk dat CGT-HA simpelweg neerkomt op de CGT-strategie uit PACE met een pruik en wat lipstick, wordt bevestigd in een review van het theoretische kader voor de interventie, zoals beschreven in een paper uit 2017. In die paper omschreven twee onderzoekers van Bath University hoe één enkele patiënt een reeks CGT-HA-sessies tot een goed einde bracht en verbetering vertoonde in zelfgerapporteerde metingen. Die triomf maakte de weg vrij voor de gevalsreeks die beschreven staat in de hier besproken publicatie.

In 2017 gaven de onderzoekers volgende verklaring voor hun denkwijze:

“1. Cognitieve overtuigingen omtrent CVS en CVS-symptomen leiden tot gedragsgerelateerde strategieën die CVS in stand houden. Doelgerichte cognitieve herstructurering (en aanverwante gedragsmatige experimenten) zullen leiden tot een vermindering van het rotsvaste geloof in het idee dat specifieke gedragingen (d.w.z. SSB) noodzakelijk zijn voor het voorkomen van een verergering van CVS, en dat een verergering zal leiden tot instorting.

2. Symptomen van CVS (meer bepaald vermoeidheid en pijn) worden in stand gehouden door gedragsgerelateerde strategieën die de bedoeling hebben om verergering van (CVS-)symptomen te voorkomen. Uitroeiing van specifieke strategieën benoemd in de formulering zullen leiden tot een verbetering in de primaire fysieke symptomen van vermoeidheid (Vermoeidheidsschaal van Chalder) en pijn (VAS).

3. De op gezondheid gefocuste angst leidt tot het verergeren van de CVS-symptomen en vice versa; daarom moeten beiden aangepakt worden in een geïntegreerde benadering die zal leiden tot reductie van zowel CVS-symptomen (Vermoeidheidsschaal van Chalder) als gezondheidsangst (Gezondheidsangstinventaris), alsook verbeteringen in functioneren (SF-36) en zelfeffectiviteit (zelfeffectiviteitsschaal).

Laat ons duidelijk wezen: dit is een hypothese. Net als voor gelijkaardige beweringen in PACE bestaat er geen geloofwaardig bewijs voor “op gezondheid gefocuste angst die leidt tot verergering” van het verloop van de ziekte. De onderzoekers schijnen te geloven dat hun nieuwe paper geloofwaardig bewijs levert. Maar dat klopt niet. Vreemd genoeg vermelden ze PACE nergens. Ook vermelden ze nergens dat de PACE-resultaten ofwel nulresultaten waren ofwel uitgelegd konden woorden door placebo-effecten, als ze geëvalueerd werden via de methodes die beloofd waren in het protocol. (Ik was coauteur van de paper die PACE ontkracht heeft.)

(Ik veronderstel dat het intussen aannemelijk is dat onderzoekers, en zelfs de vroegere fans van de PACE-studie, ze nergens meer vermelden. PACE is wetenschappelijk onverdedigbaar. Ze zal voor altijd bekend staan als de studie waarin deelnemers het slechter konden doen op de belangrijkste uitkomstmaat en toch “herstel” bereikten. De studie wordt intussen ten volle benut in Berkeley, waar mijn collega’s ze in hun lessen epidemiologie naar voren brengen als gevalstudie van vreselijk slecht onderzoek.

**********

De studieresultaten waren geen verrassing

Maar nu even terug naar het onderwerp. De onderzoekers omschrijven de resultaten van de eerste studie in de paper – de crosssectionele analyse – als volgt:

“Bevindingen uit studie één wijzen erop dat gezondheidsangst in CVS/ME courant is en significant verband houdt met symptoomernst. Deelnemers met een hoge mate van gezondheidsangst hadden meer last van vermoeidheid, angsten en depressie, en vertoonden lagere niveaus van fysiek functioneren dan diegenen zonder.”

Dit is logisch. Als een patiënt ernstige symptomen ervaart die in vraag worden gesteld door dokters, familie en vrienden, dan is het niet vreemd als zij meer last hebben van angsten omtrent hun gezondheid. Aangezien er geen enkel bewijs is, buiten hypothethische speculaties en anekdotische observaties, is het misplaatst om te zeggen dat deze data aantonen dat “op gezondheid gefocuste angsten leiden tot verergering van de CVS-symptomen”. Elke slimme lezer zal deze data zien en begrijpen dat alle causale verbanden wellicht in de omgekeerde richting gaan.

Bij de tweede studie kregen patiënten de interventie van 12 sessies CBT-HA aangeboden. De behandeling werd uitgevoerd door de hoofdonderzoeker en ze werden getest op verschillende zelfgerapporteerde maatstaven bij het begin en het einde van de behandeling. Van de tien mensen die met het programma begonnen, vielen er twee af – een verlies-bij-opvolging van 20%. Diegenen die overbleven, rapporteerden verschillende verbeteringen op vragenlijsten.

Het hoeft niemand te verbazen dat patiënten die vele uren één-op-één doorbrachten met een begripvolle therapeut, op vragenlijsten invulden dat ze zich beter en minder angstig voelden. En dat gebeurde zeker als hen verzekerd werd dat de interventie die ze kregen, hun gezondheid zou verbeteren en hen een beter gevoel zou geven, zoals gebeurde als onderdeel van de CGT die werd uitgevoerd in PACE en aanverwante studies.

Bovendien werden de laatste evaluaties uitgevoerd op het moment van de laatste sessie – het moment waarop deelnemers maximaal beïnvloed waren ten voordele van de interventie. Het gebeurt heel vaak dat gerapporteerde positieve effecten in dergelijke studies vervagen na enkele weken of maanden, als de impact van de beïnvloeding wat is afgenomen. Met zo’n klein aantal proefpersonen en zonder vergelijkingsgroep vertellen dergelijke bevindingen ons weinig of niks over de eigenlijke behandelingseffecten, als die er al zouden zijn.

Het kan heel goed zijn dat ongeblindeerd onderzoek dat voortgaat op zelfgerapporteerde bevindingen het vragenlijstbeantwoorden beïnvloedt, vooral in de context van een positief therapeutisch contact. Dit soort van subjectieve rapporteringen zijn vooral artefacten die voortkomen uit het studieontwerp, en niet echt een teken van reële verbetering. Dit punt wordt aangetoond door het feit dat schijnbare therapeutische voordelen doorgaans vervagen in opvolgingsstudies, alsook door het feit dat objectieve uitkomsten, zoals aantal stappen gemeten via stappentellers, er nooit in slagen om de zelfgerapporteerde bevindingen te ondersteunen.

De onderzoekers pleiten voor een gerandomiseerde gecontroleerde studie, en beweren dat die “verder bewijs zou leveren als onderbouwing van het nut van CBT-HA voor CVS/ME”. Dit is een vreemde uitspraak. De bedoeling van een klinische studie is om te onderzoeken of iets wel of niet gebeurt, niet om iets te bewijzen wat we al weten. In dit geval hebben de onderzoekers zo goed als beloofd dat een volledige studie zou leiden tot “verder bewijs als onderbouwing van het nut” van hun op maat gemaakte interventie. Die categorieke uitspraak doet vermoeden dat de onderzoekers verknocht zijn aan een vooraf vastgestelde uitkomst, wat de objectiviteit en integriteit van het wetenschappelijk onderzoek ernstig kan ondermijnen.

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/07/03/trial-by-error-nudge-for-bmj-about-music-therapy-letter-to-health-anxiety-expert/

Trial By Error: herinnering aan BMJ over muziektherapie; brief aan expert “gezondheidsangst”

David Tuller, DrPH, Virology Blog, 3 juli 2020

Ik heb nog twee brieven geschreven en heb ze hieronder gepost.

De eerste brief is een herinnering aan BMJ’s departement voor onderzoeksintegriteit – deze week verliep namelijk de einddatum waartegen ik een update had moeten krijgen over de stand van zaken omtrent die muziektherapiestudie uit Noorwegen. Je weet wel, die studie die begon als een studie met volledige statistische kracht, maar die een slecht resultaat gaf op meerdere metingen en uiteindelijk gepubliceerd werd als een haalbaarheidsstudie om tot data te komen als onderbouwing van een studie met volledige statistische kracht, zoals ik onlangs documenteerde. Ik verstuurde de brief vanochtend.

De tweede brief, die ik gisteren verstuurd heb, was gericht aan de onderzoeker van de studie over “gezondheidsangst” en CVS/ME, waar ik eerder deze week kritiek op gaf. Net als de PACE-auteurs en zo vele andere CGT-aanhangers, lijkt ze dubbelzinnige bevindingen zo te interpreteren dat ze in haar verhaal passen, en komt gezond verstand er amper aan te pas. Aan mijn eigen academische instelling wordt PACE intussen tijdens lessen epidemiologie besproken als een puik voorbeeld van slecht onderzoek; misschien kan de studie over gezondheidsangst of andere studies van deze onderzoekscohort op een gelijkaardige manier van nut zijn.

**********

Brief aan BMJ’s Departement Onderzoeksintegriteit (3 juli 2020)

Geachte Mevr. Ragavooloo,

Intussen is het twee weken geleden dat we een gesprek hadden, dus ik wilde nog eens contact opnemen om te kijken wat de stand van zaken is omtrent de studie over cognitieve gedragstherapie en muziektherapie, uitgevoerd door Noorse onderzoekers en eerder dit jaar gepubliceerd door BMJ Paediatrics Open. Ik heb in CC verschillende collega’s gezet van Berkeley, Columbia en University College London; ze hebben ook de oorspronkelijke brief aan BMJ ondertekend en kijken net als ik uit naar een degelijke afhandeling van deze kwestie.

Zoals we meer dan een maand geleden in die brief al zeiden, zou een goede oplossing zijn dat de studie ingetrokken wordt, in afwachting van een tweede review door iemand die belooft om de paper te lezen – in tegenstelling tot de oorspronkelijke tweede reviewer. Aan de nieuwe reviewer zou men moeten vragen om het gepubliceerde werk te vergelijken met het studieprotocol en het statistisch analyseplan. Moesten de reviewer en BMJ dezelfde methodologische en ethische fouten identificeren die wij bespraken in onze brief en op Virology Blog, dan moet de studie worden ingetrokken.

In feite zou het een ervaren reviewer niet meer dan een uur tijd moeten kosten om de studiematerialen onder de loep te nemen en vast te stellen hoe de paper zelf afweek van wat vooropgesteld was in het studieprotocol en het statistisch analyseplan. Het zal wellicht iets langer duren om vast te stellen waarom de onderzoekers besloten om te doen wat ze gedaan hebben en waar BMJ’s peerreviewproces precies stukliep.

In de tussentijd hebt u misschien wel dit uitstekende artikel in de Noorse pers gezien, over de studie in BMJ Paediatrics Open. Het artikel bespreekt hoe vreemd het is dat de studie gedegradeerd werd van volledige studie naar haalbaarheidsstudie, en dat de onderzoekers er zelf voor kozen om daar in de gepubliceerde paper niets over te melden. Tevens benadrukt het artikel de negatieve resultaten voor dagelijks aantal stappen – de primaire en enige objectief gemeten uitkomst – en het belangrijke feit dat de interventiegroep het nog slechter deed op die meting dan diegenen die de interventie niet hadden gekregen.

Het Noorse artikel vermeldt niet dat postexertionele malaise, een uitkomst die in de paper in de verf wordt gezet, noch in het protocol, noch in het statistisch analyseplan stond. Verder zegt het artikel ook niks over het feit dat één van de twee reviewers van BMJ Paediatrics Open toegaf dat hij de paper niet had gelezen. Maar dan nog gaat het artikel wel over bedenkelijke zaken waarvoor nog steeds geen verklaring is gegeven. (Ik heb ook de journalist, Ingrid Spilde, bij dit bericht in CC gezet.)

Voordat ik BMJ over deze studie contacteerde, heb ik de senior onderzoeker rechtstreeks aangeschreven, om hem uit te nodigen tot commentaar op mijn bedenkingen, met het aanbod dat zijn volledig commentaar op Virology Blog gepost zou worden. Hij heeft daar niet op geantwoord.

Ik schreef ook naar de eerste reviewer. In tegenstelling tot de tweede reviewer, leek zij de paper wél gelezen te hebben, en ze stelde de schrandere en pertinente vraag of het onderzoek oorspronkelijk bedoeld was als een volledige studie of als een haalbaarheidsstudie. Ik wilde te weten komen of zij wist dat de onderzoekers, in reactie op haar vraag over het doel van het onderzoek, net deden alsof de studie bedoeld was geweest als haalbaarheidsstudie. Van haar heb ik ook geen antwoord gekregen.

Mijn collega’s en ik kijken ernaar uit om te weten te komen wat BMJ van plan is met deze problematische paper, die spijtig genoeg van invloed kan zijn op de behandeling van kinderen met ernstige ziekten – een erg kwetsbare groep. Gezien de vele methodologische en ethische onregelmatigheden in de paper, en gezien het feit dat BMJ hem toch publiceerde, ook al werden de gebruikelijke normen tijdens het peerreviewproces duidelijk niet nageleefd, vragen wij u met aandrang om zo snel mogelijk een aanvaardbaar besluit te trekken.

Vriendelijke groet,

David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

**********

Brief aan hoofdonderzoeker studie “gezondheidsangst” en CVS/ME (2 juli)

Onderwerpregel: Uitnodiging tot reactie op mijn kritiek op uw studie op Virology Blog

Geachte Dr. Daniels,

Ik ben journalist en academische fellow aan de School of Public Health aan University of California, Berkeley. Ik schrijf regelmatig over onderzoek op het domein van CVS, ME en andere zogenaamde somatisch onverklaarde lichamelijke klachten. Een groot deel van mijn werk verschijnt op Virology Blog, een wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)

Gisteren postte ik een kritiek op uw recente artikel “Prevalentie en behandeling van Chronisch Vermoeidheidssyndroom/Myalgische Encefalomyelitis en comorbide ernstige gezondheidsangst”, dat gepubliceerd werd door het International Journal of Clinical and Health Psychology. U kan mijn post hier lezen.

Kort gezegd vind ik dat u het bewijs wel erg breed interpreteert als u zegt dat gezondheidsangst bij CVS/ME de symptomen van de ziekte “erger maakt” en dus een specifiek behandelingsdoel moet zijn. Het is tevens ongeloofwaardig. De voorgestelde data leiden volgens mij niet tot die conclusie.

Omdat ik eerlijkheid en open debat belangrijk vind, wil ik u de kans geven om te reageren via hetzelfde kanaal waarop mijn kritiek verschenen is. Als u mij uw opmerkingen stuurt, hoe lang die ook zijn, zal ik ze met plezier volledig posten op Virology Blog, zonder onderbreking of redactioneel commentaar. (Als ik beslis om erop te reageren, zal ik dit doen in een afzonderlijke post.)

Vriendelijke groet,

David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/07/21/trial-by-error-another-letter-about-bmjs-music-therapy-study/

Trial By Error: nog een brief over BMJ’s muziektherapiestudie

David Tuller, DrPH, Virology Blog, 21 juli 2020

Ik wacht nog steeds op een antwoord van BMJ over de Noorse studie over cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid bij adolescenten na klierkoorts/Pfeiffer. De studie werd gepubliceerd in BMJ Paediatrics Open. Ik heb er hier over geschreven.

Vanochtend stuurde ik volgende brief naar de coördinator voor onderzoeksintegriteit van BMJ die gereageerd had op de oorspronkelijke brief van mij en vier collega’s – Jonathan Edwards van University College London, Vincent Racaniello en Mady Hornig van Columbia en John Swartzberg van Berkeley.

Deze collega’s stonden in CC bij mijn uitwisseling met de coördinator voor onderzoeksintegriteit, samen met de hoofdredacteur van het vakblad, BMJ’s redactioneel directeur en een Noorse journalist die over de studie heeft geschreven. Mijn brief staat hieronder.

**********

Geachte Mevr. Ragavooloo,

Ik neem opnieuw contact met u op omtrent de stand van zaken van het onderzoek dat BMJ voert naar de studie over cognitieve gedragstherapie in combinatie met muziektherapie als behandeling voor chronische vermoeidheid bij adolescenten na acute EBV-infectie. Eén van de vele fouten was, dat de studie ten onrechte werd gepubliceerd als haalbaarheidsstudie, en dat één van de peerreviewers van BMJ toegaf dat hij “niet verder dan het abstract” had gelezen.

Mijn collega’s en ik schreven BMJ twee maanden geleden voor het eerst over de vele fouten in de paper. Twee weken geleden liet u ons weten dat de zaak nog steeds onderzocht wordt. U gaf geen tijdspanne waarin u stappen zou ondernemen om het probleem op te lossen.

Artsen en ouders die informatie zoeken omtrent behandelingen voor zieke kinderen en deze paper tegenkomen, zullen er geen idee van hebben dat de paper het strenge peerreviewproces van BMJ niet doorlopen heeft. Het is onrustwekkend dat de studie in het publieke domein blijft staan, zonder enige waarschuwing aan lezers dat de studie de strenge normen van BMJ zelf niet haalt. Dat ze BMJ’s stempel draagt, creëert de indruk dat de studie legitiem en betrouwbaar is. Als een artikel die veronderstelde legitimiteit en betrouwbaarheid niet verdient omdat het peerreviewproces niet naar behoren werd uitgevoerd, zou BMJ dit onmiddellijk aan lezers duidelijk moeten maken, of ten minste zo snel mogelijk, om verspreiding van mogelijk schadelijke desinformatie te voorkomen.

Tot dusver is dat niet gebeurd. Kan u alstublieft toch een tijdskader geven voor het oplossen van dit probleem? En zou u de lezer in de tussentijd kunnen informeren, via een goed zichtbare nota, dat de studie in feite geen geldige peerreview heeft gehad?

Vriendelijke groet,

David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


https://www.virology.ws/2020/07/25/trial-by-error-why-wont-bmj-take-action-on-music-therapy-study/

Trial By Error: experts Columbia vragen BMJ dringend om intrekking problematische studie

David Tuller, DrPH, Virology Blog, 25 juli 2020

Op donderdag schreven Professor Vincent Racaniello en Maddy Hornig, beiden van Columbia University, naar de coördinator voor onderzoeksintegriteit van BMJ. Ik had eerder al schriftelijk contact met BMJ, en meer bepaald met de coördinator voor onderzoeksintegriteit, over de Noorse studie over cognitieve gedragstherapie in combinatie met muziektherapie als behandeling voor chronische vermoeidheid bij adolescenten na acute EBV-infectie (in België bekend als klierkoorts en in Nederland als ziekte van Pfeiffer). BMJ Paediatrics Open publiceerde de paper een paar maanden geleden.

Buiten verschillende problemen met de paper zelf (zie onder), lijkt ook het peerreviewproces te zijn stukgelopen. BMJ Paediatrics Open werkt met open peerreviews en de reviews worden gepost op de website van het vakblad. In dit geval schreef één van de twee peerreviewers in zijn review dat hij “niet verder dan het abstract” had gelezen. (Hij gaf een paar opmerkingen op het abstract.)

Om een nog onverklaarde reden was het feit dat de reviewer toegaf dat hij de paper zelf niet had nagekeken geen struikelblok voor publicatie in BMJ Paediatrics Open. Het is niet duidelijk of de redacteurs de peerreview lazen en beslisten dat het niet erg was dat de reviewer de paper niet had gelezen, of ze de review wél hadden gelezen maar die uitspraak in kwestie niet hebben gezien, of dat ze de review helemaal niet hebben gelezen. Wat de verklaring ook zij, dit is een enorme peerreviewblunder voor BMJ.

Samen met collega’s van Columbia, Berkeley en University College London stuurde ik BMJ een brief om de redacteurs te wijzen op dit probleem, alsook op onze vele methodologische en ethische bedenkingen over de paper zelf. Dat is al bijna twee maanden geleden. En toch heeft BMJ Paediatrics Open bij deze paper nog steeds geen waarschuwing gezet over het feit dat de paper niet voldeed aan de strenge normen voor peerreview van BMJ zelf. BMJ heeft ook geen einddatum gegeven tegen wanneer de overduidelijke problemen in deze paper opgelost zullen zijn. Waar wacht BMJ nog op?

Als ze cruciale bedenkingen over wetenschappelijke integriteit op zo’n nonchalante manier benaderen, waarom hebben ze dan een coördinator voor onderzoeksintegriteit? Je kan hier ook uit afleiden dat ze verbluffend onverschillig staan tegenover de gezondheid van kinderen die lijden aan een ernstige postvirale aandoening – en zeker nu de planeet overspoeld wordt door een virale pandemie met mogelijk enorme gevolgen op lange termijn.

Naast het gebrekkige peerreviewproces stonden er in de studie ook meerdere fouten, waaronder o.a. de volgende:

1) In zowel studieprotocol, de registratie als het statistisch analyseplan werd het onderzoek omschreven als een studie met volledige statistische kracht. Maar er waren moeilijkheden bij de rekrutering, de interventiegroep kende een hoge uitval en de resultaten vielen tegen. De gepubliceerde paper stelde het onderzoek voor als een haalbaarheidsstudie zonder te vermelden dat ze in feite ontworpen was als studie met volledige statistische kracht. De onderzoekers suggereerden in hun conclusies dat de resultaten “wellicht een volledige klinische studie rechtvaardigen” – ook al hadden ze net zulke studie uitgevoerd en had dat niet de gewenste resultaten opgeleverd.

2) “Postexertionele malaise” werd als uitkomst uitgelicht in de gepubliceerde paper, maar stond niet vermeld in de studieregistratie, het protocol of het statistisch analyseplan.

3) De primaire uitkomst was het gemiddeld aantal stappen per dag, objectief gemeten. Beide groepen deden het slechter op deze meting na de studie dan bij het begin, en de achteruitgang was zelfs groter bij diegenen die de behandeling hadden gekregen. In hun conclusie argumenteerden de onderzoekers dat de bevindingen “wellicht een volledige klinische studie rechtvaardigen”, maar verwezen hierbij niet naar deze zwakke resultaten op de vooraf bepaalde primaire uitkomst.

4) De onderzoekers ontwikkelden een definitie van “herstel” die de objectief gemeten primaire uitkomst negeerde en enkel en alleen voortging op een subjectieve secundaire uitkomst. Vervolgens stelden ze deze twijfelachtige data over “herstel” enkel voor in een analyse-volgens-protocol, in plaats van een analyse-volgens-behandelingsintentie. Een analyse-volgens-protocol houdt per definitie geen rekening met de hoge uitval in de interventiegroep, wat in dit geval leidde tot een opgeschroefde gerapporteerde graad van “herstel”.

In hun brief aan de coördinator voor onderzoeksintegriteit van BMJ merkten Professor Racaniello en Hornig op dat verder uitstel van deze kwestie onhoudbaar is. Ze schreven: “Het is wel duidelijk dat BMJ verplicht is om lezers onmiddellijk op de hoogte te stellen van het feit dat de paper geen degelijke peerreview heeft doorlopen, en als de door Dr. Tuller gedocumenteerde methodologische fouten bevestigd worden, dan moet de paper worden ingetrokken.”

Bij de brief stonden in CC andere medeondertekenaars van de eerste brief (Professor Jonathan Edwards van University College London, Professor John Swartzberg van UC Berkeley en ikzelf). Verder stonden in CC Professor Imti Choonara, redacteur van BMJ Paediatrics Open; Dr. Fiona Godlee, BMJ’s redactioneel directeur; en Ingrid Spilde, een Noorse journalist die over de studie heeft geschreven.

**********

Geachte Mevr. Ragavooloo,

Wij hopen dat u deze lastige tijden goed doorstaat.

Nu er steeds meer meldingen zijn van langdurige post-Covid-19-symptomen en men vreest dat deze postvirale syndromen zouden kunnen uitgroeien tot ME (die bezorgdheid werd ook geuit door NIAID-directeur Dr. Anthony Fauci, op 9 juli 2020, https://edition.cnn.com/world/live-news/coronavirus-pandemic-07-09-20-intl/h_5125152a01f8c98d362cf15d6860ab37), gaan artsen steeds vaker op zoek naar betrouwbare bronnen over postvirale vermoeidheid en over ME, en hoe je daar best mee omgaat.

Het zou voor BMJ toch zeker van vitaal belang moeten zijn om ervoor te zorgen dat de publicaties die de lezers raadplegen voor klinisch advies, degelijke peerreview hebben doorstaan en vrij zijn van studie. [*]

Het is in deze context dat wij willen onderstrepen hoe belangrijk het is om snel met een oplossing te komen voor de kwesties waarop Dr. Tuller, samen met ons en andere collega’s, voor het eerst uw aandacht vestigde op 31 mei 2020.

BMJ heeft hier vanzelfsprekend de verplichting om lezers onmiddellijk op de hoogte te stellen van het feit dat de paper geen degelijke peerreview heeft gehad en, als de door Dr. Tuller gedocumenteerde methodologische fouten bevestigd worden, moet de paper worden ingetrokken.

Wij danken u alvast voor uw weloverwogen aandacht en hopen dat u hier snel werk van maakt.

Hoogachtend,

Vincent R. Racaniello, PhD

Professor Microbiologie en Immunologie

Columbia University

New York, New York, VSA

Mady Hornig, MA, MD

Hoofddocent Epidemiologie

Columbia University Mailman School of Public Health

New York, New York, VSA

**********

[*]Trouwens, als je een foutje hebt gezien in de derde paragraaf van de brief, goed opgemerkt! Er werd mij verteld dat het zinsdeel “vrij van studie” eigenlijk had moeten zijn “vrij van protocolafwijkingen, ethische onregelmatigheden en andere problemen”. Oeps! Ik ga ervan uit dat BMJ het wel begrepen zal hebben.

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


Lees ook

Geef een reactie

Zijbalk

Volg ons
ma
di
wo
do
vr
za
zo
m
d
w
d
v
z
z
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
Datum/Tijd Evenement
28/03/2024
19:00 - 19:30
Wat als ze niet zien dat je ziek bent? (Radio Aalsmeer)
16/04/2024
15:30 - 16:45
Webinar onderzoeksprogramma ME/CVS (ZonMw)
19/04/2024
00:00
Nederlandse Long COVID Dag 2024
Recente Links