random
Artikels

Hits: 659
Geplaatst
door: ME-gids
op: 16 mrt 2018
Bijgewerkt: 16 mrt 2018
Bron: David Tuller, Virology Blog

Trial by error: een brief aan Archives of Disease in Childhood


David Tuller, DrPH, Virology Blog, 30 januari 2018

Eerder vandaag [30 januari 2018, n.v.d.r.] e-mailde professor Racaniello de volgende brief naar Nick Brown, de hoofdredacteur van Archives of Disease in Childhood, een van de wetenschappelijke tijdschriften van de BMJ Groep. Archives heeft onlangs een studie gepubliceerd over het Lightning Process bij kinderen met ME/cvs.

**********



Geachte Dr. Brown,

In september heeft Archives of Disease een studie gepubliceerd met als titel “Clinical and cost-effectiveness of the Lightning Process in addtion to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische doeltreffendheid en kosteneffectiviteit van het Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie, n.v.d.r.] [1]. Zoals veel studies naar deze ziekte was het een studie met open onderzoeksopzet met zelfgerapporteerde uitkomsten – een studieontwerp waarvan bekend is dat het zeer gevoelig is voor bias.

De onderzoekers hebben kritiek gekregen op hun initiële beslissing om een pediatrische studie van het Lightning Process uit te voeren – een commerciële, pseudowetenschappelijke interventie die elementen van levenscoaching, osteopathie en neurolinguïstisch programmeren combineert. De interventie moedigt deelnemers aan om te rapporteren dat het hen beter gemaakt heeft, een andere bron van potentiële bias. Naast de beslissing om het Lightning Process te bestuderen, leed de studie onder andere aan grote kruisbesmetting tussen behandelingsgroepen en aanzienlijk verlies bij follow-up.

Naast deze problemen zijn we ook bezorgd over een methodologische anomalie die gemeld werd op Virology Blog door David Tuller van de University of California, Berkeley: een eerdere haalbaarheidsstudie werd uitgebreid naar een volledige studie, terwijl de onderzoekers de primaire en secundaire uitkomsten verwisselden in navolging van een evaluatie van de resultaten van de haalbaarheidsstudie [2]. De onderzoekers hebben ethische goedkeuring gekregen voor deze veranderingen in het studieontwerp, maar hebben verzaakt om deze te vermelden in de paper in Archives, hoewel de veranderingen ervoor zorgden dat de bevindingen veel positiever gepresenteerd konden worden dan anders het geval zou zijn geweest.

Deze veranderingen worden alleen zichtbaar via evaluatie van andere studiegerelateerde documenten, zoals de registratie [3], het protocol van de haalbaarheidsstudie [4] en het protocol van de volledige studie [5]. Onze specifieke bekommernissen omvatten het volgende:

  • De onderzoekers registreerden de studie als een prospectieve studie. Maar meer dan de helft van de steekproef waren blijkbaar deelnemers die gerekruteerd werden voor de haalbaarheidsstudie [6], die bijna twee jaar voor de registratiedatum startte. De paper in Archives vermeldde dit feit niet of verklaarde de discrepantie tussen de data niet.
  • In het protocol van de haalbaarheidsstudie was aanwezigheid op school na zes maanden de primaire uitkomst, en zelfgerapporteerd fysiek functioneren na zes maanden was een secundaire uitkomst. Na het evalueren van de resultaten van de haalbaarheidsstudie verwisselden de onderzoekers deze uitkomstmaten voor de volledige studie – schoolaanwezigheid na zes maanden werd een secundaire uitkomst, en zelfgerapporteerd fysiek functioneren na zes maanden werd de primaire uitkomst. De Archives-paper maakte geen gewag van de uitkomstenverwisseling die plaatsvond nadat meer dan de helft van de steekproef data had verstrekt als deelnemers aan de haalbaarheidsstudie.
  • Als belangrijkste bevinding belichtte de paper in Archives de gerapporteerde voordelen in de Lightning Process-groep voor zelfgerapporteerd fysiek functioneren na zes maanden, de nieuwe primaire uitkomst. Zelfgerapporteerde aanwezigheid na zes maanden, nu een secundaire uitkomst, leverde nulresultaten op en werd amper vermeld in de paper in Archives. Dus de uitkomstenverwisseling stond de onderzoekers toe om positieve resultaten te rapporteren voor hun primaire uitkomst. Hadden ze de uitkomsten niet verwisseld nadat meer dan de helft van de steekproef gegevens verstrekt had, hadden ze nulresultaten van de primaire uitkomst moeten rapporteren.
  • In zowel het protocol van de haalbaarheidsstudie als het protocol van de volledige studie, beloofden de onderzoekers om officiële schoolaanwezigheidsregisters op te vragen als aanvulling op de zelfgerapporteerde aanwezigheid op school. De paper in Archives verschafte geen officiële registraties van schoolaanwezigheid, hoewel het de nadruk legde op de voordelen na 12 maanden in zelfgerapporteerde aanwezigheid op school. De onderzoekers boden geen verklaring voor het ontbreken van deze officiële registraties van aanwezigheid op school. Interessant is dat in een recent nieuwsbericht gesteld werd dat de officiële schoolaanwezigheidsregisters de zelfgerapporteerde resultaten van aanwezigheid op school bevestigden, wat suggereert dat deze gegeven in feite verzameld werden.
  • Het is niet verrassend dat de berichtgeving in de media over de paper in Archives focuste op de gerapporteerde voordelen in de Lightning Process-groep voor de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren na zes maanden. De nulresultaten voor aanwezigheid op school na zes maanden, de originele primaire uitkomst, werd grotendeels genegeerd. De verwisseling van de uitkomsten die plaatsvond nadat de helft van de steekproef gegevens had verstrekt – en die de Archives- paper niet vermeldde – zorgde ervoor dat de gerapporteerde bevindingen meer positieve media-aandacht kregen dan ze anders zouden hebben gekregen.

Transparantie is essentieel in wetenschappelijk onderzoek. In dit geval verzaakte de paper in Archives om opvallende en relevante informatie bekend te maken over de samenstelling van de steekproef, het verwisselen van de uitkomsten, en de officiële registers van aanwezigheid op school. Deze ontbrekende details zouden – indien verstrekt – anderen helpen om de validiteit en betrouwbaarheid van de gerapporteerde bevindingen beter te beoordelen.

De paper in Archives moet gecorrigeerd worden en erkennen dat de steekproef de deelnemers aan de haalbaarheidsstudie bevatte en dat de evaluatie van hun gegevens geleid heeft tot de beslissing om de uitkomstmaten te verwisselen. De paper zou ook de aparte resultaten moeten voorleggen voor de deelnemers in de haalbaarheidsstudie en zij die achteraf gerekruteerd werden. En de gecorrigeerde versie moet de status van de officiële schoolaanwezigheidsregisters verduidelijken; als deze gegevens verzameld werden, zoals het recente nieuwsbericht suggereerde, dan moeten ze ook gerapporteerd worden.

We dringen er bij de Archives of Disease in Childhood op aan om deze zorgen ernstig te nemen en ze onverwijld aan te pakken.

Met vriendelijke groet -

Vincent R. Racaniello, PhD
Professor of Microbiology and Immunology
Columbia University
New York, NY, USA

Lisa F. Barcellos, MPH, PhD
Professor of Epidemiology
School of Public Health
California Institute for Quantitative Biosciences
University of California, Berkeley
Berkeley, CA, USA

Robin Callender Smith, PhD
Professor of Media Law
Centre for Commercial Law Studies
Queen Mary University of London
Barrister and Information Rights Judge
London, UK

Lily Chu, MD, MSHS
Independent Consultant
Burlingame, CA, USA

Ronald W. Davis, PhD
Professor of Biochemistry and Genetics
Stanford University
Stanford, CA, USA

Jonathan C.W. Edwards, MD
Emeritus Professor of Medicine
University College London
London, UK

Valerie Eliot Smith
Barrister and Visiting Scholar
Centre for Commercial Law Studies
Queen Mary University of London
London, UK

Rebecca Goldin, PhD
Professor of Mathematics
George Mason University
Fairfax, VA, USA

Leonard A. Jason, PhD
Professor of Psychology
DePaul University
Chicago, IL, USA

Michael W. Kahn, MD
Assistant Professor of Psychiatry
Harvard Medical School
Boston, MA, USA

Nancy Klimas, MD
Director, Institute for Neuro-Immune Medicine
Nova Southeastern University
Director, Miami VA Medical Center GWI and CFS/ME Program
Miami, FL, USA

Bruce Levin, PhD
Professor of Biostatistics
Columbia University
New York, NY, USA

Steven Lubet
Williams Memorial Professor of Law
Northwestern University Pritzker School of Law
Chicago, IL, USA

Marlon Maus, MD, DrPH, FACS
Director, DrPH Program
School of Public Health
University of California, Berkeley
Berkeley, CA, USA

Patrick E. McKnight, PhD
Professor of Psychology
George Mason University
Fairfax, VA, USA

Zaher Nahle, PhD, MPA
Vice President for Research and Scientific Programs
Solve ME/CFS Initiative
Los Angeles, CA, USA

Philip B. Stark, PhD
Professor of Statistics
University of California, Berkeley
Berkeley, CA, USA

John Swartzberg, MD
Clinical Professor Emeritus
School of Public Health
University of California, Berkeley
Berkeley, CA, USA

David Tuller, DrPH
Senior Fellow in Public Health and Journalism
Center for Global Public Health
University of California, Berkeley
Berkeley, CA, USA

William Weir, FRCP
Infectious Disease Consultant
London, UK

Carolyn Wilshire, PhD
Senior Lecturer
School of Psychology
Victoria University of Wellington
Wellington, New Zealand

**********

[1] Crawley EM, Gaunt DM, Garfield K, et al. 2018. Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 103(2):155-164

[2] Tuller D. 2017. Trial by error: the SMILE trial’s undisclosed outcome-swapping. Virology Blog; Dec 13. Accessed at: http://www.virology.ws/2017/12/13/trial-by-error-the-smile-trials-undisclosed-outcomes/

[3] ISRCTN Registry: ISRCTN8145620. July 31, 2012. Specialist Medical Intervention & Lightning Evaluation: Comparing specialist medical care with specialist medical care plus the Lightning Process for Chronic Fatigue Syndrome or Myalgic Encephalopathy (CFS/ME). Accessed at: http://www.isrctn.com/ISRCTN81456207

[4] Crawley EM, et al. July 2010. SMILE Protocol v6: Assessing the feasibility and acceptability of comparing the Lightning Process with specialist medical care for Chronic Fatigue Syndrome or Myalgic Encephalopathy (CFS/ME)–pilot Randomised Controlled Trial. Accessed at: http://www.bristol.ac.uk/media-library/sites/ccah/migrated/documents/smprotv6final.pdf

[5] Crawley EM, Mills N, Hollingworth W, et al. 2013. Comparing specialist medical care with specialist medical care plus the Lightning Process® for chronic fatigue syndrome or myalgic encephalomyelitis (CFS/ME): study protocol for a randomised controlled trial (SMILE Trial). Trials; 14:444

[6] Crawley EM, Mills N, Beast L, et al. 2013 The feasibility and acceptability of conducting a trial of specialist medical care and the Lightning Process in children with chronic fatigue syndrome:: feasibility randomized controlled trial (SMILE study). Trials; 14:415.

© David Tuller & Vincent Racaniello, Virology Blog. Vertaling zuiderzon, redactie abby, ME-gids.


Lees ook


| |

Nog geen reacties geplaatst

Alleen ingelogde gebruikers kunnen een reactie plaatsen. Registreren of inloggen.