Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Trial by error: de Crawley-kronieken hervat

David Tuller, DrPH, Virology Blog, 13 december 2017

Laten we het hebben over de SMILE-trial van Professor Esther Crawley, die in september gepubliceerd werd door het wetenschappelijk vakblad Archives of Disease in Childhood, een van de titels van de BMJ Publishing Group. De studie rapporteerde dat een commerciële interventie, Lightning Process genaamd, een effectieve behandeling was voor kinderen met CVS/ME wanneer het samen aangeboden wordt met wat “gespecialiseerde medische zorg” genoemd wordt.

SMILE was een studie met een open onderzoeksopzet die berust op subjectieve responsen, een studieontwerp dat zeer gevoelig is voor bias. In dit geval was zelfgerapporteerd fysiek functioneren de primaire uitkomst, net zoals het een van de twee primaire uitkomsten in PACE was. (De volledige naam is: “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial.” [“Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial.”])

Het Lightning Process, dat zichzelf een “trainingsprogramma” noemt, is een mix van osteopathie, levenscoaching en neurolinguïstisch programmeren. Veel hiervan bestaat uit lessen en oefeningen die betrekking hebben op positieve affirmaties. Net als bij de vorm van cognitieve gedragstherapie die gebruikt wordt om ME/CVS te behandelen, wordt deelnemers verteld dat ze hun ziekte kunnen overwinnen door hun gedachtenpatronen te veranderen. Door beoefenaars van Lightning Process is beweerd dat deze aanpak succes geboekt heeft in een breed scala aan ziekten, waaronder multiple sclerose, eetstoornissen en verslaving, onder andere. Maar de Britse Advertising Standards Authority heeft dergelijke medische claims misleidend bevonden en niet ondersteund door het beschikbare bewijsmateriaal.

Phil Parker, de ontwikkelaar van het Lightning Process, lijkt betrokken geweest te zijn in enkele andere interessante projecten. Een daarvan was iets dat het “European College of Holistic Medicine Healing Course” [Europees Instituut voor Holistische Geneeskunde: Genezingscursus, n.v.d.r.] wordt genoemd, waarvan hij co-docent was. Volgens een gearchiveerde website was deze cursus ontworpen om anderen te helpen hun vaardigheden als genezers te ontwikkelen. Het omvatte bijvoorbeeld training over modaliteiten als “kaarten en tarot voor waarzeggende geneeskunde,” aangezien “waarzeggerij nuttig is in het creëren van sterke verbinding met genezende/spirituele gidsen.” Het traint ook student-genezers in hoe “een ruimte geschikt voor te bereiden zodat eventuele energie die de kamer verstoort, niet interfereert met het werk dat je doet” en in “het gebruik van aura’s voor de diagnose van problemen van een cliënt.”

Hier is Phil Parkers biografie van dezelfde gearchiveerde website: “Phil Parker staat reeds bij velen bekend als een inspirerende leraar, therapeut, genezer en auteur. Zijn persoonlijke helende reis begon, toen hij met zijn patiënten als osteopaat werkte. [Zin ontbreekt in het origineel.] Hij ontdekte dat hun lichamen hem plots belangrijke stukjes informatie over hen en hun verleden vertelden, die tot zijn verbazing feitelijk correct bleken te zijn! In de loop der jaren ontwikkelde hij verder zijn vermogen om in andere mensen hun lichaam te stappen om hen te assisteren in hun genezing, met verbluffende resultaten. Na 20 jaar als genezer gewerkt te werken, heeft Phil Parker een krachtig en magisch programma ontwikkeld om uw natuurlijke genezingsvermogens te helpen ontgrendelen. Als u zich aangetrokken voelt tot deze cursussen, dan bent u waarschijnlijk klaar om deel te nemen.”

(Als iets in de twee bovenstaande paragrafen niet correct is, spoor ik Phil Parker aan contact met me op te nemen door Virology Blog te e-mailen op virology@virology.ws en ik zal onmiddellijk eventuele gedocumenteerde fouten corrigeren.)

Ik zal anderen laten debatteren over het feit of professor Crawley ethische goedkeuring had moeten ontvangen om het handelsmerk van Phil Parker, Lightning Process, bij kinderen te bestuderen. Ik wil in plaats daarvan een methodologische anomalie bespreken die gewetensvolle onderzoekers – om maar te zwijgen van verantwoordelijke peerreviewers en redacteurs van vakbladen – zouden herkennen als een geweldige manier om resultaten te beïnvloeden. Zoals vaak het geval is, kan ik de eer niet opeisen dat ik zelf dit probleem heb opgemerkt. Ik werd op de hoogte gebracht door commentaren van enkele scherpzinninge speurneuzen op een patiëntenforum.

Dit is weer een lange en erg gecompliceerde post. (Sorry!!) Dit zijn de hoofdpunten:

• Meer dan de helft van de deelnemers in de SMILE-trial waren blijkbaar deelnemers aan een eerdere haalbaarheidsstudie. Dat betekent dat de meeste, zo niet alle, deelnemers gerekruteerd waren en data verstrekt hadden voordat het protocol van de volledige studie goedgekeurd was. Aangezien SMILE deze eerdere data samengevoegd heeft met de data van de deelnemers die later gerekruteerd werden, was de volledige studie zelf geen onafhankelijk onderzoek van de informatie die gegenereerd werd door de haalbaarheidsstudie.

• Op basis van de resultaten van de haalbaarheidsstudie heeft professor Crawley haar primaire en secundaire uitkomstmaten verwisseld. De originele primaire uitkomst in de haalbaarheidsstudie – aanwezigheid op school na zes maanden – werd gedegradeerd tot de status van secundaire uitkomstmaat. De subjectieve meting van zelfgerapporteerd fysiek functioneren, die een secundaire meting was voor de haalbaarheidsstudie, werd de primaire uitkomst voor de volledige studie. (In het protocol van de volledige studie werd zelfgerapporteerde vermoeidheid ook als een primaire uitkomst vermeld. Om onbekende redenen werd het gedegradeerd tot een secundaire uitkomst in het rapport van de volledige studie.)

• De resultaten verwisselen op basis van de bevindingen van de haalbaarheidsstudie en tegelijkertijd het uitbreiden van de haalbaarheidsstudie naar de volledige studie kan gemakkelijk significante bias in de finale paper geïntroduceerd hebben. Hoe veel bias kan op dit moment niet worden vastgesteld, aangezien professor Crawley geen afzonderlijke analyse verstrekt heeft van de resultaten van de haalbaarheidsstudie voor fysiek functioneren en aanwezigheid op school. Die bias zou bijgedragen hebben aan de bias die reeds gegenereerd werd door bij een studie met open onderzoeksopzet te vertrouwen op een subjectieve uitkomst – zelfgerapporteerd fysiek functioneren.

• Professor Crawley beloofde om verificatie te vragen van zelfgerapporteerde aanwezigheid op school door de officiële registratiegegevens van aanwezigheden op school op te vragen. Hoewel ze dit in de protocollen vermeld heeft voor zowel de haalbaarheidsstudie als de volledige studie, zijn deze schoolgegevens nergens anders vermeld in het rapport van de volledige studie. Noch besprak ze de haalbaarheid van toegang tot deze gegevens op de logische plaats, nl. het rapport van de haalbaarheidsstudie. Eén mogelijke en erg logische conclusie is dat ze deze objectieve data verkregen heeft, maar besloten heeft ze niet te vermelden omdat ze geen optimale resultaten opleverden.

• De registratie van de studie gaf aan dat SMILE een prospectieve studie was. Maar de registratieaanvraagdatum van 7 juni 2012 viel bijna exact samen met het einde van het rekruteringstermijn voor de haalbaarheidsstudie, die meer dan de helft aanleverde van degenen die uiteindelijk in de definitieve steekproef werden opgenomen. De paper van de volledige studie vermeldde niet dat meer dan de helft van de deelnemers uit de haalbaarheidsstudie kwamen en dat hun gegevens tot de beslissing geleid hebben om de uitkomsten te verwisselen. Per definitie mag een prospectieve studie geen gegevens bevatten van eerder geëvalueerde deelnemers. Als het dat wél bevat, is het duidelijk geen prospectieve studie.

• Op basis van de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren, rapporteerde de paper van de volledige studie dat het Lightning Process in combinatie met gespecialiseerde medische zorg effectief was in het behandelen van kinderen met CVS/ME. De paper van de volledige studie rapporteerde ook dat aanwezigheid op school na zes maanden – de originele primaire uitkomst in de haalbaarheidsstudie – tot een nulresultaat leidde. Dus het verwisselen van de uitkomsten dat plaatsvond nadat meer dan de helft van de steekproef van de volledige studie al gerekruteerd was voor de haalbaarheidsstudie, gaf professor Crawley de mogelijkheid om meer indrukwekkende resultaten te rapporteren dan wanneer ze had vastgehouden aan de meting van zes maanden aanwezigheid op school als de primare uitkomst.

• Het is niet verrassend dat mediaberichten grotendeels focusten op de positieve resultaten voor de zelfgerapporteerde resultaten van fysiek functioneren en niet op de nulresultaten voor de originele primaire uitkomst. Zonder het verwisselen van de uitkomst, wat plaatsvond nadat meer dan de helft van de deelnemers voor de paper van de volledige studie data had verstrekt als deel van de haalbaarheidsstudie, zou het finale rapport niet in staat geweest zijn om zo’n optimistisch perspectief te presenteren.

• Gezien deze grote gebreken en de vele bijkomende problemen die door anderen aangehaald worden, is de onvermijdelijke conclusie dat de SMILE-trial nooit goedgekeurd had mogen worden, en nog veel minder gepubliceerd.

Om begrijpelijke redenen heb ik professor Crawley niet gecontacteerd om antwoorden te vragen op mijn zorgen over SMILE. Maar laat me nogmaals heel, heel duidelijk stellen dat ik opensta voor het weerwoord van professor Crawley. Als ze eventuele fouten of onjuistheden kan documenteren, zal ik die natuurlijk onmiddellijk corrigeren. Als ze geen fouten of onjuistheden kan documenteren maar gewoon bezwaar maakt tegen mijn toon en mijn interpretatie van de feiten, dan dring ik er bij haar op aan om mij haar reactie te sturen, ongeacht hoe lang die is, en ik zal het allemaal op Virology Blog posten.

Overigens geldt dit aanbod ook voor alles wat ik heb gepubliceerd over professor Crawleys werk sinds mijn post van 22 november 2016, getiteld “Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen” – degene die ze liet zien in haar dia over mijn “lasterlijke blogs.”

**********

Nu tijd voor de lange versie van het verhaal.

In juli 2010 diende professor Crawley een protocol in voor een haalbaarheidsstudie om in te schatten of een volledige studie naar het gebruik van Lightning Process bij kinderen uitgevoerd kon worden. Een haalbaarheidsstudie is een pilootstudie ontworpen om preliminaire informatie te genereren waarop een groter onderzoek gebaseerd kan worden, als dit gerechtvaardigd is. Voor deze haalbaarheidsstudie is dit hoe professor Crawley de primaire en secundaire uitkomsten beschreef:

“De primaire uitkomst voor de interventies zal aanwezigheid op school / thuisonderwijs na 6 maanden zijn. Secundaire uitkomstmaten zullen aanwezigheid op school na 6 weken, 3 maanden en 12 maanden zijn; de SF36 (fysiek functioneren) op 6 weken, 3 maanden, 6 maanden en 12 maanden en een visueel analoge pijnschaal op 6 maanden.” (Onze bedenking hierbij gaat enkel over de metingen van aanwezigheid op school en fysiek functioneren.)

Zelfgerapporteerde aanwezigheid op school kan sterk beïnvloed worden door onnauwkeurige herinnering evenals andere factoren, dus het is ook mogelijk gevoelig voor significante bias, zoals zelfgerapporteerd fysiek functioneren. Vermoedelijk is dat de reden waarom professor Crawley volgende informatie toegevoegd heeft over hoe aanwezigheid op school gemeten zou worden:

“Kinderen en jongeren wordt gevraagd naar aanwezigheid op school en thuisonderwijs in een inventaris van twee items. We zullen toestemming vragen om aanwezigheid op school te controleren door gebruik te maken van schoolgegevens en zullen dit doen bij de beoordeling na 3 maanden 6 maanden en 12 maanden.” (De verwachte komma na “3 maanden” is niet aanwezig in het protocol van de haalbaarheidsstudie.)

Met andere woorden, het protocol beloofde een poging te doen om de zelfrapportages van aanwezigheid op school af te toetsen tegen de feitelijke gegevens van de scholen. Dit was een slimme beslissing, ontworpen om de objectiviteit en accuraatheid van de gerapporteerde bevindingen te helpen verzekeren. Het protocol werd goedgekeurd.

Volgens de gepubliceerde haalbaarheidsstudie werden 56 deelnemers aangemeld tussen september 2010 en juni 2012. De paper beschreef in detail het proces van het uitvoeren van de studie en omvatte de bespreking van de rekruteringsinspanningen, houdingen tegenover het Lightning Process, en andere kwesties in verband met de haalbaarheid van het nastreven van een volledige studie. Het bevatte niet de kwantitatieve resultaten voor aanwezigheid op school, fysiek functioneren en andere uitkomstmaten. Op basis van de voorlopige bevindingen werd er een protocol voor een volledige studie geschreven. Dit protocol werd ingediend voor publicatie in december 2012 bij het medisch tijdschrift Trials, dat het een jaar later publiceerde.

In het nieuwe protocol werden de primaire en secundaire uitkomsten verwisseld. Zelfgerapporteerd fysiek functioneren na 6 maanden was nu een primaire uitkomst. Aanwezigheid op school na zes maanden werd gedegradeerd tot de status van secundaire uitkomst, samen met aanwezigheid op school bij de evaluatieperioden na 3 maanden en 12 maanden. De beoordeling na zes weken werd weggelaten. Net als in het protocol van de haalbaarheidsstudie, beloofde het protocol voor de volledige studie dat de onderzoekers zouden proberen toegang te krijgen tot objectieve gegevens van de scholen: “We zullen om toestemming vragen om aanwezigheid op school te controleren door gebruik te maken van schoolgegevens bij evaluatie op 3, 6 en 12 maanden.” (Zelfgerapporteerde vermoeidheid werd ook vermeld in het nieuwe protocol als nog een primaire uitkomst, hoewel het om onverklaarbare redenen gedegradeerd werd tot een secundaire uitkomst in het rapport van de SMILE-studie.)

Dan voerde professor Crawley de volledige studie uit – alleen niet helemaal. Wat ze in plaats daarvan deed, was de haalbaarheidsstudie naadloos uitbreiden naar de volledige studie, waarbij de resultaten van deze eerste deelnemers ingepast werden in de analyse voor het finale SMILE-rapport in Archives of Disease in Childhood. Er waren 100 deelnemers in de totale steekproef voor de volledige studie. Gezien het aantal deelnemers in de haalbaarheidsstudie, werden vermoedelijk slechts 44 van degenen in de volledige studie aangemeld nadat de veranderingen in het protocol goedgekeurd waren. (Ik schrijf “vermoedelijk” omdat het aantal alleen gebaseerd is op een eenvoudige berekening met behulp van de beschikbare informatie. Als deze berekening fout is, is het niet vanwege mijn rudimentaire statistische opleiding maar omdat de gepubliceerde gegevens ondoorzichtig zijn over de hele kwestie.)

Waarom is dat een probleem? Wel, het was misschien geen probleem geweest als professor Crawley de uitkomstmaten in het protocol voor de volledige studie niet verwisseld had – en dan in die studie de deelnemers van de haalbaarheidsstudie opnam, van wie de resultaten tot deze grote veranderingen leidden. De verwisseling van uitkomsten had een grote impact op hoe de bevindingen gerapporteerd werden in het Archives of Disease in Childhood – wat op zijn beurt een grote impact had op hoe de media de studie belichtten. In dergelijke omstandigheden zou het beter geweest zijn om een volledig nieuwe studie uit te voeren om te testen of de bevindingen van de haalbaarheidsstudie geverifieerd en gehandhaafd konden worden met een onafhankelijke steekproef van deelnemers.

Bovendien werd het feit dat deze verwisseling van uitkomsten plaatsvond nadat meer dan de helft van de totale steekproef reeds data verstrekt had voor de haalbaarheidsstudie, niet vermeld in de volledige studie zelf. Lezers zouden begrijpelijkerwijs de logische maar kennelijk valse conclusie trekken dat de resultaten die gepresenteerd werden, van alle deelnemers waren die gerekruteerd werden nadat de protocolveranderingen voor de volledige studie goedgekeurd waren, in plaats van dat meer dan de helft van de resultaten data van de deelnemers van de haalbaarheidsstudie waren. En de standaard veronderstelling zou zijn dat professor Crawley de resultaten van geen enkele van haar proefpersonen kende toen de volledige studie begon. Dat was in feite niet het geval, aangezien de veranderingen in het protocol gebaseerd waren op de ervaring van de deelnemers van de haalbaarheidsstudie.

Ik neem aan dat professor Crawley daadwerkelijk de kwantitatieve resultaten voor aanwezigheid op school en fysiek functioneren nauwkeurig onderzocht heeft vooraleer ze de uitkomsten verwisselde, ook al kan ik geen directe vermelding vinden of ze dit wel of niet deed. Misschien zal ze beweren, zoals de PACE-auteurs deden, dat het verwisselen van de resultaten gebeurde voordat er kwantitatieve uitkomstdata beoordeeld werden en daarom “vooraf gespecificeerd” waren. Dit argument is op zijn zachtst gezegd een beetje ongeloofwaardig . Er werd een concept van de haalbaarheidspaper ingediend samen met de aanvraag die ethische goedkeuring vroeg om de uitkomsmaten te verwisselen en de studie uit te breiden in plaats van een geheel nieuwe te beginnen. Het zou ongebruikelijk zijn dat dergelijke paper geschreven wordt zonder de kwantitatieve resultaten te controleren.

Maar zelfs al had professor Crawley alleen vertrouwd op rekruteringsresultaten en kwalitatieve interviews, die uitgevoerd werden voor de haalbaarheidsstudie om de paper over de haalbaarheidsstudie te schrijven, wisten zowel zij als de deelnemers wie in welke groep van de studie zat. In dergelijke omstandigheden zijn onderzoekers over het algemeen op de hoogte van trends in de resultaten voor subjectieve metingen nog voordat ze naar de kwantitatieve gegevens gekeken hebben. Dus professor Crawley zou waarschijnlijk ingezien hebben dat het verwisselen van uitkomstmaten meer indrukwekkend ogende resultaten zou opleveren.

Het protocol van de volledige studie zelf bevatte ook meerdere zinnen die suggereerden dat professor Crawley een volledig onafhankelijke prospectieve studie zou uitvoeren. Het bevatte, net als een van de vele voorbeelden, de volgende zin: “Kinderen en jongeren tussen 12 tot en met 18 jaar zullen gerekruteerd worden na beoordeling door de pediatrische CVS/ME-dienst van Bath/Bristol.” En dit: “Kinderen en hun gezin die mogelijk in aanmerking komen, zullen geïdentificeerd worden door de arts die de eerste klinische beoordeling doet, en hen zal informeren over de studie.” En dit : “Rekening houdend met 10 tot 20% niet-inzameling van gegevens van primaire uitkomsten na zes maanden, mikken we op rekrutering van 80 tot 112 deelnemers voor de studie.”

Het protocol van de volledige studie merkte op dat “deze studie voortbouwt op de haalbaarheidsstudie van SMILE” en dat de analyse van kwalitatieve interviewegegevens in het bijzonder “zal voortbouwen op de haalbaarheidsstudie.” Een kleine opmerking aan het einde van het protocol stelde dat “volledige randomisering van de studie na overschakeling op de volledige studie” begon op 19 september 2012. Maar uit de taal doorheen het protocol kan elke redelijke lezer begrijpen dat handelingen met betrekking op het voortzetten van de volledige studie zouden plaatsvinden in de toekomst – niet dat vorige deelnemers van de haalbaarheidsstudie de meerderheid van de steekproef van de volledige studie zouden uitmaken.

Bovendien verwees de registratie van de studie in het ISRCTN-register, met aanvraagdatum 7 juni 2012, naar SMILE als “prospectief geregistreerd.” Het vermeldde de startdatum van de studie als 1 augustus 2012, dat wil zeggen na het einde van de haalbaarheidsstudie. Het registratiedocument vermeldde het plan om de haalbaarheidsstudie in de volledige studie over te laten gaan, maar deze verklaring stond haaks op de bewering dat het een prospectieve studie zou zijn. Een prospectieve studie kan per definitie geen eerder geëvalueerde deelnemers bevatten. Dat is tenslotte de reden waarom het een prospectieve studie genoemd wordt.

Aangezien het niet duidelijk naar voren komt uit het protocol van de volledige studie of de paper van de SMILE-trial zelf, dat meer dan de helft van de deelnemers retroactief aangemeld werd als deelnemers, hoe kwam deze eigenaardigheid dan aan het licht? Wel, toen de studie gepubliceerd werd, kwam het antilulkoekeskadron van Phoenix Rising in actie. De SMILE-paper rapporteerde dat de studie in september 2010 begon – dezelfde maand als de gerapporteerde start van de haalbaarheidsstudie. (Veel leden van dit antilulkoekeskadron zijn sindsdien verhuisd naar een ander forum, Science for ME.) Met andere woorden, de startdatum van september 2010 gaf aan dat de volledige studie officieel begon bijna twee jaar voordat professor Crawley het protocol schreef waarop de uiteindelijke analyses gebaseerd waren en bijna twee jaar voordat de startdatum genoteerd werd in de studieregistratie. Het is nogal ongewoon om twee verschillende startdata te hebben voor dezelfde studie, of om een studie te starten jaren voordat het protocol geschreven is.

Bruce Levin, de professor biostatistiek van Columbia die de PACE-trial “het hoogtepunt van amateurisme in klinisch onderzoek” noemde, uitte zijn ongezouten mening over deze strategie. Het is ontoelaatbaar om deelnemers van zowel een haalbaarheidsstudie als een volledige studie samen te gooien in één steekproef wanneer de uitkomsten halverwege veranderd zijn, zei hij. Dat zou ook gelden als de veranderingen alleen betrekking hadden op het verwisselen van de primaire en secundaire uitkomsten maar niet op wijzigingen in de beoordelingsmethodes. De enige uitzondering, voegde hij toe, zou zijn als de methode voor het combineren van deze data uiteengezet was in het protocol van de haalbaarheidsstudie. (Professor Levin heeft niet specifiek de SMILE-studie geanalyseerd.)

Dit is wat professor Levin me vertelde:

Het probleem met het inpassen van pilootdata in een volgende studie is dat er serieuze bias kan ontstaan als er op basis van de pilootgegevens beslissingen of analytische keuzes gemaakt werden. Een andere manier om hetzelfde te zeggen is, dat het doel van een vervolgstudie is om een eerste observatie te repliceren. Een replicatie moet onafhankelijk zijn van de resultaten van de studie die de bevinding aanvankelijk suggereerde.

De reden dat ik “beslissingen” vernoem is dat er een enorme speelruimte bestaat bij het bekijken van de pilootgegevens. Moeten we dit of dat eindpunt analyseren? Moeten we kijken naar deze of die opvolgingsperiode? Moeten we dit of dat toelatings- of uitsluitingscriterium gebruiken? Zelfs al behouden we dezelfde beoordelingsmethodes , moeten we onze primaire en secundaire uitkomstgegevens verwisselen? En ga zo maar door. Dit zijn allemaal legitieme bevragingen voor de pilootstudie. Maar tenzij het protocol van de haalbaarheidsstudie de methoden, die gebruikt moeten worden voor het combineren van het bewijs, vooraf specificeert en garandeert dat ze statistisch valide zijn, mag men de gegevens NOOIT samen gebruiken met de gegevens van de bevestigende studie waarvan het ontwerp gebaseerd was op de pilootresultaten. Want dat is bias!

Wanneer Professor Levin “NOOIT” zegt, bedoelt hij NOOIT. (Hijzelf heeft het woord in drukletters gezet in zijn e-mail.) Maar dat is wat professor Crawley gedaan heeft, ondanks het risico dat dit kan leiden tot een self-fulfilling prophecy. Het protocol van de haalbaarheidsstudie vermeldde of anticipeerde niet op de mogelijkheid van toekomstige verwisselingen van uitkomsten en specificeerde niet vooraf de methoden om de gegevens van de haalbaarheidsstudie te combineren met de data die later verzameld werden.

Het komt dan wellicht ook niet als een verrassing dat professor Crawley in staat was om in de volledige studie op basis van de gereviseerde primaire uitkomst of zelfgerapporteerd fysiek functioneren, te rapporteren dat het Lightning Process effectief was wanneer het samen met gespecialiseerde medische zorg gegeven werd. Misschien is het ook niet verbazingwekkend dat in de volledige studie, de originele primaire uitkomstmaat – aanwezigheid op school na zes maanden – geen statistisch significante effecten van de interventie aantoonde.

Maar aanwezigheid op school na zes maanden was nu officieel een secundaire uitkomstmaat. Noch professor Crawley noch de persberichten belichtten het verwisselen van de uitkomsten of focusten op het feit dat de originele primaire uitkomst een nulresultaat opleverde. Daarentegen kon professor Crawley rapporteren dat degenen die het Lightning Process kregen, betere aanwezigheid op school vertoonden na 12 maanden – een feit dat geciteerd werd in de samenvatting van de studie en vermeld werd in nieuwsberichten over de studie. Het rapport van de volledige studie gaf echter aan dat niet meer dan 70 van de 100 deelnemers data verstrekten voor de meting van aanwezigheid op school na 12 maanden – een feit dat niet in de samenvatting van de studie opgenomen werd. Zonder te weten wat er met de andere 30 deelnemers gebeurde, is het moeilijk zo niet onmogelijk om de aangeprezen vermeende verbetering voor deze maatstaf te interpreteren.

Het is veelbetekenend dat deze volledige studie geen aparte analyses verstrekte voor degenen die gerekruteerd werden voor de haalbaarheidsstudies en degenen die gerekruteerd werden nadat het protocol van de volledige studie geschreven was. Lezers hebben dus geen mogelijkheid om de resultaten voor fysiek functioneren en aanwezigheid op school te kennen voor alleen de deelnemers van de haalbaarheidsstudie, en daarom is er dus geen manier om te beoordelen in hoeverre deze initiële bevindingen invloed gehad hebben op de analyses die gepresenteerd zijn in het finale rapport. Met andere woorden, professor Crawley lijkt de volledige studie op zo’n manier te hebben ontworpen en te hebben opgeschreven dat het een duidelijke invloed kan hebben gehad op haar bevindingen en ervoor heeft gezorgd dat ze positieve resultaten kon rapporteren.

Bovendien beschreef professor Crawley de studie op een manier die lijkt te verdoezelen wat er feitelijk gebeurd is. Hier is hoe de finale paper het verloop van gebeurtenissen verklaarde: “Na te hebben aangetoond dat rekrutering, randomisering en gegevensverzameling haalbaar en aanvaardbaar waren, hebben we een gerandomiseerde studie uitgevoerd om de doeltreffendheid en kostenefficiëntie aan te tonen van LP in combinatie met gespecialiseerde medische zorg (SMC), in vergelijking met SMC alleen, voor kinderen met CVS/ME.”

Deze formulering geeft lezers de valse indruk dat de volledige studie volledig uitgevoerd is ná de haalbaarheidsstudie. Welke verklaring professor Crawley ook mag bieden, de gebrekkige aanpak voor data-analyse van de SMILE-studie en het evidente gebrek aan transparantie in de beschrijving van wat er gebeurde, vertegenwoordigen een ernstige schending van fundamentele wetenschappelijke principes. Aangezien professor Crawley tijdens publieke presentaties betoogd heeft dat veel verzoeken voor gegevens op basis van vrijheid van informatie “ergerlijk” zijn, is het mogelijk of zelfs aannemelijk dat iemand die geïnteresseerd is in het uitvoeren van aparte analyses van de resultaten van de haalbaarheidsstudie en van deze van de deelnemers die daarna gerekruteerd zijn, het moeilijk zal krijgen om toegang te krijgen tot noodzakelijke informatie.

In alle eerlijkheid tegenover professor Crawley: ze zocht ethische goedkeuring voor haar onorthodox manoeuvre. Ze diende begin augustus 2012 een aanvraag in voor een substantiële wijziging aan haar initieel protocol en ontving niet lang daarna goedkeuring. Om uit te zoeken wat er precies gebeurd was, diende ik een verzoek op basis van vrijheid van informatie in bij de regionale ethische beoordelingsraad om de aanvraag voor deze protocolwijziging te verkrijgen. Dit document vermeldde het verzoek om de haalbaarheidsstudie uit te breiden naar de volledige studie en ook om de primaire en secundaire uitkomsten te verwisselen.

Om de haalbaarheidsstudie te kunnen laten overgaan in de volledige studie, verklaarde de toepassing dat “rekrutering trager gaat dan verwacht.” En dit is hoe de aanvraag de degradering verklaarde van de meting van aanwezigheid op school na 6 maanden van een primaire naar een secundaire uitkomst:

“De reden hiervoor is dat veel van de deelnemers overschakelen van GCSE ’s [twee laatste jaren van leerplichtonderwijs, beëindigd met nationaal examen, n.v.d.r.] naar A-niveaus [twee laatste jaren van middelbaar onderwijs met vrije studiekeuze, beëindigd met nationaal examen, n.v.d.r.] tijdens deze studie en daarom weerspiegelt het percentage van aanwezigheid op school niet noodzakelijk de ernst van de ziekte. Een tiener kan bijvoorbeeld besloten hebben om 2 A-niveaus af te leggen en 2 tot 3 uur per dag naar school te gaan. Dit zou geregistreerd worden als 100% aanwezigheid op school maar dit is niet hetzelfde als 6.5 uur per dag normale aanwezigheid op school.”

Ik ben niet vertrouwd genoeg met het Britse onderwijssysteem om te begrijpen of deze uitleg steek houdt. Maar in elk geval gaf professor Levin aan dat de bedoeling van een volledige studie is om preliminaire bevindingen van een haalbaarheidsstudie te testen op een grotere groep deelnemers. En zoals hij ook al aangaf, is het onaanvaardbaar om uitkomstmaten te veranderen of te verwisselen en dan de eerdere en latere datasets samen te voegen zonder een vooraf gespecificeerd plan over de statistische methodologie die hiervoor nodig is.

Dus waarom gaf de ethische commissie – in dit geval woonden slechts twee commissieleden de bijeenkomst bij – tegelijkertijd hun goedkeuring aan zowel de verwisseling in uitkomstmaten als de uitbreiding van de haalbaarheidsstudie? Wie zal het zeggen? Het is duidelijk uit de hele PACE-saga dat er iets hapert aan de Britse systemen voor ethische review en peerreview, tenminste wanneer het aankomt op deze specifieke ziekte. Zowel The Lancet als Psychological Medicine publiceerden immers papers waarin de belangrijkste uitkomstdrempels een slechtere gezondheidstoestand vertegenwoordigen dan de toegangsdrempels die aangeduid werden als weerspiegeling van aanzienlijke invaliditeit – een verbijsterende veronachtzaming van redactionele verantwoordelijkheid die de wetenschappelijke tijdschriften hebben verergerd door te blijven weigeren het probleem aan te pakken.

Dus het feit dat professor Crawley ethische goedkeuring gekregen heeft en in staat was om een vakblad te vinden om haar resultaten te publiceren, verbaast me niet. Dat het een wetenschappelijk tijdschrift van de BMJ Publishing Group zou zijn, die de erbarmelijke traditie heeft om problematische studies van professor Crawley en haar kameraden van de ideologische CGT/GET-brigades te accepteren, was ook te voorspellen.

Maar dat is niet alles. Weet je nog hoe professor Crawley in beide protocols beloofd heeft om een inspanning te doen om de zelfgerapporteerde metingen van aanwezigheid op school te controleren met behulp van het officiële schoolregister? De aanvraag om de haalbaarheidsstudie uit te breiden terwijl de uitkomsten werden verwisseld, bevatte zelfs een ontwerp van de brief die naar de schooldirectie gestuurd zou worden.

De brief bevatte het volgende: “Zowel de patiënt als hun ouder(s) of voogd hebben ons toestemming gegeven om deel te nemen aan de studie die in hun medisch dossier wordt bewaard. Als onderdeel van hun toestemming, hebben ze ons toestemming gegeven om hun register over aanwezigheid op school te controleren tijdens hun deelname aan de studie. Dit is belangrijke informatie aangezien het de belangrijkste uitkomstaat is voor de studie.” (Natuurlijk was aanwezigheid op school niet langer de “belangrijkste uitkomstmaat,” maar laten we deze onnauwkeurigheid even buiten beschouwing.)

Dit schoolregister en de “belangrijke informatie” die eruit moest voortkomen, werden niet vermeld in het rapport van de haalbaarheidsstudie. Noch werden ze genoemd in het rapport van de volledige studie. Of de brieven werden niet verstuurd, of ze werden verstuurd maar professor Crawley besloot om wat voor reden dan ook om de data die ze kreeg, te negeren. In beide gevallen was ze verplicht om uit te leggen wat er gebeurd was, gezien haar beloften in het protocol. Bovendien waren de peerreviewers en redacteurs voor Archives of Disease in Childhood verplicht om te vragen waarom de paper van de volledige studie deze belangrijke uitkomstmaat niet opgenomen had. Een logische verklaring voor het ontbreken van deze gegevens is dat professor Crawley deze beoordeling van schoolregisters wel uitgevoerd heeft maar de bevindingen niet vermeld heeft omdat ze slechter bleken te zijn dan de positieve uitkomsten voor zelfgerapporteerde aanwezigheid op school na 12 maanden. Jonathan Edwards, een professor emeritus geneeskunde aan de University College London, heeft de PACE-trial “één brok oninterpreteerbaarheid” genoemd. Dit is wat hij te zeggen had over de SMILE-trial en zijn gerapporteerde resultaten:

[*Het volgende citaat van professor Edwards verving een eerdere versie op 15 december 2017. Het lijkt erop dat transatlantische miscommunicatie mij ertoe bracht om de verkeerde versie van zijn citaat in te sluiten. Aan het einde van deze post, heb ik het citaat bijgevoegd zoals het oorspronkelijk verscheen.]

Het laat alleen zien dat, of je het nu ‘CGT’ of ‘Lightning Process’ of ‘Hersenspoeltherapie’ noemt, als je mensen vertelt dat zeggen dat ze beter zijn wanneer hen gevraagd wordt of ze beter zijn, hen daadwerkelijk beter zal maken, en je hen dan vraagt of ze beter zijn, sommigen zullen zeggen dat ze beter zijn, alleen maar om gedoe te vermijden.”

Andere critici waren even vernietigend. Dit is wat de ME Association te zeggen had over de kwestie: “De SMILE-trial is een van de slechtste voorbeelden van een klinische trial die zogezegd opgezet is om de aanvaardbaarheid, doeltreffendheid en veiligheid van een behandeling voor ME/CVS te bepalen… In feite is het in verschillende opzichten een les in hoe je een klinische studie bij mensen die ME/CVS hebben, niet mag uitvoeren.”

Wat mij betreft: ik kreeg van een wijze collega het advies dat “het positief houden” de beste aanpak is. Dus zal ik met deze positieve noot eindigen: een afgedrukte versie van de SMILE-trial is een uitstekend nieuw rekwisiet voor toekomstige haltes op mijn “scheur-het-aan-flarden”-podiumkunsttour. Professor Crawley verdient mijn diepste dankbaarheid voor dit geschenk.

[*Voor volledige transparantie is hier de versie van professor Edwards’ citaat dat in de originele post op 13 december verscheen: “Het laat alleen zien dat of je het nu ‘CGT’ of ‘Lightning Process’ of ‘Hersenspoeltherapie’ noemt, dat als je mensen vertelt dat ze beter zullen worden en dan vraagt of ze beter zijn, sommigen zullen zeggen dat ze beter zijn, al is het maar om gedoe te vermijden.”]

© David Tuller voor Virology Blog. Vertaling zuiderzon, redactie abby, ME-gids.

Lees ook

• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
• Onderzoekers van de PACE-studie antwoorden David Tuller
• David Tuller reageert op de PACE-onderzoekers
• Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
• Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
• Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
• Overheid beveelt vrijgave van de gegevens van de PACE-studie
• Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
• Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
• Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
• In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
• ME Association: We betwisten het follow-uprapport van de PACE-studie
• Professor Jonathan Edwards: PACE-studie is “waardeloos”
• Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
• Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
• Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
• Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
• Waarom ME-patiënten kritisch zijn over de PACE-studie
• Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
• James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
• Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
• Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
• Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
• Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
• Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
• Proffen verzoeken om de gegevens van de PACE-studie
• King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
• Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
• Herzien van de economische analyse van de PACE-studie in PLoS One
• Een inkijk in de aanval op het delen van data
• Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
• Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
• Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
• Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
• We zijn tenminste niet ergerlijk
• Verdere inzichten in de oorlog tegen het delen van data
• Trial by error, vervolgd: een paar woorden over pesterijen
• Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
• Opnieuw een open brief aan de Lancet
• What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
• Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
• Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
• Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
• Open brief Prof. Malcolm Hooper aan The Lancet
• Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
• PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
• Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
• Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
• “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
• Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
• Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
• The Lancet struikelt opnieuw over de PACE-studie
• Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
• Vrijgave data PACE-team volgens originele protocol
• Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
• Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
• Stop studies naar graduele oefentherapie voor ME/CVS
• Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
• Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
• Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
• Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
• Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
• Trial by error, vervolgd: de echte data van de PACE-studie
• Erger dan de ziekte
• De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
• Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
• Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
• Opnieuw een open brief aan Psychological Medicine!
• De bal misslaan bij ME/cvs
• Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
• Trial by error, vervolgd: een vervolgpost over FITNET-NHS
• Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
• Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
• Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
• Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
• Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
• Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
• Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
• David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
• Trial by error, vervolgd: mijn brief aan de University of Bristol
• Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
• David Tuller komt op voor ME: de laatste tien dagen van de campagne…
• Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
• Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
• Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
• Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
• Trial by error: De NICE-richtlijnen, en meer over de CDC
• Trial by error: NICE weigert om namen van experts te onthullen
• Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
• De PACE-trial, of hoe een medisch schandaal tot stand kwam
• Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
• Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
• Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
• Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
• Trial by error: mijn e-mailuitwisseling met de directeur van NICE
• Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
• Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
• Trial by error: de rapporten van de “deskundigen ter zake” van NICE
• Trial by error: MEGA’s nieuwst mislukking
• Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
• Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
• Trial by error: nog een brief aan de directeur van NICE
• Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
• Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
• Trial by error: mijn korte ontmoeting met Professor Crawley
• Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
• Trial by error: de Crawley-kronieken (vervolg)
• Trial by error: mijn eenzijdige correspondentie met professor Crawley
  
• David Tuller en de (s)PACEcake-eters