Trial by error, vervolgd: De Nederlandse studies (opnieuw!), en een Esther Crawley-bonus

David Tuller, Virology Blog, 2 december 2016

David Tuller is academisch coördinator van de gecombineerde masteropleiding volksgezondheid en journalistiek aan de Universiteit van Californië, Berkeley.

Wow, het onderzoek van de CGT/GET-schare in Nederland houdt nooit op te verbazen. Zoals bij het werk van hun vrienden in het Verenigd Koninkrijk, verschijnen bij iedere studie nieuwe manieren om ondeugdelijk te zijn. Het is bijna te gemakkelijk om gaten te prikken in die dingen. En toch lijken de onderzoekers niet in staat te zijn om zichzelf in bedwang te houden om extreem gunstige overinterpretaties van hun bevindingen te doen – interpretaties die geen weerstand kunnen bieden aan serieus en diepgaand onderzoek. De onderzoekers concluderen altijd, wat er ook gebeurt, dat cognitieve en/of gedragsmatige therapieën effectief zijn voor het behandelen van de ziekte die ze gewoonlijk chronisch vermoeidheidssyndroom noemen.

Dat deze zogenaamde wetenschap erin slaagt om door peerreview heen te komen, is verbazingwekkend. Dat wil zeggen, tenzij we aannemen dat de studies allemaal gepeerreviewed zijn door andere onderzoekers die de auteurs’ “niet-helpende gedachten” en “disfunctionele cognities” en de genezende krachten van cognitieve gedragstherapie en graduele oefentherapie bij ME/cvs delen.

Laten we een snelle blik werpen op nog een andere Nederlandse studie naar CGT voor adolescenten, een studie uit 2004, gepubliceerd in de BMJ. Deze biedt een prachtig voorbeeld van overinterpretatie. De kleine studie, met 71 deelnemers, had twee groepen. Eén groep ontving tien sessies van CGT gedurende 5 maanden. De andere ontving … een plaats op de wachtlijst voor behandeling. Dat klopt – ze kregen niets. En wat denk je? Degenen die iets kregen, deden het beter op de subjectieve metingen na 5 maanden dan degenen die niets kregen. De definitieve conclusie van de onderzoekers: CGT is een effectieve behandeling voor zieke tieners.

Ik bedoel, WTF? Het is niet moeilijk om uit te puzzelen, weet je, dat mensen enige vorm van behandeling aanbieden meer kans geeft om positieve antwoorden te genereren op subjectieve vragen, dan hen een plaats aanbieden op een wachtlijst. Dat banale inzicht moet meteen in het eerste hoofdstuk van Psychologisch Onderzoek voor Dummies komen. Presenteren deze onderzoekers zich niet als autoriteiten in menselijk gedrag? Hebben ze gehoord van zoiets als het placebo-effect?

Dit is wat de BMJ-studie heeft bewezen: tien sessies van iets leiden tot meer rapportages van voordelen op korte termijn dan geen sessies van wat dan ook. Maar tien sessies van wat? Misschien tien sessies van poker spelen of tien sessies van kijken naar herhalingen van Seinfeld terwijl je hand in hand zit met de therapeut en “The Girl From Ipanema” in kopstem zingt, zou dezelfde resultaten hebben opgeleverd. Wie zal het weten? Om botweg te verklaren dat hun bevindingen bewijzen dat CGT een effectieve behandeling is – zonder kanttekeningen of een waarschuwing van voorzichtigheid – is een enorme en onaanvaardbare interpretatieve sprong. De paper zou nooit gepubliceerd moeten zijn in deze vorm. Het is belachelijk om deze studie te gebruiken als een soort van solide “bewijs” voor CGT.

Maar vanuit het perspectief van de Nederlandse onderzoeksgroep, werkte deze wachtlijststrategie blijkbaar zo goed, dat ze die weer gebruikten voor een studie uit 2015 naar groeps-CGT voor chronisch vermoeidheidssyndroom. In deze studie werkte het aanbieden van CGT in groepen van vier of acht patiënten significant beter dan patiënten op een wachtlijst te plaatsen en hun absoluut niets bieden. Natuurlijk dacht niemand dat deze bevindingen betekenen dat CGT in groep specifiek een effectieve behandeling is – behalve zij.

Als ik dit lees, denk ik soms dat ik gek word. Moet ik me nu echt door elk van deze papers heen werken om te wijzen op fouten die een eerstejaarsstudent epidemiologie zouden kunnen herkennen?

Een groot probleem hier is hoe deze mensen de ene slechte studie bovenop de andere stapelen, om te bouwen aan wat een robuuste hoeveelheid onderzoek lijkt te zijn, maar, in feite, een kaartenhuis is. Als je de barsten in de fundamentele studies blootlegt, stort het hele gebouw in. Een voorbeeld: een Nederlandse studie uit 2007, die het effect van CGT onderzocht op “zelfgerapporteerde cognitieve beperkingen en prestaties op neuropsychologische testen.” Met behulp van de data van twee eerdere studies concludeerden de onderzoekers dat CGT zelfgerapporteerde cognitieve beperkingen verminderde, maar niet de prestatie op neuropsychologische testen verbeterde.

Op welke studies was deze studie uit 2007 gebaseerd? Wel, een van deze was de zeer problematische studie uit 2004 die ik net besproken heb – deze die CGT effectief vond wanneer deze werd vergeleken met niets. De andere was de studie uit 2001 in The Lancet, waar ik in mijn vorige post over schreef. Zoals ik schreef, claimde deze Lancet-studie dat ze de CDC-criteria voor chronisch vermoeidheidssyndroom gebruikten, maar zag toen af van de vereiste dat patiënten vier andere symptomen hebben naast vermoeidheid. Dus was het in werkelijkheid een studie naar een heterogene groep mensen, die aan tenminste zes maanden vermoeidheid lijden.

Deze casusdefinitie – zes maanden vermoeidheid, zonder de andere noodzakelijke symptomen – werd in de PACE-studie gebruikt en is bekend als de Oxford-criteria. Deze studie is in diskrediet gebracht omdat het heterogene populaties oplevert van mensen die lijden aan een scala aan vermoeidheidsziekten. De resultaten van de Oxford-criteria kunnen niet geëxtrapoleerd worden naar mensen met ME/cvs.

De studie uit 2007 vertrouwt op de juistheid en validiteit van de twee studies van welke het data bevat. Omdat die eerdere studies de basisbegrippen van wetenschappelijke analyse geweld aandoen, is de nieuwe studie ook bedrog en kan deze niet serieus genomen worden.

De PACE-auteurs zelf hebben deze strategie van het voortbrengen van nieuwe, slechte papers geperfectioneerd, door eerdere slechte papers op te stapelen. In november [2016] liet Trudie Chalder haar persoonlijke flair voor deze techniek zien als coauteur een systematische review van “aandachts- en interpretatieve bevooroordeeldheid (bias) met betrekking tot ziektegerelateerde informatie bij chronisch vermoeidheidssyndroom.” De conclusie van de auteur: “Cognitieve verwerkingsvooroordelen kunnen ziekteovertuigingen en symptomen in stand houden bij mensen met CVS.” De voorgestelde oplossing daarvoor zou uiteraard een aantal sessies van CGT zijn om die vervelende cognitieve verwerkingsvooroordelen te corrigeren.

Naast andere problemen voegden Dr. Chalder en haar coauteurs data toe van studies o.b.v. Oxford-criteria. Door aan de mix deze heterogene steekproeven toe te voegen van mensen die lijden aan chronische vermoeidheid, hebben Dr. Chalder en haar collega’s hun claim ongeldig gemaakt dat het een studie is van de ziekte die bekend staat als chronisch vermoeidheidssyndroom. Natuurlijk is Psychological Medicine, die dit juweeltje van nieuw onderzoek presenteerde, het tijdschrift dat de “herstel”-paper van PACE publiceerde – en consistent geweigerd heeft dit te corrigeren –, waarbij deelnemers slechter konden worden maar nog steeds konden voldoen aan drempels voor “herstel”.

De Nederlandse tak van de ideologische CGT/GET-brigade is gecentreerd in de Radboud Universiteit Nijmegen, de thuisbasis sinds vele jaren van twee van de kopstukken van de beweging: Dr. Gijs Bleijenberg en Dr. Hans Knoop. Dr. Knoop verhuisde recentelijk naar de Universiteit van Amsterdam en is momenteel een co-onderzoeker van FITNET-NHS samen met Esther Crawley. Dr. Bleijenberg had ter gelegenheid van zijn eigen pensionering een paar jaar geleden, dit te zeggen over zijn oude vriend en collega, PACE-onderzoeker Michael Sharpe: “Beste Mike, we kennen elkaar bijna 20 jaar. Je hebt mij erg geïnspireerd door de manier waarop je CVS behandelde. Heel erg bedankt!”

Inderdaad. Dr. Bleijenberg en zijn Nederlandse collega’s lijken erg veel te hebben geleerd van hun PACE-maatjes. Dr. Bleijenberg en Dr. Knoop toonden hun eigen handige taalgebruik in het commentaar uit 2011 in The Lancet, dat de publicatie van de eerste PACE-resultaten vergezelde. Ik besprak dit misleidende commentaar uitgebreid in een post afgelopen jaar [2015], dus zal ik de hele ellendige discussie niet opnieuw oprakelen. Maar de Nederlandse onderzoekers zelf zijn zich er wel van bewust dat hun claim dat dertig procent van de deelnemers van PACE voldeden aan een “strikt criterium” voor herstel absurd is.

Hoe weet ik dat Dr. Bleijenberg en Dr. Knoop dit weten? Omdat, zoals ik documenteerde in de post van afgelopen jaar, claims in het commentaar uit 2011 uitspraken tegenspreken en negeren die ze zelf hebben gedaan in een paper uit 2007 die deze vraag stelde: “Is een volledig herstel mogelijk na cognitieve gedragstherapie voor chronisch vermoeidheidssyndroom?” (Het antwoord was natuurlijk ja. Peter White, de hoofdonderzoeker van PACE, was coauteur van de paper uit 2007.) Daarnaast weten Dr. Bleijenberg en Dr. Knoop zeker dat het “strikte criterium” dat ze propagandeerden, drempels bevatte waaraan sommige deelnemers al aan het begin van de therapie hadden voldaan – toch hebben ze nog steeds geweigerd om deze uitspraak te corrigeren.

Gezien al deze studies ernstige methodologische problemen laten zien, zou de Nederlandse Gezondheidsraad die de wetenschap van ME/cvs beoordeelt, zeer, zeer behoedzaam moeten zijn om deze te gebruiken om aanbevelingen te formuleren. Het panel zou moeten inzien dat er binnen de komende paar maanden waarschijnlijk door peerreview beoordeelde analyses van de originele PACE-data gepubliceerd zullen worden. (Twee van dergelijke analyses – een door de PACE-auteurs zelf, en een door een onafhankelijke groep van patiënten en academische statistici – zijn al online gepubliceerd, zonder peerreview.) De aankomende papers zullen afdoende aantonen dat de “voordelen” die door het PACE-team zijn gerapporteerd, grotendeels of volledig denkbeeldig waren – en slechts werden verkregen door methodologische afwijkingen zoals dramatische en onacceptabele veranderingen in uitkomstmetingen.

In een een open brief aan The Lancet , die afgelopen februari [2016] werd gepubliceerd, veroordeelden tientallen wetenschappers en artsen de PACE-studie en de conclusies ervan in harde termen. In het Verenigd Koninkrijk haalde de Rechtbank van Eerste Aanleg de wereldwijde ontsteltenis aan over de flagrante fouten, terwijl het de uitvluchten van de PACE-auteurs voor het achterhouden van hun data met de grond gelijk maakte. De studies van de mensen van de Radboud Universiteit en hun landgenoten berusten allemaal op dezelfde stupide, onbewezen hypotheses van disfunctioneel denken, angst voor activiteit en deconditionering, en zijn net zo intellectueel onsamenhangend en oneerlijk.

Mocht de Gezondheidsraad een rapport produceren dat cognitieve en gedragsmatige behandelingen aanbeveelt, op basis van deze lachwekkende hoeveelheid “onderzoek,” dan zou de organisatie een internationale grap worden en enorme langetermijnreputatieschade lijden. Het hele PACE-paradigma wordt op een zeer openbare manier ontrafeld. Iedereen kan nu zien wat patiënten al jarenlang zien. Intussen komen biomedische onderzoekers in de VS, Noorwegen en elders steeds dichter op het spoor van de werkelijke pathofysiologie die ten grondslag ligt aan ME/cvs.

Het zou spijtig zijn om te zien dat de Nederlanders op hun schreden terugkeren om wetenschappelijke ongeletterdheid te omarmen en een “de-aarde-is-plat”-benadering aan te nemen ten opzichte van de realiteit.

*****

En laten we als speciale bonus nu nogmaals eens een snelle blik werpen op het werk van Dr. Crawley. Iemand e-mailde mij onlangs een foto van een posterpresentatie van Dr. Crawley en drie collega’s. Deze poster werd getoond op de openingsconferentie van de CFS/ME Research Collaborative, of CMRC, in het Verenigd Koninkrijk, gehouden in 2014. De poster was gebaseerd op informatie uit dezelfde set data die werd gebruikt voor de recente studie in Pediatrics van Dr. Crawley. Zoals ik twee posts geleden heb uitgelegd, claimde deze gebrekkige studie een verrassende prevalentie van 2% onder adolescenten – een cijfer dat wijdverbreide aandacht kreeg in de media.

Dr. Crawley heeft hoge prevalentieschattingen aangehaald om te pleiten voor meer onderzoek naar en behandeling met CGT en GET. En als deze percentages van de mate van voorkomen reëel waren, zou dat logisch zijn. Echter, zoals ik opmerkte, haar methode om de ziekte te identificeren was misleidend- zonder rechtvaardiging of uitleg besloot zij dat zij chronisch vermoeidheidssyndroom kon diagnosticeren door rapportages van ouders en kind over chronische vermoeidheid, en zonder informatie uit klinische onderzoeken. Nadat degenen die een hoge mate van depressie leken te hebben waren verwijderd, daalde In feite de prevalentie naar 0,6% – hoewel dit lagere cijfer niet is wat Dr. Crawley heeft benadrukt.

Ondanks de hoge prevalentie liet dezelfde set data echter zien dat adolescenten die aan de ziekte leden, over het algemeen beter werden zonder enige behandeling, volgens de posterpresentatie uit 2014. Hier is de conclusie van de poster: “Aanhoudende CVS/ME is zeldzaam bij tieners en de meeste tieners die niet worden gezien in een klinische setting, zullen spontaan herstellen.”

Is dat niet geweldig? Waarom heb ik deze hoopvolle data niet eerder gezien? Hoewel de poster voorafging aan de paper in Pediatrics dit jaar, bereikten de zeer hoge percentages van spontaan herstel die prevalentiestudie studie niet. Bovendien benadrukken het FITNET-NHS-protocol en de wervingsfolder de claim dat weinig adolescenten zullen herstellen na 6 maanden zonder “specialistische behandeling,” maar de meesten zullen herstellen als ze die krijgen. Niet genoemd is het zeer opvallende feit dat deze “specialistische behandeling” blijkbaar geen verschil maakt op de lange termijn.

In werkelijkheid leden de adolescenten die spontaan herstelden, zeer waarschijnlijk in de eerste plaats niet aan ME/cvs. Dr. Crawley heeft zeker geen voldoende bewijs geleverd dat de kinderen in de database die zij gebruikte het echt hadden, ondanks haar aandringen op het gebruik van de term. Zeer waarschijnlijk had een onbekend aantal van degenen die in de Pediatrics-paper en in de posterpresentatie werden geïdentificeerd als lijdend aan chronisch vermoeidheidssyndroom, wel ME/cvs. Maar velen of de meesten ervoeren dat wat alleen een periode van chronische vermoeidheid genoemd kan worden, door onbekende redenen.

Het is teleurstellend dat Dr. Crawley het spontane herstelpercentage niet toevoegde aan de paper in Pediatrics of in het FITNET-NHS-protocol. In feite zijn deze optimistische bevindingen nergens gepubliceerd, voor zover ik kan zien. Ik ken de beweegreden niet voor deze beslissing om substantiële informatie achter te houden in plaats van te publiceren. Misschien is de rekensom dat publieke rapporten met hoge percentages van spontaan herstel de argumenten zouden ondermijnen om steeds weer financiering te stoppen in het bestuderen van CGT en GET? Het is maar een gok natuurlijk.

(Esther, vergeef me als ik het verkeerd heb over of deze data ergens zijn gepubliceerd. Ik heb alleen de informatie gezien op jouw poster voor de CMRC-openingsconferentie in 2014. Als de data door peerreview zijn beoordeeld en gepubliceerd, neem ik mijn woorden terug op dat punt en juich jouw integriteit toe.)

© David Tuller voor Virology Blog. Vertaling Meintje, redactie Zuiderzon en tanto, ME-gids.

Lees ook

• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
• Onderzoekers van de PACE-studie antwoorden David Tuller
• David Tuller reageert op de PACE-onderzoekers
• Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
• Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
• Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
• Overheid beveelt vrijgave van de gegevens van de PACE-studie
• Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
• Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
• Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
• In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
• ME Association: We betwisten het follow-uprapport van de PACE-studie
• Professor Jonathan Edwards: PACE-studie is “waardeloos”
• Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
• Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
• Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
• Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
• Waarom ME-patiënten kritisch zijn over de PACE-studie
• Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
• James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
• Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
• Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
• Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
• Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
• Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
• Proffen verzoeken om de gegevens van de PACE-studie
• King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
• Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
• Herzien van de economische analyse van de PACE-studie in PLoS One
• Een inkijk in de aanval op het delen van data
• Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
• Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
• Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
• Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
• We zijn tenminste niet ergerlijk
• Verdere inzichten in de oorlog tegen het delen van data
• Trial by error, vervolgd: een paar woorden over pesterijen
• Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
• Opnieuw een open brief aan de Lancet
• What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
• Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
• Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
• Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
• Open brief Prof. Malcolm Hooper aan The Lancet
• Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
• PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
• Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
• Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
• “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
• Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
• Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
• The Lancet struikelt opnieuw over de PACE-studie
• Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
• Vrijgave data PACE-team volgens originele protocol
• Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
• Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
• Stop studies naar graduele oefentherapie voor ME/CVS
• Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
• Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
• Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
• Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
• Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
• Trial by error, vervolgd: de echte data van de PACE-studie
• Erger dan de ziekte
• De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
• Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
• Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
• Opnieuw een open brief aan Psychological Medicine!
• De bal misslaan bij ME/cvs
• Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
• Trial by error, vervolgd: een vervolgpost over FITNET-NHS