random
Artikels

Hits: 817
Geplaatst
door: ME-gids
op: 7 mrt 2019
Bijgewerkt: 7 mrt 2019
Bron: David Tuller & Brian Hughes

PACE "administratief in orde", maar ware kritiek blijft onbeantwoord


Terwijl overal ter wereld de CGT/GET-ideologie langzaam maar zeker instort, blijft de Britse overheid vasthouden aan de status quo. Eind januari bracht de Health Research Authority een rapport uit, als antwoord op een officiële vraag over de onderzoekstransparantie van de PACE-studie. Daarin stellen ze in wollige taal dat "er geen wettelijke bedenkingen zijn over het gedrag van de onderzoekers met betrekking tot deze kwesties". De PACE-auteurs zelf grepen dit rapport natuurlijk meteen aan als een allesomvattende goedkeuring van hun werk. Een aandachtige lezing van het rapport vertelt echter een heel ander verhaal.

Brian Hughes, Iers Psycholoog en bedenker van de term "op eminentie gebaseerde geneeskunde", ziet in het rapport een zoveelste voorbeeld van hoe de regels van het Britse klassensysteem ook in wetenschappelijke kringen doorwerken. Verder maakt hij duidelijk dat de HRA enkel uitspraak kan doen over puur administratieve kwesties, en dus niets zegt over de wetenschappelijke kwaliteit van PACE. (n.v.d.r.: Hughes publiceerde een interessant boek over de replicatiecrisis in de psychologie, waarin hij ook de PACE-studie aanhaalt als voorbeeld van slecht onderzoek.)

Ook Tuller bespreekt het rapport van de HRA. Hij benadrukt dat het rapport in geen geval een vrijbrief is voor de PACE-auteurs, omdat de HRA zelf bevestigt enkel en alleen bevoegd te zijn om uitspraak te doen over de administratieve kant van de zaak, en niet over de wetenschappelijke waarde van de studie. De kritiek over de PACE-studie blijft dus onbeantwoord.

Het vakblad BMJ publiceerde een (eenzijdig) artikel over de HRA-brief, waarin o.a. Tuller vernoemd wordt als "activist" i.p.v. als onderzoeksjournalist en deskundige. Tuller schreef meteen naar BMJ, die het artikel onmiddellijk aanpaste. Verder schreef hij opnieuw naar de BMJ-redactie met verdere opmerkingen, en rechtstreeks naar de journalist van het BMJ-artikel. 

Michael Sharpe, een van de hoofdauteurs van de PACE-studie, doet intussen verwoede pogingen om de HRA-brief te verkopen alsof het PACE over de hele lijn goedpraat, en eist intrekking van enkele kritische artikels - tot nog toe zonder succes.

Maar de échte vragen over PACE blijven onbeantwoord. Tuller overloopt die vragen nog eens opnieuw (gedeeltelijke herpost van blog uit 2015). 




Het HRA-rapport spreekt de PACE-studie niet vrij. Het bevestigt enkel dat de REC-goedkeuring in orde was

Brian Hughes, Not the Science Bit, 7 februari 2019

Fantastisch nieuws. De PACE-controverse is opgelost! Of wacht... euh, nee, toch niet.


Je zou er draaierig van worden!

De op eminentie gebaseerde geneeskunde* heeft er weer een draai aan kunnen geven. *[term bedacht door Brian Hughes, schrijver van deze blog, waarbij hij 'evidence' based (= onderzoek gebaseerd op wetenschappelijk bewijs) vervangt door 'eminence' based (= onderzoek louter gebaseerd op het aanzien dat de onderzoeker geniet), n.v.d.r.]

De Britse Health Research Authority heeft een rapport uitgebracht over hun evaluatie van de onder vuur liggende PACE-studie en hebben geconcludeerd dat ze er tevreden mee zijn.

En plots komen de aloude goedbetaalde, eminente, professorachtige figuren op de proppen met hun arrogante neerbuigendheid tegenover het gepeupel, en hun kleinerende zie-je-nou-wel in hun menselijke verbond voor wederzijdse ophemeling en schouderklopperij.

Hetzelfde liedje als altijd. Patiënten, wetenschappers, academici, belangenbehartigers en publieke vertegenwoordigers wijzen op de grove fouten in het ontwerp van de PACE-studie - fouten waar een student op zijn taak over onderzoeksmethodiek een onvoldoende voor zou krijgen - en roepen daarom regelgevende instanties op [Ook Brian Hughes ondertekende de steunbetuiging aan Cochrane op Virology Blog, n.v.d.r.] om hun goedkeuringen in te trekken.

Ondertussen spreken de auteurs van de PACE-studie in unisono met hun uitgebreide netwerk van professionele contacten (die in een land als het VK zo verstrengeld, ingewikkeld en overlappend zijn dat eerlijke peerreview in de praktijk een echte uitdaging wordt) ter verdediging van wat letterlijk slechte wetenschap is en zetten diegenen die kritiek geven weg als amateurs, melkmuilen en domoren.

Het is een echt klassensysteem. De aristocratie heeft de PACE-studie vervaardigd, zoals het hun status van welgestelde landsmannen van de burgermaatschappij betaamt. De patiënten - die arme luizen - moeten hun bek dichthouden en hun plaats kennen.

Nu de HRA zegt dat ze tevreden zijn met PACE, zijn de aristocraten aan het snoeven gegaan, hetgeen aristocraten zo graag doen.

Het is echter de moeite waard om goed te letten op wat de HRA hier eigenlijk doet. Kijk bijvoorbeeld naar hun eigen woorden (nadruk toegevoegd door mijzelf):

Bij evaluatie van de bevindingen van de HRA, is het belangrijk te onthouden dat de bevoegdheid van het agentschap tamelijk eng is - het focust zich op het proces. Zoals het rapport opmerkt: "Onze bekommernis als regulator is of de studie gepast goedgekeurd werd door het Comité voor Onderzoeksethiek (REC)."

Het rapport omvat deze belangrijke vrijwaringsclausule: "De HRA is niet bevoegd voor het oplossen van ... debatten over de kwaliteit van de studie. Discussie over de betekenis en de degelijkheid van de resultaten is een verwacht onderdeel van het wetenschappelijk proces."

En ook dit: "We merken ook op dat sommige van de kritieken op de PACE-studie waarop men ons heeft gewezen buiten onze regelgevende bevoegdheid liggen en we dus niet in staat zijn om erop te reageren."

Kort gezegd: de HRA vindt NIET dat heel de PACE-studie "joepie-joepie-jee-oké" is.

Ze vinden dit niet, want ze proberen het zelfs niet te vinden. Laat mij - of liever, laat hen - het kernpunt herhalen:

"We merken ook op dat sommige van de kritieken op de PACE-studie waarop men ons heeft gewezen buiten onze regelgevende bevoegdheid liggen en we dus niet in staat zijn om erop te reageren."

Hier is het nog eens in grotere letters:

"We merken ook op dat sommige van de kritieken op de PACE-studie waarop men ons heeft gewezen buiten onze regelgevende bevoegdheid liggen en we dus niet in staat zijn om erop te reageren."

Het goede nieuws is natuurlijk dat verschillende andere toonaangevende figuren wél "in staat zijn" om op deze kritiek te reageren, en dit heel uitgebreid hebben gedaan.

En dus zoekt de PACE-gemeenschap angstvallig naar iets - eender wat - dat kan verdoezelen waar het in het debat écht om draait en dat ervoor zorgt dat zij het slachtoffer lijken. David Tuller heeft verschillende punten uit het HRA-rapport toegelicht die een weerspiegeling zijn van de nefaste verspreiding van redeneringsfouten en ongefundeerde beweringen die het gevolg zijn van dat soort inspanningen.

Nog één laatste bedenking.

Academici, wetenschappers en onderzoekers - zelfs professoren - hebben de ethische verantwoordelijkheid om ervoor te zorgen dat de feiten op elk moment nauwkeurig worden overgebracht op het publiek. Het HRA-rapport rechtvaardigt de nauwkeurigheid of degelijkheid van de in PACE gebruikte methodes simpelweg niet, en ook niet de degelijkheid van het onderzoeksontwerp. Het HRA-rapport evalueert simpelweg of de studie voldeed aan de vereisten van goedkeuring door het Comité voor Onderzoeksethiek in de centra waar ze werd uitgevoerd.

Iemand die dit rapport gebruikt om iets anders te suggereren dan dat het relevante papierwerk correct werd ingediend, schept een fout beeld van de rol van de HRA en de draagwijdte van hun rapport.

Als diegenen met gevestigde belangen in de PACE-studie dit niet duidelijk stellen, dan hoop ik echt dat dat komt door een eerlijke menselijke fout namens hen. Per slot van rekening is geen enkele mens onfeilbaar (zelfs aristocraten niet).

Anders zou het een bewuste poging zijn om te misleiden en dat zou - simpelweg - een schande zijn.

© Brian Hughes. Vertaling Abby, redactie Zuiderzon, ME-gids.


Trial by error: HRA-rapport praat PACE niet goed

David Tuller, DrPH, Virology Blog, 6 februari 2019

Vorige week rapporteerde ik dat Bristol University een onafhankelijke doorlichting had gelanceerd van onderzoek geleid door Professor Esther Crawley, op aanvraag van de Britse Health Research Authority [Britse belangenverdediger van patiënten en volksgezondheid in onderzoek, n.v.d.r.]. Vandaag [6 febr., n.v.d.r.] publiceerde de HRA een rapport over de PACE-studie, waarin ze neergezet wordt als een goed uitgevoerde studie. GET/CGT-aanhangers doen alsof dit rapport een rechtvaardiging is.

Dit staat in schril contrast met de woorden die Professor Bruce Levin, een bekende biostatisticus aan Columbia, gebruikte om PACE te beschrijven: "het toppunt van klinisch onderzoeksamateurisme". Professor Levin gaf vorige zomer een lezing met als titel: "Hoe je een gerandomiseerde klinische studie beter NIET uitvoert". Zoals ik al vaker heb opgemerkt, hebben epidemiologieprofessors aan Berkeley PACE in hun lessen gebruikt als een uitstekend voorbeeld van vreselijk slecht onderzoek. Ikzelf noem het meestal "een stuk rotzooi".

Bij het evalueren van de HRA-bevindingen mag men niet vergeten dat het mandaat van het agentschap relatief beperkt is - het spitst zich toe op het proces. Zoals het rapport opmerkt: "Voor ons als regulator is het belangrijk of een studie op gepaste wijze goedgekeurd werd door het Comité voor Onderzoeksethiek (REC)."

Dit rapport bevat volgende belangrijke vrijwaringsclausule: "De HRA is niet bevoegd voor het oplossen van ... debatten over de kwaliteit van de studie. Discussie over de betekenis en de degelijkheid van de resultaten is een verwacht onderdeel van het wetenschappelijk proces."

En dit: "We merken ook op dat sommige van de kritieken op de PACE-studie waarop men ons heeft gewezen buiten onze regelgevende bevoegdheid liggen en we dus niet in staat zijn om erop te reageren."

Ik ben het niet eens met vele aspecten van dit rapport, en ik zal mijn bedenkingen op een later moment uitgebreid bespreken. Maar beweren dat de HRA PACE wetenschappelijk kerngezond heeft verklaard, gaat vele malen verder dan wat het rapport zelf stelt. Spijtig genoeg zal dat de ideologische GET/CGT-brigade er niet van weerhouden om dat argument door te drukken.

Opvallend genoeg focust het HRA-rapport op de Lancetpaper uit 2011, en negeert het de "herstelpaper" uit 2013 in Psychological Medicine. Voor die paper namen de onderzoekers de eenzijdige beslissing om de vier in hun protocol opgelijste "herstelcriteria" allemaal af te zwakken, omdat ze, zoals ze uitlegden, bepaald hadden dat hun oorspronkelijke evaluatiemethodes te "streng" waren om "herstel" aan te tonen. Ze vreesden met andere woorden dat hun gerapporteerde niveaus van "herstel" te laag zouden liggen.

Het is natuurlijk vanzelfsprekend dat als je maatstaven verzwakt omdat ze te "streng" zijn, je automatisch resultaten zal krijgen die er beter uitzien dan diegenen die je anders had kunnen rapporteren. De onderzoekers ontvingen voor deze beslissing blijkbaar geen goedkeuringen van het toezichtscomité - tenminste, er wordt geen enkele melding van gemaakt in de paper uit 2013. Hadden ze die goedkeuring wél ontvangen, dan zouden ze natuurlijk dit feit aangehaald hebben ter verdediging van hun drastische uitkomstenverwisseling. Het is onduidelijk waarom de HRA ervoor koos om deze paper weg te laten uit hun evaluatie van deze zaak.

Voorlopig herpost ik Virology Blogs open brief aan Dr. Richard Horton, redacteur van The Lancet, van augustus jl. Die brief klaagde de "onaanvaardbare methodologische fouten" aan in PACE en werd ondertekend door 114 wetenschappers, academici en andere experts. Ze werd ook ondertekend door tien Parlementsleden en vele tientallen organisaties van patiënten en belangenbehartigers.

De kritiek die uiteengezet wordt in deze open brief wordt niet weerlegd in het HRA-rapport. De PACE-studie en de daaruit voortvloeiende papers staan nog steeds vol met "onaanvaardbare methodologische fouten".

**************************************

De open brief van augustus 2018 aan The Lancet kan je hier herlezen.

Trial by error: open brief aan The Lancet, versie 3.0

David Tuller, DrPH, Virology Blog, 13 augustus 2018 Twee maanden geleden heeft Professor Racaniello een open brief gestuurd aan de hoofdredacteur van The Lancet, Richard Horton, over de onbetwistbare methodologische en ethische tekortkomingen van de PACE-studie. Dit was een vervolg op de open brief van Virology Blog in 2016 aan Dr. Horton; de nieuwe legde in detail uit wat er sindsdien gebeurd is.

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.

Trial by error: BMJ past PACE-artikel van vorige week aan

David Tuller, DrPH, Virology Blog, 12 februari 2019

Toegevoegd op 12 februari:

Ik realiseerde me vandaag dat ik een paar details wou toevoegen. De nieuwe versie van het BMJ-artikel over de analyse van PACE van de Health Research Authority bevat onderaan deze zin: "Correctiemelding: op 8 februari 2019 werd een nieuwe versie van dit artikel gepost met toegevoegde verduidelijkingen."

Om onverklaarde redenen worden geen verdere details verschaft over wat er gecorrigeerd of verduidelijkt werd. Lezers komen dus niet te weten dat de aanvankelijke beschrijving van mijn rol mijn academische referenties volledig wegliet en me enkel vernoemde als "een Amerikaanse activist". En ze komen ook niet te weten dat het BMJ-artikel oorspronkelijk enkel vermeldde dat "activisten" tegen PACE zijn, en dat het niets zei over Virology Blogs open brief aan The Lancet, die ondertekend werd door meer dan 100 wetenschappers en andere experts en scherpe kritiek gaf op de "onaanvaardbare methodologische fouten" in de studie.

Ik begrijp BMJ's standpunt ergens wel. Dat een toonaangevend medisch vakblad dit soort misleidende informatie verspreid heeft, is natuurlijk gênant. Maar details van correcties en/of verduidelijkingen weglaten is niet de meest transparante manier om het gepubliceerde te corrigeren of te verduidelijken. Toch?

**********

Vorige woensdag [6 februari 2019, n.v.d.r.] publiceerde de Britse Health Research Authority een brief over hun analyse van de PACE-studie. Leden en voorstanders van de ideologische GET/CGT-brigade hebben de HRA-brief fout voorgesteld als een rechtvaardiging van de studie. Op donderdag postte BMJ een artikel van wetenschapsjournalist Nigel Hawkes over de HRA-brief.

Het BMJ-artikel citeerde een stuk uit een post van Virology Blog. Ik had in die post zoals gewoonlijk achter mijn naam de afkorting geschreven van mijn doctoraatstitel volksgezondheid: DrPH. Toch identificeerde BMJ me als "een Amerikaanse activist", zonder vermelding van mijn academische referenties of mijn functie aan een van 's werelds meest vooraanstaande onderzoeksuniversiteiten.

De pro-PACE-experts die geciteerd werden in het BMJ-artikel, werden gepast erkend in hun professionele rol aan prestigieuze Britse instituten. Het artikel schreef ook de weerstand tegen de studie uitsluitend toe aan "activisten", alsof er geen epidemiologen, biostatistici, infectiespecialisten, artsen en specialisten van andere disciplines PACE een veeg uit de pan hebben gegeven voor de onaanvaardbare methodologische fouten die erin staan.

Op de dag dat het artikel verschenen was, stuurde ik een e-mail naar Dr. Fiona Godlee, redactioneel directeur van BMJ, om haar aandacht te vestigen op het probleem van hoe men mij noemde en om haar te verzoeken dit snel op te lossen. (Zie einde van de tekst voor dat bericht; ik postte het vorige week op Facebook.) Ik weet dat ik niet de enige ben die bedenkingen heeft geuit.

Op maandagochtend ontving ik een reactie van Dr. Godlee. Ze meldde dat BMJ een referentie had toegevoegd aan mijn academische functie, en ook een vermelding dat er andere academici zijn die PACE bekritiseerd hebben. Allemaal goed en wel. De wijzigingen zijn ok. Ik apprecieer dat Dr. Godlee bereid was om ze zonder dralen door te voeren.

Maar toch... De gereviseerde versie omschrijft mij nog altijd als een "Amerikaanse activist", en dat zinsdeel staat vóór de nieuwe referentie aan mijn titel van Berkeley. Voor de duidelijkheid: ik beschouw "activisme" als een essentiële component om cruciale sociale verandering teweeg te brengen, onder andere in de gezondheids- en medische sfeer. In het huidige debat vind ik het ok om gezien te worden als een "activist" die vecht voor wetenschap die voldoet aan de minimale normen van integriteit en logica - en daar voldoet PACE niet aan, in mijn professionele opinie als academicus volksgezondheid van de University of California, Berkeley.

Maar in het BMJ-artikel lijkt men het woord "activisten" op een minachtende manier te gebruiken. Het verhaal plaatste de "activisten" die PACE in vraag stellen tegenover pro-PACE-professoren met onberispelijke kwalificaties. Het feit dat ze me in de huidige versie als enige geciteerde expert ook een "activist" noemen, lijkt dus aan lezers te willen aanduiden dat mijn standpunten misschien niet meteen hun aandacht verdienen.

Als academicus en deskundige volksgezondheid, kom ik op voor wat volgens mij in het belang is van de patiënt. De gerespecteerde professoren die de HRA-brief in het BMJ-artikel toejuichen, komen ook op voor wat zij wellicht denken dat in het belang is van de patiënt. Zij staan niet minder "activistisch" achter hun standpunten dan ik achter de mijne.

**********

Dit is mijn e-mail van donderdag aan Dr. Godlee:

Beste Fiona,

Voor zover ik weet, ben ik nog steeds academisch benoemd aan de University of California, Berkeley, met een doctoraat in volksgezondheid. Ik heb onder elke brief die ik u gestuurd heb mijn officiële titel gebruikt.

Kunt u mij alstublieft verklaren waarom BMJ me dan in hun artikel over het rapport van de Health Research Authority beschrijven als een "Amerikaanse activist"? Dit verbaast me natuurlijk niet, gezien het collectieve waanidee van de Britse medische en academische gevestigde orde dat PACE een kwaliteitsvol werkstuk is. Aangezien ik bereid ben om openlijk te stellen dat het gaat om "een stuk rotzooi", is dat misschien automatisch voor mensen als Nigel Hawkes een signaal dat ik wel een "activist" moet zijn.

Er is natuurlijk niks mis met een "activist" zijn, en ik zal niet ontkennen dat mijn werk ook belangenbehartiging voor volksgezondheid omvat. Maar het is niet juist en niet aanvaardbaar om me te omschrijven als een "activist", zonder mijn academische referenties te vermelden en het feit dat ik aangesteld ben aan een van 's werelds meest toonaangevende universiteiten. Uiteraard bevatte het artikel wel de academische profielen van de andere geciteerde experts - maar zij zegden toevallig fijne dingen over PACE.

Hm. Denkt u dat BMJ hier misschien een beetje een blinde vlek heeft?

Een correctie of verduidelijking is uiteraard nodig. Ik apprecieer uw onmiddellijke aandacht voor deze kwestie.

Vriendelijke groet, David

David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


Trial By Error: Brieven aan Fiona Godlee en Nigel Hawkes

David Tuller, DrPH, Virology Blog, 18 februari 2019

Vanochtend [18 februari 2019, n.v.d.r.] stuurde ik volgend bericht naar Dr. Fiona Godlee, hoofdredacteur van The BMJ en redactioneel directeur van BMJ. De onderwerpregel: "Mijn overige bedenkingen..."

*****

Beste Fiona,

Dank u voor de snelle wijzigingen aan Nigel Hawkes' nieuwsverhaal in BMJ i.v.m. de brief over PACE van de Britse Health Research Authority. Ik apprecieer dat u mijn functie aan Berkeley toegevoegd hebt. (Evenwel worden in de gereviseerde versie de PACE-voorstanders niet omschreven als "activisten" omwille van hun fervente belangenbehartiging voor hun professionele standpunten, en toch wordt mij om onverklaarde redenen nog steeds dat label toegewezen.)

Ik apprecieer ook de toevoeging van het feit dat andere academici kritiek hebben gegeven op PACE, en de bijhorende vermelding van het nieuwsbericht van BMJ van vorig jaar over Virology Blogs open brief aan The Lancet. Die open brief refereerde aan de "onaanvaardbare methodologische fouten" van de PACE-studie en werd ondertekend door meer dan 100 academici, wetenschappers en andere experts van Harvard, Columbia, Berkeley, Queen Mary University of London, University College London, Stanford, etc. (Eerder dan uitsluitend voort te gaan op een "activist" als ik om de standpunten van eminente pro-PACE-professoren tegen te spreken, had het BMJ-artikel er goed aan gedaan om het perspectief te belichten van enkele van deze hoog aangeschreven ondertekenaars.)

In elk geval doet BMJ's snelle reactie vermoeden dat redactionele vastberadenheid om het publieke register te corrigeren, sterker kan zijn dan institutionele inertie en weerstand. Daarom dacht ik dat het nuttig zou kunnen zijn om enkele andere onopgeloste problemen aan te halen in verband met BMJ en de ziekte die bekend staat onder de verschillende namen cvs, ME, CVS/ME of ME/cvs, en soms nog andere namen.

Hoewel ik deze bedenkingen voordien al heb geuit, is BMJ nu misschien meer geneigd om ze aan te pakken. Het gaat over volgende kwesties:

1) In een nieuwsbericht over het PACE-rapport uit 2011 van The Lancet, duidde The BMJ aan dat ongeveer 30% van de deelnemers die graduele oefeningen en cognitieve gedragstherapie kregen, "genezen" waren van CVS. Dat was echter geen conclusie van de onderzoekers van de studie zelf, maar een opinie die uitgedrukt werd in een begeleidend commentaar geschreven door anderen. Door deze bewering voor te stellen alsof het in feite ging om een gerapporteerde bevinding van de studie zelf, werd het een onjuist nieuwsbericht. Acht jaar later is het nog steeds onjuist. Zelfs zo lang na datum is correctie nog steeds nodig.

2) In juni jl. publiceerde Archives of Disease in Childhood een "noot van de redactie" over hun studie uit 2017 over het Lightning Process als behandeling voor kinderen met CVS/ME. De "noot van de redactie" onthulde dat er ernstige vragen waren gesteld over de methodologie van de studie en dat het vakblad zich nu bezighield met een procedure van "redactionele beschouwing". Deze noot van de redactie is niet zichtbaar vanuit de studie zelf.

In een e-mail die u mij in oktober stuurde, wees u erop dat BMJ's "systemen" het moeilijk maakten om deze noot van de redactie of de link ernaar te verplaatsen van een verscholen pagina naar een prominentere locatie. U verzekerde me er toen van dat u ging bekijken of dit, ondanks dit obstakel, toch zou kunnen gebeuren. In de vier maanden die sindsdien verstreken zijn, is er niets gebeurd; de noot van de redactie zit nog steeds vast in wat in medische vakbladtermen overeenkomt met Siberië. Hebben BMJ's "systemen" u in dit geval gedwarsboomd in uw pogingen om de redactionele transparantie te verbeteren?

Daarnaast is mijn belangrijkste bedenking bij de studie van Archives dat het vakblad deze lange periode van "redactionele beschouwing" niet kan of niet wil beëindigen. Het is nu acht maanden geleden dat de noot van de redactie gepubliceerd werd. De feiten blijven onbetwist: de studie over het Lightning Process werd niet prospectief geregistreerd zoals BMJ's strikte richtlijnen vereisen; bovendien hielden de onderzoekers zich bezig met uitkomstenverwisseling die de gerapporteerde resultaten beïnvloedden en werd dit niet vermeld in de paper.

Dit is geen ingewikkelde zaak. De studie had nooit gepubliceerd mogen worden. Het lijkt onredelijk en misschien wat wreed om bezorgde ouders te belasten met dit onbeperkte en onverklaarde uitstel - per slot van rekening vertrouwen zij er misschien op dat BMJ over de meest recente informatie beschikt i.v.m. behandelingen voor hun ernstig zieke kinderen. Wanneer denkt Archives zijn "redactionele beschouwing" van de zaak af te ronden?

3) Wanneer zal BMJ Open de verantwoordelijkheid opnemen voor zijn inschattingsfout bij het publiceren van een studie uit 2011 over afwezigheid op school, die door de onderzoekers op misleidende gronden vrijgesteld werd van ethische review? Wanneer zal het vakblad zijn excuses aanbieden voor de onjuiste bewering dat mijn verslaggeving over deze studie "onnauwkeurig" was? Waarom heeft BMJ Open aan het Comité voor Publicatie-Ethiek gezegd dat deze studie enkel anonieme gegevens gebruikte, terwijl de hoofdonderzoeker persoonlijke interviews afnam bij deelnemers?

Zoals ik heb gedocumenteerd, was dit één van elf studies die door Bristol-onderzoekers vrijgesteld werden van ethische review op basis van één enkele brief van het comité voor onderzoeksethiek. Vijf van die studies, waaronder de studie over afwezigheid op school, werden gepubliceerd in BMJ-bladen. Dit suggereert dat BMJ's peerreviewprocessen mogelijk heel wat zwakke punten kennen. Wanneer is BMJ van plan om te onderzoeken of deze vijf papers al dan niet correct vrijgesteld werden van ethische review?

In de mail die u mij in oktober stuurde, duidde u aan dat sommige zaken "buiten onze directe controle" liggen, en dat ik dat zeker wel zou begrijpen. Ik wil u beleefd meedelen dat ik dat niet begrijp. Het is bekend dat Bristol University nu bezig is met een onderzoek van sommige van de papers die vrijgesteld werden van ethische review. Maar ik ga ervan uit dat BMJ's redactionele functies binnen uw "directe controle" liggen, en niet erbuiten. U kan gepaste actie ondernemen voor BMJ's gebrek aan toezicht, zonder te moeten wachten op de resultaten van een onderzoek van Bristol University of van eender wie anders.

Fiona, weerstand voelen tegen fouten toegeven is begrijpelijk. Ik heb begrip voor uw situatie. Maar het is meer dan hoog tijd dat BMJ zijn trots opzij zet, zijn fouten op dit gebied het hoofd biedt en een eerlijke poging onderneemt om deze puinhoop op te ruimen.

Vriendelijke groet, David

David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

**********

Vorige donderdag [14 februari 2019, n.v.d.r.] stuurde ik journalist Nigel Hawkes volgende e-mail, nadat BMJ wijzigingen had doorgevoerd aan het artikel dat naar mij verwezen had als "een Amerikaanse activist" en daarbij mijn academische referenties wegliet. De onderwerpregel: "excuses, misschien?"

*****

Beste Nigel,

ik ben blij dat uw misleidende BMJ-artikel over het rapport van de Health Research Authority prompt werd aangepast/gecorrigeerd. Had ik echter in uw schoenen gestaan, dan had ik de academicus in kwestie - in dit geval ben ik dat - een briefje met excuses gestuurd. Mij aanduiden als een "activist" - ik veronderstel omwille van mijn uitgesproken mening over PACE - eerder dan mijn academische referenties daadwerkelijk na te kijken, was toch wel een beginnersfout. (Mij verder blijven aanduiden als een "activist" terwijl de andere geciteerde academici dat label niet opgeplakt kregen, was ook een ongepaste redactionele keuze, maar goed.)

Ik raad u aan dat u volgende keer goed oplet wat er achter iemands naam staat, zodat u ziet welke letters daar geschreven staan. Nog een tip: laat u in uw verslaggeving niet leiden door uw vooringenomenheid en veronderstellingen, vooral als die vooringenomenheid en die veronderstellingen gebaseerd zijn op uitspraken van leden van het PACE-team of hun fans bij het Science Media Centre. Maakt niet uit welke verheven functies ze bekleden - dit zijn mensen die de feiten verdraaien en ze hebben ongelijk, of toch in mijn professionele opinie.

Als u dit verhaal echt in de diepte zou bekijken, zou het kunnen dat u het veel interessanter zal gaan vinden dan hoe u het vorige week en in vroegere artikels over de zaak gekaderd hebt. Vraagt u zich niet af waarom meer dan 100 wetenschappers, academici en andere deskundigen hun ontzetting hebben geuit over de frappante afwijkingen in PACE, door een open brief te ondertekenen aan The Lancet, waarin de "onaanvaardbare methodologische fouten" in de studie scherp bekritiseerd worden? Of beschouwt u hen allemaal als "activisten" wier standpunten beter afgewezen en genegeerd worden?

Al meer dan drie jaar lang verbaas ik me over hoe u en vele van uw Britse collega-journalisten de partijlijn aanvaard hebben in dit debat, voor zover ik weet zonder de details van de wetenschap zelf te onderzoeken. U en anderen lijken opmerkelijk ongeïnteresseerd in waarom zo vele gerenommeerde professionals uit de VS en elders de PACE-studie zo schandalig vinden.

In plaats daarvan, zoals uw laatste BMJ-artikel aantoont, stelt u zich tevreden met het spuien van dezelfde achterhaalde fabels over patiënten.

Waarom doet u dat eigenlijk?

Vriendelijke groet, David

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


Trial By Error: Professor Sharpe vraagt om intrekking van artikels

David Tuller, DrPH, Virology Blog, 18 februari 2019

Nadat de Health Research Authority deze maand [februari, n.v.d.r.] zijn PACE-analyse uitbracht, stuurde Professor Michael Sharpe e-mails naar ten minste twee Amerikaanse tijdschriften met een verzoek tot intrekking of aanzienlijke correctie van kritische artikels. Professor Sharpes e-mails beschuldigden de schrijvers in kwestie ervan dat ze gesuggereerd hadden dat PACE "frauduleus" was. Dat was een valse beschuldiging.

In beide gevallen hadden de schrijvers een correcte beschrijving gegeven van de PACE-onderzoekers hun misleidende voorstelling van de data. In beide gevallen hebben de redacteurs Professor Sharpes verzoek afgewezen.

Het ziet ernaar uit dat Professor Sharpe het HRA-rapport probeert te verkopen als een volledige rechtvaardiging voor PACE. Maar daarbij negeert hij de begrensde bevoegdheden van de HRA. In zijn brief stelt de HRA zelf dat het zijn taak is om zich te focussen op regelgevingskwesties, zoals de procedure voor het verkrijgen van ethische goedkeuringen, en niet op de kwaliteit van de wetenschap.

Ik stel mij een heel aantal vragen bij de HRA-analyse. Maar ik vond het in elk geval goed dat de brief, naast de uitleg over wat wel en wat niet onderzocht werd, specifiek aanmoedigde dat het stevige debat over PACE verdergezet zou worden. Professor Sharpe lijkt die boodschap niet begrepen te hebben.

Een van de publicaties die een reactie kregen van Professor Sharpe was STAT, de schrandere website over gezondheid en geneeskunde uit Boston. In 2016, kort nadat Queen Mary University of London de PACE-data vrijgaf, publiceerde STAT een uitstekend stuk door journaliste en patiënte Julie Rehmeyer, die over haar eigen ziekte schreef in Through the Shadowlands: A Science Writer’s Odyssey. Julies STAT-artikel citeerde de pas vrijgegeven PACE-data als bewijs dat de drastische uitkomstenverwisseling van de studie - of beter gezegd uitkomstenafzwakking - leidde tot opgesmukte resultaten.

In de HRA-brief van vorige week staat er niets wat de feiten weerlegt die besproken werden in Julies STAT-artikel. En toch e-mailde Professor Sharpe het volgende naar het tijdschrift (hij voegde ook links toe):

"U publiceerde in 2016 een artikel dat suggereert dat onderzoek waar ik bij betrokken was, frauduleus was. U zal het wellicht interessant vinden dat de Britse Health Research Authority, na gelijkaardige kwaadwillige aantijgingen, de studie heeft onderzocht. Hun conclusies werden vandaag gepubliceerd.

Ik zou u officieel willen verzoek om ofwel het artikel in kwestie in te trekken, ofwel een prominent erratum te publiceren in uw blad."

Arme Professor Sharpe. Dit zielige briefje spreekt boekdelen.

In haar stuk vertelde Julie nauwgezet het verhaal van hoe patiënten met succes het mysterie ontrafeld hadden van hoe PACE-deelnemers op belangrijke maatstaven tegelijkertijd "hersteld" en "geïnvalideerd" konden zijn. Ze suggereerde niet dat het onderzoek "frauduleus" was. Ze documenteerde de twijfelachtige methodologische keuzes van de onderzoekers, die ervoor zorgden dat ze resultaten konden rapporteren die er beter uitzagen dan anders mogelijk zou zijn geweest.

Het stuk bevat ook geen fouten die gecorrigeerd moeten worden. Het bevat standpunten en interpretaties waar Professor Sharpe het absoluut niet mee eens is. Hij heeft het recht om wat Julie schreef weerzinwekkend en beledigend te vinden. En Julie heeft het recht om ideeën uit te drukken die Professor Sharpe wellicht weerzinwekkend en beledigend vindt. (Julie is een vriendin en professioneel collega, en het STAT-artikel gaf een positieve vermelding over mijn rol in de PACE-saga.)

Blijkbaar vindt Professor Sharpe dat het in vraag stellen van zijn gammele methodologie gelijk staat aan zijn onderzoek "frauduleus" noemen. Opmerken dat een studie wetenschappelijke basisprincipes overtreedt, kan blijkbaar vergeleken worden met het maken van "kwaadwillige aantijgingen". In dezelfde geest leek Professor Esther Crawley te vinden dat mijn blogs "lasterlijk" waren, omdat zij mijn strenge evaluatie van haar onderzoek niet leuk vond. (Dat is tenminste wat ik veronderstel; aangezien ze nooit heeft verklaard wat ze bedoelde, weet ik het niet zeker.)

Professor Sharpes eis tot intrekking of een "prominent erratum" was een daad van overmoed - hij schoot zijn doel voorbij, wellicht omdat hij al jarenlang een vertekend beeld heeft van de realiteit en omdat hij verbluffend weinig benul heeft van wetenschappelijke fatsoenlijkheid. STAT wees Professor Sharpes verzoek af.

De andere nieuwsorganisatie die een gelijkaardig bericht kreeg van Professor Sharpe was The Conversation. In dat geval ging zijn klacht over een stuk van Steven Lubet, een professor rechten en expert in wetsethiek aan Northwestern University. (Professor Lubet is een vriend en collega die geschreven heeft voor Virology Blog; in één post verdedigde hij me tegen Professor Sharpes publiekelijk verkondigde bedenkingen bij mijn crowdfunding.) Net als STAT, vond The Conversation Professor Sharpes eis niet gegrond.

Ik veronderstel dat Professor Sharp wellicht op voorhand wist dat de HRA de brief zou vrijgeven; het Science Media Centre leek verklaringen van hem en twee andere pro-PACE-"experts" wel heel snel nadien te posten. Misschien koesterde Professor Sharpe de hoop of de verwachting dat het document de tanende macht van de ideologische GET/CGT-brigade nieuw leven zou inblazen. Maar hoe de HRA-brief de zaken ook draait of keert, niets zal PACE kunnen redden van zijn meest verdiende lot: in epidemiologiecursussen en -handboeken terechtkomen als een klassiek voorbeeld van slecht onderzoek.

In normale journalistieke omstandigheden zou ik bij Professor Sharpe even nagevraagd hebben waarom hij dacht dat het een goed idee was om dat soort berichten rond te sturen en of hij het bij meer dan twee publicaties geprobeerd had. Maar dit zijn geen normale journalistieke omstandigheden.

(Ik heb meegeschreven aan twee stukken voor STAT. Geen daarvan worden in dit artikel besproken. Mijn coauteur bij het eerste was Julie Rehmeyer, en bij het tweede was het Professor Lubet. Professor Sharpe heeft nog geen intrekking/correctie gevraagd voor een van deze twee verhalen.)

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


Trial by error: mijn vragen aan de PACE-professoren

David Tuller, DrPH, Virology Blog, 13 februari 2019

Ik dacht dat het misschien nuttig was om een lijst met vragen te herposten die ik in september 2015 wilde stelden aan Professor White en zijn PACE-collega's - meer dan een maand voordat Virology Blog het eerste deel publiceerde van "Trial By Error: De verontrustende zaak van de PACE-studie over Chronisch Vermoeidheidssyndroom". Ik postte deze lijst voor het eerst op 4 januari 2016.

In de jaren die sindsdien zijn verstreken, hebben de PACE-auteurs beweerd dat ze alle vragen herhaaldelijk hebben beantwoord. In werkelijkheid hebben ze moeilijke vragen ontweken, en non-antwoorden gegeven. Dat is de reden waarom vorig jaar meer dan 100 experts hun handtekening zetten onder een open brief aan The Lancet waarin ze de "onaanvaardbare methodologische fouten" van de PACE-studie aan de kaak stelden.

Vorige week greep de belegerde ideologische GET/CGT-brigade een beperkt maar positief klinkend rapport van een afdeling van de National Health Service aan als een of andere rechtvaardiging - hun vriendjes bij het Science Media Centre verzorgden de perschoreografie. Zoals wel vaker gebeurt, gaven ze er zo'n fikse draai aan dat het resulteerde in misleidende informatie. BMJ's intussen aangepaste artikel over dit rapport van de Health Research Authority werd daar een markant voorbeeld van.

De oorspronkelijke versie van het BMJ-artikel benoemde me als "een Amerikaanse activist", en liet mijn academische referenties weg. Er werd ook geen melding gemaakt van het feit dat niet enkel "activisten", maar ook vele andere "academici" net als ik vinden dat PACE niet deugt. BMJ heeft een paar aanpassingen gedaan en heeft een nota ter "correctie/verduidelijking" toegevoegd, waarin niet wordt vermeld wat er in feite gecorrigeerd of verduidelijkt werd. Dat de nota vaag is, doet vermoeden dat BMJ het belangrijker vindt om gezichtsverlies tot een minimum te beperken, dan om zijn redactionele proces zo transparant mogelijk te maken. Goed om weten.

In een rapid response bood een seniordocent zijn steun met deze observatie: "Het [PACE] was geen perfecte studie, maar telkens als het onder de loep wordt genomen door organisaties die ervaring hebben met het beoordelen van onderzoek (eerst de review van de onderzoeksraad, dan Cochranereview, en pas geleden de HRA) is de bevinding dat het proces, de methodologie, de analyse en het onderzoeksteam zeker voldoen aan, en zich houden aan de aanvaarde normen van klinisch onderzoek."

Deze bewering, die waar is, vat een groot deel van het probleem samen. Het feit dat die organisaties PACE goede punten hebben gegeven, kan op meerdere manieren geïnterpreteerd worden. Eén mogelijke interpretatie is dat voorname toezichtsorganen PACE een goede studie vonden omdat het effectief een goede studie was. Een andere interpretatie is, dat diegenen die aan het hoofd staan van dat soort instituten, mogelijk dezelfde vooringenomenheid en waanideeën hebben als de PACE-auteurs, en dat ze daarom fouten hebben getolereerd, afgewezen of genegeerd, die eerstejaarsstudenten epidemiologie aan Berkeley zouden doorzien.

In het specifieke geval van de HRA, heb ik aangeduid dat hun toepassingsgebied nauw is. Hoewel ik bedenkingen heb over het rapport binnen dat toepassingsgebied, kon ik het wel appreciëren dat de grenzen van de review expliciet werden vermeld, en dat men opriep om verder te blijven debatteren over de kwaliteit van de wetenschap.

Binnen de context van deze vernieuwde publieke discussie over of PACE een degelijke of kwalitatieve studie is, dacht ik dat het nuttig zou zijn om alle feiten nog eens op een rijtje te zien en mijn eerste vragen aan de onderzoekers te herbekijken.

Hieronder staat de vragenlijst, exact zoals ik hem had opgesteld op 1 september 2015. (Eén uitzondering: ik heb vraag 26 gecorrigeerd. Daarin stond een onjuiste beschrijving van de kosteneffectiviteitsanalyse in de studie in PLoS One uit 2012. Ik heb de oorspronkelijke versie van vraag 26 gepost achter de gereviseerde versie.)

Sommige vragen zijn niet meer actueel. Er staan vele vragen tussen waarvan de onderzoekers zullen beweren dat ze ze beantwoord hebben; in sommige gevallen klopt dat, maar dan wel met ontoereikende toelichtingen. Er zijn nu meer dan drie jaar verstreken, en ik wacht nog steeds op échte antwoorden. Het HRA-rapport draagt hier ook niet veel aan bij.

**********

https://www.me-gids.net/module-ME_CVS_docs-viewpub-tid-1-pid-1520.html

Trial By Error, vervolgd: vragen voor Dr. White en zijn collega's van de PACE-studie

David Tuller DrPH, Virology Blog, 4 januari 2016 David Tuller is een academisch coördinator van de masteropleidingen in volksgezondheid en journalistiek aan de universiteit van Californië, Berkeley. Ik heb meer dan een jaar geprobeerd antwoorden te krijgen van de PACE-onderzoekers.

26. De paper in PLoS One rapporteerde dat uit een gevoeligheidsanalyse bleek dat de bevindingen van de maatschappelijke kosten-batenanalyse van CGT en GET “robuust” zouden zijn, zelfs wanneer informele zorg werd gemeten, niet door de vervangingskosten te berekenen op basis van een nationaal gemiddeld salaris, maar door gebruik te maken van alternatieve aannames - de kost van een thuiszorgmedewerker of een minimumsalaris. Toen lezers deze bewering – dat de bevindingen “robuust” zouden zijn onder deze alternatieve aannames – ter discussie stelden, was hoofdauteur, Paul McCrone, het er in zijn antwoorden mee eens dat het veranderen van de waarden voor informele zorg in feite de uitkomsten zou wijzigen. Hij bekritiseerde toen de goedkopere alternatieve aannames omdat ze het werk van mantelzorgers niet gepast waardeerden - ook al maakten die goedkopere aannames deel uit van het statistische analyseplan van PACE.

Waarom voegde de PLoS-paper een kennelijk inaccurate gevoeligheidsanalyse toe, die beweerde dat de bevindingen van de maatschappelijke kosten-batenanalyse voor CGT en GET “robuust” waren onder de alternatieve aannames, ondanks het feit dat dat niet het geval was? En als de alternatieve aannames “controversieel” en “beperkend” waren, zoals de hoofdauteur schreef in een van zijn geposte reacties, waarom voegde het PACE-team deze dan überhaupt toe aan het statistisch plan?

[Hieronder staat de ongecorrigeerde versie.]

26. De paper in PLoS One rapporteerde dat uit een gevoeligheidsanalyse bleek dat de bevindingen van de maatschappelijke kosten-batenanalyse van CGT en GET “robuust” zouden zijn zelfs wanneer informele zorg werd gemeten, niet door de vervangingskosten van een zorgmedewerker, maar door gebruik te maken van alternatieve aannames van minimumsalaris of geen enkele betaling. Toen lezers deze claim – dat de bevindingen “robuust” zouden zijn onder deze alternatieve aannames – ter discussie stelden, was hoofdauteur, Paul McCrone, het er in zijn antwoorden mee eens dat het veranderen van de waarden voor informele zorg in feite de uitkomsten zouden wijzigen. Hij bekritiseerde toen de alternatieve aannames omdat zij waren toegevoegd aan het statistische plan van PACE.

Waarom voegde de PLoS-paper een kennelijk inaccurate gevoeligheidsanalyse toe, die claimde dat de bevindingen van de maatschappelijke kosten-batenanalyse voor CGT en GET “robuust” waren onder de alternatieve aannames, ondanks dat dat niet het geval was? En als de alternatieve aannames “controversieel” en “beperkend” waren, zoals de hoofdauteur schreef in een van zijn geposte reacties, waarom voegde het PACE-team deze dan in de eerste plaats toe in het statistisch plan?

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.


Lees ook


| |

Nog geen reacties geplaatst

Alleen ingelogde gebruikers kunnen een reactie plaatsen. Registreren of inloggen.