Trial by error: Bruce Levin over “hoe je een gerandomiseerde klinische studie beter NIET uitvoert”

David Tuller, DrPH, Virology Blog, 18 september 2018

Toen ik de PACE-studie voor het eerst in detail begon te onderzoeken, wendde ik me tot experts in klinische studies om mijn bedenkingen af te toetsen. Een van hen was Bruce Levin, professor aan Mailman School of Public Health aan Colombia University. Een gemeenschappelijke collega verwees me naar hem door. Nadat hij de studie bekeken had, noemde hij ze een knoeiboel – een conclusie die me in mijn voornemen versterkte om de zaak onder de loep te nemen.

Professor Levin signaleerde vele fouten in het ontwerp en de uitvoering van de PACE-studie. Hij vond onaanvaardbare eigenaardigheden in de studie, in het bijzonder de overlappingen tussen de drempels voor start en uitkomst voor de belangrijkste uitkomstmaten van fysiek functioneren en vermoeidheid. “Ik heb nog nooit een studieontwerp gezien waarbij toelatingscriteria voor een ziekte op zich sommige patiënten kwalificeert als succesvol behandeld”, zei Levin me voor mijn eerste artikelenreeks. “Het roept vraagtekens op over de diagnose van een ziekte waarbij de patiënten al als ‘hersteld’ gelden of ‘binnen normaal bereik’. Ik vind het bijna ondenkbaar dat het comité dat toezicht houdt over de studiegegevens, dit soort problematisch protocol bewust goedgekeurd zou hebben.”

Levin zei ook dat middenin de studie een nieuwsbrief publiceren met enthousiaste getuigenissen van eerdere deelnemers en positief nieuws over de onderzochte behandelingen, er echt wel voor gezorgd kan hebben dat antwoorden daardoor beïnvloed werden, vooral in een niet-geblindeerde studie met subjectieve uitkomsten, zoals PACE. “Het is uiterst ongepast om eender wat te publiceren tijdens een lopende klinische studie”, vertelde hij me. “Deelnemers laten weten dat behandelingen geselecteerd werden door een overheidscomité ‘op basis van het beste bewijs dat beschikbaar is’, lijkt mij het toppunt van onderzoeksamateurisme.” (Dat is eigenlijk mijn favoriet uitspraak ooit: “het toppunt van onderzoeksamateurisme”.)

In elk geval ging Professor Levin vorige week met zijn kritiek een stap verder, tijdens een publieke lezing over PACE aan Columbia. De lezing kreeg, passend genoeg, als titel: “Hoe je een gerandomiseerde klinische studie beter NIET uitvoert”. De laatste paar jaar heb ik herhaaldelijk opgemerkt dat PACE aan Berkeley in de cursussen epidemiologie gebruikt wordt als gevalstudie over slechte wetenschap. En nu kan je dus werkelijk zeggen dat PACE op meerdere grote Amerikaanse universiteiten voorgesteld is als gevalstudie over slechte wetenschap. Bedankt, Bruce!!

Dit is een link naar zijn presentatie [in het Engels, n.v.d.r.]:

http://irvinginstitute.columbia.edu/pdf/How_Not_to_Conduct_in_Randomized_Clinical_Trial_Levin.pdf