Trial by error: mijn briefwisseling met het vakblad Archives of Disease in Childhood

David Tuller, DrPH, Virology Blog, 7 maart 2018

Op 30 januari e-mailde Professor Racaniello een bezorgde brief naar de Archives of Disease in Childhood [gepeerreviewd medisch-pediatrisch tijdschrift, gepubliceerd door de BMJ-groep, n.v.d.r.], over een klinische studie over het Lightning Process bij kinderen met CVS/ME (zoals de studie de ziekte noemde). De brief, ondertekend door 21 experts en academici, documenteerde de bedenkelijke methodologische keuzes van de studie en het feit dat de onderzoekers niet exact vermeldden wat ze hadden gedaan.

In het bijzonder merkte de brief op dat de onderzoekers een haalbaarheidsstudie uitgebreid hadden tot een volledige studie, terwijl ze tegelijkertijd primaire en secundaire uitkomstmaten verwisseld hadden – dat is vragen om bias. Zo konden ze veel indrukwekkender klinkende resultaten rapporteren dan ze hadden kunnen doen als ze de uitkomstmaten niet hadden omgewisseld.

Archives of Disease in Childhood maakt deel uit van de BMJ-groep. De redacteur van het wetenschappelijk tijdschrift, Dr. Nick Brown, verzekerde Professor Racaniello ervan dat hij de zaak serieus nam en dat ze bekeken zou worden. Intussen heeft BMJ Open, een ander tijdschrift van BMJ, een paper gepubliceerd die precies dat thema aansnijdt. De nieuwe studie onderzoekt onder andere of studies, ingediend bij BMJ en niet aanvaard omdat ze niet correct prospectief geregistreerd werden, vervolgens elders gepubliceerd werden. De studie concludeerde dat “niet correct geregistreerde studies bijna altijd elders gepubliceerd worden, wat erop wijst dat de redacteurs van medische wetenschappelijke tijdschriften registratievereisten mogelijk niet actief afdwingen.”

Vorige week verzond ik volgende e-mail naar Dr. Brown:

Geachte Dr. Brown,

Ik schrijf een post over de nieuwe studie van BMJ Open over niet correct geregistreerde studies die toch gepubliceerd raken. De studie is sterk verwant aan de kwestie van de studie over het Lightning Process, gezien meer dan de helft van de deelnemers aangemeld waren vóór de studieregistratiedatum en de uitkomstmaten verwisseld werden op basis van die eerste resultaten, wat betekent dat dit geen correct geregistreerde prospectieve studie was. In de registratie zelf wordt beweerd dat het gaat om een “prospectieve” studie. Toch is dit, gezien de omstandigheden, duidelijk niet het geval, vooral gezien het feit dat de studieregistratie ook vermeldt dat de deelnemers deels uit de haalbaarheidsstudie kwamen.

Dit is de eerste paragraaf van de nieuwe studie van BMJ Open: “Sinds 2005 dringt het Internationaal Comité van Redacteurs van Medisch-Wetenschappelijke Tijdschriften (ICMJE) aan op prospectieve studieregistratie als voorwaarde voor publicatie. Registratie moet gebeuren vóór aanmelding van de eerste studiedeelnemer in een studieregister dat voldoet aan de kwaliteitsvoorwaarden ontwikkeld door de WHO [ Wereldgezondheidsorganisatie, n.v.d.r.]. Honderden biomedische wetenschappelijke tijdschriften hebben dit beleid vervolgens onderschreven. Het naleven van deze voorwaarden verloopt echter niet altijd correct, zowel aan de kant van de onderzoekers als aan die van de redacteurs van wetenschappelijke tijdschriften.”

En dit is wat de hoofdredacteur van BMJ Open, Dr. Trish Groves, tweette over de kwestie: “Prospectieve registratie van #klinischestudies is geen administratieve rompslomp: er zijn goede ethische en wetenschappelijke redenen voor.”

Trish Groves on Twitter

Prospective registration of #clinicaltrials isn’t red tape: it’s done for sound ethical and scientific reasons. Yet unregistered trials rejected @bmj_latest still get published elsewhere as this study @bmj_open shows https://t.co/4bIT7v0i6L

Het spreekt ongetwijfeld voor zich dat er voor de studie over het Lightning Process geen registratie plaatsvond “vóór de aanmelding van de eerste studiedeelnemer”. Gezien de overeengekomen vereiste voor geldige prospectieve studieregistratie, heb ik volgende vragen over de paper in Archives:

Wisten de redacteurs vóór de publicatie dat meer dan de helft van de deelnemers aan de studie over het Lightning Process tot twee jaar vóór de studieregistratie gerekruteerd werden als deelnemers aan een haalbaarheidsstudie en pas achteraf aangemeld werden bij de volledige studie? Als ze dit niet wisten, waarom niet?
Waren de peerreviewers op de hoogte van deze informatie? Indien niet, waarom niet?
Wisten de redacteurs en peerreviewers dat de primaire en secundaire uitkomstmaten verwisseld waren op basis van de resultaten van meer dan de helft van de deelnemers, die aangemeld waren vóór de studieregistratie? Indien niet, waarom niet?
Hebben de redacteurs en peerreviewers het studieprotocol of de haalbaarheidsstudie gelezen als deel van het reviewproces van de gepubliceerde paper? Indien niet, waarom niet?
Hebben de auteurs van de studie de redacteurs van Archives op de hoogte gesteld van het feit dat meer dan de helft van de deelnemers aangemeld waren vóór de registratie en dat de uitkomstmaten verwisseld waren? Indien niet, bent u van mening dat ze de redacteurs hiervan op de hoogte hadden moeten stellen?
Bent u het ermee eens dat deze studie de vereisten voor prospectieve registratie niet vervult, zoals uiteengezet in de recente paper van BMJ Open en in overeenstemming met de visie van de leden van COPE [ Commissie over Publicatie-ethiek, n.v.d.r.], vooral gezien het feit dat de uitkomstmaten verwisseld werden op basis van de bevindingen van de haalbaarheidsstudie? Indien niet, waarom niet?
Hebt u een termijn in gedachten tegen dewelke u denkt deze kwestie opgelost te hebben?

Dank u wel voor uw snelle reactie. Ik zal deze nieuwe blog waarschijnlijk op maandag posten.

Vriendelijke groet, David

Dr. Brown e-mailde mij zijn antwoord de volgende dag. Hij beantwoordde geen van de specifieke vragen, maar verzekerde mij dat de zaak in detail onderzocht werd. Hij kon echter geen vaste datum geven tegen wanneer de kwestie opgelost zou zijn, zodat de bekommernissen de volledige aandacht konden krijgen die ze verdienden. Vandaag heb ik geantwoord met dit bericht:

Geachte Dr. Brown,

Bedankt voor uw antwoord. Zoals ik vermeldde in mijn laatste e-mail, werk ik aan dit project in journalistiek tempo, niet in academisch publicatietempo. Dat betekent dat ik vragen moet stellen zo gauw er zich nieuwe ontwikkelingen voordoen.

In dit geval is de nieuwe studie van BMJ Open van belang voor de huidige situatie. Deze studie ging over het ethische en wetenschappelijke belang van het niet publiceren van studies waarvan de werving voorafging aan de studieregistratie. Het beleid van COPE en BMJ, om geen studies te publiceren waarbij patiënten werden gerekruteerd vóór studieregistratie, lijkt geen uitzonderingen of achterpoortjes te bevatten waar de studie in Archives gebruik van had kunnen maken.

Daarom zijn de ondertekenaars van de Archives-brief wat verbouwereerd dat uw review van de zaak al meer dan een maand tijd in beslag neemt. De feiten zijn eenduidig. De studieregistratie gebeurde in juli 2012. De paper zelf duidt aan dat werving begon in september 2010. De uitkomstmaten werden verwisseld, wat bias veroorzaakt in de gerapporteerde bevindingen. De chronologie van de gebeurtenissen werd in de paper niet vermeld. Eender wie kan zien dat deze handelingen in tegenspraak zijn met het strikte beleid bekrachtigd door COPE en de wetenschappelijke tijdschriften van BMJ.

Niettemin kijken we allen uit naar de reactie van het wetenschappelijk tijdschrift, wanneer die er ook zal komen.

Vriendelijke groet, David