Waarom reproduceerbaarheid in de wetenschap zo belangrijk is

KNAW (2018) rapport: Replication Studies

In een recent rapport Replication Studies van de Koninklijke Nederlandse Akademie van Wetenschappen, de KNAW, komen de auteurs tot de conclusie dat het slecht gesteld is met de reproduceerbaarheid van onderzoek in de exacte wetenschappen. Dit houdt in dat als een gepubliceerd onderzoek herhaald wordt door andere onderzoekers met dezelfde methode, technieken en materialen, er niet dezelfde resultaten uitkomen. 

Dat is erg! Hoe erg is dat?

In de vakgebieden waar de reproduceerbaarheid laag is, kan het wel eens slecht gesteld zijn met de kwaliteit van onderzoek in het hele vakgebied. Bovendien, zo schrijven de auteurs

"Studies with non-reproducible results can jeopardise scientific progress, waste resources, harm individuals and society, and erode public trust in science."

Wetenschappelijke vooruitgang kan in gevaar komen, wordt er geld verspild, kan het schadelijk zijn voor individu en samenleving, en wordt het vertrouwen van het publiek in de wetenschap ondermijnd.

Ik zocht naar vakgebieden waar proefdieren gebruikt werden. Ik vond twee vakgebieden: Preklinsiche studies / Algemene biologie en Preklinisch studies / neurologie. Dit gaat dus over geneesmiddelen onderzoek. In het eerste geval was de conclusie:

"Researchers from Bayer HealthCare attempted to validate data on potential drug targets  obtained in 67 projects by copying models exactly or by adapting them to internal needs.  In 20% to 25% of cases, published data were completely in line with the results  of the validation studies. "

Dat betekent dus dat 75 - 80% van de studies niet of slecht reproduceerbaar waren!  In het tweede geval:

"Retesting of nine potential drugs in rigorous animal tests that had been reported to slow down  disease in a mouse model for ALS . None (0%) of the drugs was found to slow down ALS. "

Dus in deze studies was het nog erger: geen enkele reproduceerbaarheid! Deze studies zijn dus waardeloos. Nog erger: honderden of duizenden proefdieren zijn voor niets opgeofferd. 
Wat mij opvalt is dat het KNAW rapport niets over verspilde dieren schrijft. Alleen: "waste resources". Dieren zijn slechts 'resources'. Wel staat dat er onnodig risico ontstaat voor menselijke proefpersonen.

Behalve de reproduceerbaarheid is er dus meer mis met onderzoek in de biomedische wetenschappen. Of in ieder geval bij de auteurs van het rapport. Hopelijk zullen er minder proefdieren voor niets opgeofferd worden als de aanbevelingen van de KNAW om reproduceerbaarheid te verhogen in de praktijk worden toegepast. Nog beter: proefdiervrij onderzoek. Daar over een volgende keer.