La fiabilité des preprints est une source persistante de débat dans l’édition scientifique. Les sceptiques soutiennent que les résultats publiés sans évaluation par les pairs sont intrinsèquement peu fiables ; les défenseurs rétorquent que le pipeline de la prépublication à la publication, bien qu’imparfait, produit rarement des revirements complets.
Une analyse à grande échelle publiée sur bioRxiv par Hao Yin et Ruslan Rust (University of Southern California et Western University) apporte la réponse quantitative la plus complète à ce jour. En utilisant Claude Sonnet 4,6 pour classer les changements dans les affirmations principales à travers 72 644 paires de preprints bioRxiv (2018–2025) et leurs articles de revue correspondants, l’étude constate que la grande majorité des conclusions des preprints survivent substantiellement intactes à l’évaluation par les pairs.
Les chiffres
Sur les 72 644 paires preprint-article analysées :
- 39,9 % avaient des conclusions primaires inchangées
- 50,0 % avaient des révisions mineures, reformulations, qualifications ou légers ajustements de l’affirmation centrale
- 10,2 % avaient des révisions majeures, affirmations substantiellement modifiées, effets inversés ou conclusions passant de positives à nulles
La tendance s’améliore : les révisions majeures sont passées de 17,0 % en 2019 à 5,7 % en 2024. Ce déclin pourrait refléter l’évolution de la culture des preprints : les publications du début de l’ère COVID étaient précipitées, tandis qu’aujourd’hui de nombreux auteurs intègrent des révisions de type évaluation par les pairs avant leur première mise en ligne.
Le langage de prudence a également évolué. Dans 85,6 % des paires, le niveau de certitude de l’affirmation principale est resté le même. Lorsqu’il changeait, les auteurs étaient environ deux fois plus susceptibles de devenir plus prudents (8,4 %) que plus confiants (4,2 %).
Taux de rétractation
Les articles associés à des preprints présentaient des taux de rétractation significativement plus faibles que les articles jamais apparus comme preprints. Parmi les articles d’abord publiés sur bioRxiv, le taux de rétractation était de 8,1 pour 10 000 articles. Parmi les articles jamais publiés comme preprints, ce taux était de 18,7 pour 10 000, soit un rapport de 2,31 (IC 95 % 1,20–4,45, p = 0,003).
Les auteurs précisent qu’il s’agit d’une constatation observationnelle, et non d’une preuve que la prépublication entraîne un risque moindre de rétractation. Les articles publiés comme preprints peuvent différer des articles non prépubliés par des aspects qui affectent également la qualité ; par exemple, les auteurs qui choisissent de prépublier peuvent être plus confiants dans leurs résultats.
Variation par domaine et dans le temps
Les taux de révisions majeures variaient considérablement selon le domaine. La bioinformatique présentait le taux le plus bas (7,2 %), tandis que la microbiologie avait le plus élevé (17,5 %). Le délai d’examen était également corrélé aux changements : les articles ayant mis le plus de temps à être publiés (environ 416 jours en médiane) avaient un taux de révision majeure de 14,1 %, contre 7,0 % pour les articles examinés le plus rapidement (environ 110 jours).
Lorsque l’affirmation principale changeait, 90 % des affirmations secondaires changeaient également, ce qui suggère qu’une révision d’un résultat central tend à se répercuter en cascade dans l’article plutôt que d’être une correction isolée.
Limites
L’étude comporte des réserves importantes. Elle n’a analysé que les résumés ; les changements dans les méthodes, les figures ou les résultats en texte intégral n’ont pas été pris en compte. Elle a comparé la première version du preprint avec la version publiée, elle ne peut donc pas séparer les révisions initiées par les auteurs des modifications issues de l’évaluation par les pairs. L’analyse a utilisé un seul LLM, ce qui introduit ses propres erreurs de classification, bien que la validation ait montré un accord avec des experts du domaine (kappa de Cohen 0,63–0,66, correspondant à l’accord inter-experts). Les preprints n’ayant jamais atteint la publication ont été exclus, ce qui peut biaiser l’échantillon vers des articles plus crédibles. Et l’étude ne couvre que bioRxiv ; les résultats peuvent ne pas se généraliser à medRxiv ou à d’autres serveurs.
L’article de Nature couvrant l’étude a été rédigé par Mohana Basu.
Sources
[1] Yin, H. & Rust, R. « Tracking claim changes from preprint to publication across 72 644 biomedical studies using large language models. » bioRxiv (2026). DOI : 10.64898/2026.06.30.735556
[2] Basu, M. « Think preprints are unreliable ? Analysis of 70 000 studies might change your mind. » Nature (2026). https://www.nature.com/articles/d41586-026-02167-3
Traduit par Lydie