Il y a une curieuse circularité au cœur d’une nouvelle étude publiée cette semaine sur MetaArXiv. L’article, rédigé par Adrian Barnett de la Queensland University of Technology et Matt Spick de l’University of Surrey, soutient que les articles académiques accompagnés de rapports d’évaluation par les pairs ouverts sont significativement moins susceptibles d’être rétractés que ceux publiés selon le modèle traditionnel fermé. Et l’étude elle-même, parce qu’elle a été déposée comme prépublication sur MetaROR avec l’historique complet de son évaluation visible pour quiconque clique sur un lien, constitue une démonstration concrète de la transparence qu’elle décrit. Le médium et le message ne font qu’un.
Les chercheurs ont examiné 116 359 articles publiés dans l’ensemble des revues PLOS depuis mai 2019, lorsque l’éditeur a commencé à offrir aux auteurs la possibilité de publier les rapports d’évaluation parallèlement à leurs manuscrits acceptés. Ils ont constaté qu’environ 40 % des auteurs, soit 46 920 articles au total, ont choisi cette option. Parmi ce groupe, 105 articles ont fini par être rétractés. Parmi les articles à évaluation fermée, 321 ont été rétractés. Après avoir contrôlé divers facteurs de confusion à l’aide d’un modèle de risques proportionnels de Cox, l’association s’est maintenue : les articles dont les auteurs ont choisi la transparence étaient moins susceptibles d’être retirés de la littérature.
Cette découverte n’est pas causale, et Barnett et Spick prennent soin de le préciser. Il s’agit d’une étude observationnelle, non d’un essai randomisé. L’explication privilégiée va dans le sens inverse de ce qu’un lecteur pourrait supposer. Ce n’est pas le fait de rendre publics les rapports d’évaluation qui protège un article d’une éventuelle rétractation ultérieure. Ce sont plutôt les chercheurs déjà confiants dans la rigueur de leur travail et qui adoptent les pratiques de science ouverte qui tendent à choisir le groupe d’évaluation ouverte. La décision d’opter pour cette formule est en elle-même un signal de qualité de l’article, suggèrent les auteurs, une sorte d’audit volontaire auquel les chercheurs confiants acceptent de se soumettre.
Pour vérifier si les auteurs ne choisissaient que des évaluations favorables, Spick a mené une analyse de sentiment complémentaire comparant le langage des évaluateurs dans les revues PLOS avec celui des revues BMC, qui publient également des rapports ouverts. Il n’a trouvé aucune différence de sentiment entre les deux ensembles d’évaluations. Ce résultat fragilise l’idée selon laquelle le taux de rétractation plus faible serait simplement un artefact de sélection dû au choix des auteurs de ne publier que leurs évaluations les plus flatteuses.
L’étude s’appuie sur un ensemble de données constitué en téléchargeant l’intégralité du corpus PLOS au format XML le 1er mars 2026. Les chercheurs ont exclu les contenus non évalués par les pairs, tels que les éditoriaux et les nécrologies, ainsi que les articles acceptés avant l’entrée en vigueur du changement de politique le 22 mai 2019. Les données de citation proviennent de la base OpenAlex, et les rétractations ont été retracées via les métadonnées CrossRef et PLOS.
Tendances nationales dans le choix de l’évaluation ouverte
L’un des résultats les plus frappants concerne la géographie. Les auteurs basés au Royaume-Uni, aux Pays-Bas, en France et en Éthiopie étaient les plus enclins à choisir l’évaluation ouverte. Ceux d’Arabie saoudite, de Corée du Sud, du Pakistan, de Pologne et de Chine l’étaient le moins. Les normes culturelles autour du débat académique, les encouragements des bailleurs de fonds et les mandats nationaux de publication semblent tous influencer ces décisions. Les grands bailleurs de fonds tels que le Wellcome Trust à Londres et la Fondation Gates promeuvent activement les pratiques de science ouverte, et leur influence se reflète dans les données.
Cette variation géographique complexifie le tableau. Si l’ouverture est un marqueur de confiance et de qualité, mais que la volonté d’être ouvert varie selon les pays et l’environnement de financement, alors la relation entre la transparence de l’évaluation par les pairs et l’intégrité de la recherche est en partie le produit d’infrastructures et d’incitations institutionnelles, et non simplement du comportement individuel des auteurs.
L’étude comme preuve d’elle-même
La prépublication a été soumise à MetaROR, une plateforme qui publie les recherches évaluées par les pairs ainsi que l’intégralité des enregistrements du processus d’évaluation. Tout lecteur peut examiner les commentaires des évaluateurs, les réponses des auteurs et les décisions éditoriales qui ont conduit à l’acceptation de la prépublication. L’ouverture que Barnett et Spick ont étudiée dans le corpus PLOS est la même ouverture qui a rendu visible l’évaluation de leur propre article. Le lecteur qui souhaite vérifier si un évaluateur a soulevé des préoccupations concernant l’interprétation causale peut le faire en temps réel. Un évaluateur, Reese Richardson, a suggéré d’étendre l’analyse pour inclure les expressions de préoccupation, une catégorie connexe mais distincte d’avis post-publication. Un autre, Jiang Li, s’est demandé si la conception de l’étude pouvait clairement séparer la confiance de l’auteur de la qualité de l’article, et a contesté une partie du langage causal dans les versions antérieures. Aucun de ces commentaires n’est caché. Les deux sont publiés aux côtés de l’article.
Ce niveau de transparence reste inhabituel dans l’édition académique. Le modèle standard, encore dominant dans la plupart des revues, envoie un manuscrit à deux ou trois évaluateurs anonymes dont l’identité est cachée aux auteurs et dont les rapports ne sont partagés qu’avec le rédacteur en chef. Les auteurs voient les commentaires, mais le reste du domaine ne les voit pas. L’évaluation ouverte par les pairs inverse cet arrangement : les rapports sont publiés, parfois avec le nom de l’évaluateur, parfois sans. PLOS a été un early adopter du modèle d’option ouverte, ce qui explique pourquoi il offre une expérience naturelle aussi vaste pour ce type d’étude.
Mises en garde et limites
L’association entre évaluation ouverte et taux de rétractation plus faible est statistiquement robuste, mais les auteurs énumèrent plusieurs limites importantes. Les rétractations sont des événements rares en termes absolus, ce qui signifie que les modèles statistiques travaillent sur de petits nombres. Les données ne font pas la distinction entre les rétractations pour erreur honnête et celles pour fraude ou inconduite, deux catégories très différentes avec des implications très différentes pour tout argument sur la qualité. Et encore une fois, la mise en garde centrale : la corrélation n’est pas la causalité. Les auteurs qui choisissent l’évaluation ouverte pourraient être systématiquement différents de ceux qui ne le font pas, d’une manière difficile à mesurer.
L’article de Nature News par Dalmeet Singh Chawla, publié le même jour, note toutes ces limites. L’article d’actualité observe que l’étude ne peut pas répondre à la question de savoir si le fait de rendre publics les rapports d’évaluation réduirait les rétractations si cela était obligatoire, puisque toute l’analyse est basée sur un choix volontaire. Les auteurs de l’article de Nature ne se prononcent pas non plus sur ce point.
Ce que signifie cette découverte
Néanmoins, l’étude apporte une pièce substantielle à un débat de longue date. L’argument en faveur de l’évaluation ouverte par les pairs a traditionnellement reposé sur un principe : la science est censée s’autocorriger, et cacher le processus correctif semble incompatible avec cet idéal. Les critiques ont craint que l’évaluation ouverte ne rende les évaluateurs moins francs, ou que les jeunes chercheurs hésitent à critiquer des figures établies si leurs noms étaient divulgués. Cette étude ne répond pas directement à ces préoccupations, mais elle offre aux partisans un nouvel argument empirique. Quel que soit le mécanisme, les articles dont les auteurs sont prêts à être transparents sur le processus d’évaluation finissent par être plus durables dans la littérature.
Pour les lecteurs qui souhaitent juger par eux-mêmes, la prépublication et son historique d’évaluation sont librement disponibles sur MetaArXiv sous le DOI 10.31222/osf.io/2b7z5_v1. L’article de Nature News par Dalmeet Singh Chawla est disponible sous le DOI 10.1038/d41586-026-02282-1. Aucun des deux ne nécessite d’abonnement. Tous deux, à leur manière, pratiquent l’ouverture que l’étude décrit.
Références
Barnett, A. & Spick, M. (2026). Who chooses open peer review and is it an indicator of article quality? An observational study of PLOS journals. Preprint at MetaArXiv. DOI: 10.31222/osf.io/2b7z5_v1
Chawla, D. S. (2026). Papers with open peer review less likely to be retracted. Nature News. DOI: 10.1038/d41586-026-02282-1
Traduit par Lydie