Les grands modèles de langage promettent d’accélérer la découverte scientifique en automatisant les tâches fastidieuses de la recherche. Mais un nouveau modèle mathématique conçu par une équipe incluant Carl Bergstrom de l’Université de Washington prévient que ces gains de vitesse pourraient involontairement éroder la qualité du travail scientifique, en rendant les chercheurs moins sélectifs sur ce qu’ils publient et moins rigoureux dans leur processus de révision.
La prépublication, déposée sur arXiv par des chercheurs de l’Université de Chicago, de l’Université d’État de Caroline du Nord et de l’Université de Washington, formalise ce que de nombreux scientifiques redoutaient intuitivement : que les LLM, en réduisant les frictions de la recherche, puissent modifier la structure d’incitation de la science d’une manière qui nuit plutôt qu’elle n’aide.
« En tant que technologie augmentant le travail, les grands modèles de langage ont le potentiel d’accélérer l’activité scientifique à toutes les étapes de la recherche », écrivent les auteurs. Mais ils préviennent que les effets ne sont pas uniformément positifs.
Le paradoxe de la sélectivité
Le modèle prédit que les LLM auront des effets opposés sur la sélectivité des publications selon la manière dont ils sont utilisés.
Dans les domaines où les LLM servent principalement d’outils pour découvrir des projets prometteurs, fouiller la littérature pour trouver des hypothèses, identifier des questions sous-explorées, suggérer des designs expérimentaux, les chercheurs deviendront plus sélectifs dans ce qu’ils entreprennent. Ils peuvent passer au crible davantage de possibilités et concentrer leurs efforts sur les meilleures.
Mais dans les domaines où les LLM facilitent surtout le processus de publication des données existantes, rédaction d’articles, génération de figures, résumé des résultats, les chercheurs deviendront moins sélectifs. La friction qui les poussait autrefois à abandonner des résultats borderline négatifs ou à sauter un article pas tout à fait prêt disparaîtra, et le volume des publications augmentera.
Le second scénario, notent les auteurs, dominera probablement dans de nombreux domaines, et il comporte des risques pour la fiabilité de la littérature scientifique. Davantage d’articles, chacun moins soigneusement vérifié par ses propres auteurs, pourrait submerger les systèmes d’évaluation par les pairs et rendre plus difficile la distinction des résultats authentiques.
Le coût d’opportunité de la rapidité
La seconde grande prédiction du modèle est plus contre-intuitive. En permettant aux scientifiques de travailler plus rapidement, les LLM augmentent le coût d’opportunité du temps des chercheurs. Chaque heure passée à affiner un article est une heure non consacrée à en commencer un autre.
« En permettant aux scientifiques de travailler plus rapidement, les LLM augmentent le coût d’opportunité du temps des chercheurs, créant des incitations à affiner moins minutieusement les articles avant de passer à autre chose », écrivent les auteurs.
Cette prédiction contredit directement le récit optimiste selon lequel les LLM libéreront les scientifiques des tâches banales et leur donneront plus de temps pour une réflexion approfondie. Le modèle suggère que le temps libéré sera redirigé vers davantage de production, et non vers un engagement plus profond avec un travail particulier.
« Aussi tentant soit-il d’imaginer qu’en nous faisant gagner du temps sur les tâches banales, les LLM nous donneront plus de temps pour réfléchir profondément et développer des projets complets, nos résultats tempèrent ces espoirs. »
Un cadre formel
L’article développe un modèle mathématique simple de la prise de décision des chercheurs, traitant le temps comme une ressource pouvant être allouée entre la découverte (trouver de nouveaux projets) et la production (développer et publier les résultats). Les LLM modifient les coûts relatifs de ces activités, et le modèle prédit les effets d’équilibre sur le volume des publications, la sélectivité et la rigueur.
Le cadre est intentionnellement simple, les auteurs reconnaissent que les communautés scientifiques réelles sont plus complexes, mais il fournit une base formelle aux préoccupations qui ont jusqu’ici été largement exprimées de manière anecdotique.
Bergstrom, biologiste connu pour ses travaux sur l’édition scientifique et la sociologie des sciences, apporte à cette question un parcours d’analyse empiriquement fondée. Dans ses travaux précédents, il a documenté comment la pression de publication, l’évaluation basée sur des indicateurs et les incitations perverses ont déformé la pratique scientifique. Le modèle LLM étend ce cadre à la technologie la plus récente qui transforme la recherche.
Ce que cela signifie pour les politiques
L’article ne plaide pas contre l’utilisation des LLM dans la science. Il soutient que les effets dépendent du contexte et que les décideurs politiques, les organismes de financement et les comités de rédaction des revues devraient réfléchir à la manière dont l’adoption des LLM modifie l’équilibre des frictions qui façonnent actuellement le comportement des chercheurs.
Si le modèle a raison, alors adopter simplement les LLM sans ajuster les structures de récompense, critères de promotion, évaluation des subventions, normes des revues, pourrait accélérer une tendance déjà en cours : davantage d’articles, moins de fiabilité, et un système qui mesure la productivité au poids. La question n’est pas de savoir s’il faut utiliser les LLM dans la science, mais comment concevoir les incitations autour d’eux.
Traduit par Lydie