Les grands modèles de langage peuvent produire des plans de projets scientifiques d’une qualité comparable à ceux rédigés par des chercheurs humains, mais les évaluateurs basés sur l’IA montrent une préférence systématique pour les propositions générées par l’IA, selon une nouvelle étude publiée sur arXiv.
L’étude, dirigée par Jia Liu de l’Institut Kavli pour la Physique et les Mathématiques de l’Univers, a comparé des propositions de recherche d’une page rédigées par des humains et par trois LLM (ChatGPT 4o, Claude Sonnet 4 et DeepSeek V3) portant sur huit projets conçus par des experts en physique, astrophysique et cosmologie.
Huit experts de domaine ont chacun esquissé un projet de recherche couvrant des sujets incluant l’évolution des noyaux actifs de galaxies, la connexion galaxie-halo de matière noire, les alignements intrinsèques par cisaillement gravitationnel faible, les binaires de trous noirs par ondes gravitationnelles et les tests de la relativité générale avec les réseaux de chronométrage de pulsars. Des planificateurs de projets humains, étudiants diplômés ou postdoctorants experts dans chaque sujet, ont ensuite rédigé une proposition chacun sans assistance de l’IA. Parallèlement, des étudiants de premier cycle en dehors des domaines spécifiques ont utilisé un modèle d’invite fixe pour générer trois propositions IA par projet, produisant un corpus total de 32 propositions : huit rédigées par des humains et 24 générées par l’IA.
Quatre chercheurs seniors ont servi d’évaluateurs humains en aveugle, évaluant les propositions sur la clarté, la pertinence des méthodes, la planification des ressources et la faisabilité. Deux LLM de pointe, Claude Opus 4.8 et ChatGPT Pro 5.5, ont effectué la même évaluation.
Les évaluateurs humains ont noté les propositions humaines et générées par l’IA de manière similaire dans l’ensemble, avec un score moyen d’environ 3,5 sur 5 pour les deux groupes. Cependant, les évaluateurs IA ont attribué aux propositions générées par l’IA environ un point de plus qu’aux propositions humaines, révélant un biais pro-IA systématique. Ce biais était concentré dans les projets où les plans humains étaient les plus faibles ; la corrélation entre la qualité du plan humain et le biais de l’évaluateur IA était d’environ -0,95.
Lorsqu’on leur a demandé d’identifier si chaque proposition était rédigée par un humain ou par l’IA, les évaluateurs humains ont atteint une précision de 72 % pour les propositions humaines et de 79 % pour les propositions générées par l’IA, avec une précision individuelle allant de 59 à 88 %. Les évaluateurs humains ont identifié les propositions générées par l’IA par des caractéristiques telles que des sections de méthodologie en cinq étapes standardisées, l’absence de citations, des échéanciers en nombres ronds et une utilisation excessive de terminologie liée à l’apprentissage automatique. Les propositions humaines se distinguaient par des citations auteur-année spécifiques, un jargon de domaine idiosyncratique, une formulation à la première personne et un champ d’application ciblé.
Les deux évaluateurs IA ont correctement classé les 32 propositions avec une précision de 100 %, appliquant les mêmes indices de manière cohérente et sans erreur, citant des caractéristiques telles que des modèles uniformes à cinq phases, une prose impersonnelle et soignée, des choix d’enquête génériques, des listes d’outils exhaustives et une atténuation des risques standardisée.
L’article note que les résultats suggèrent la prudence lors du déploiement généralisé des LLM dans la préparation et l’évaluation des propositions, car les évaluateurs IA pourraient introduire un biais systématique en faveur du contenu généré par l’IA.
Images : (aucune, article de recherche)
Sources : arXiv:2607.25881 (Liu et al., 28 juill. 2026)
Traduit par Lydie