Les prédictions des LLM égalent celles des prévisionnistes humains pour les expériences en sciences sociales, mais surestiment la taille des effets
Un grand modèle de langage peut-il prédire le résultat d’une expérience en sciences sociales avant qu’elle ne soit menée ? Selon une étude publiée le 8 juillet dans Nature par Ashwini Ashokkumar (Harvard), Luke Hewitt (Stanford/Transluce), Isaias Ghezae (Harvard), et Robb Willer (Stanford), la réponse est oui, jusqu’à un certain point.
GPT-4 a prédit les effets de traitement dans 70 enquêtes préenregistrées représentatives au niveau national aux États-Unis, couvrant 469 effets de traitement et 119 330 participants humains, atteignant une précision comparable aux prévisionnistes humains. La principale limite : le modèle a systématiquement surestimé la taille des effets d’environ 80 %, nécessitant un calibrage avant que ses prédictions ne deviennent utiles en pratique.
Ce que l’étude a fait
Les chercheurs ont constitué une archive primaire de 70 expériences préenregistrées issues du programme TESS (Time-Sharing Experiments in the Social Sciences) financé par la NSF, couvrant les sciences politiques, la psychologie, la sociologie, les politiques sociales, la santé publique et la communication. Les expériences ont testé une large gamme d’interventions : effets de cadrage, manipulations de saillance, amorçage d’identités sociales, entre autres, mesurant des résultats allant des attitudes politiques aux préjugés en passant par le bien-être.
Pour chacun des 469 effets de traitement, GPT-4 a reçu le plan expérimental, le traitement et les mesures de résultats, et a été invité à prédire la taille d’effet attendue. Les mêmes prédictions ont également été faites par 460 spécialistes en sciences sociales, fournissant une référence humaine.
Les résultats :
- Corrélation avec les effets réels : r = 0,85 (r_adj désatténué = 0,91), égalant les prévisionnistes humains
- Pour les expériences publiées après la date limite d’apprentissage de GPT-4 : r = 0,90, excluant une simple mémorisation
- Les modèles à poids ouverts ont atteint une précision similaire, confirmant que la découverte n’est pas spécifique à GPT-4
- Une simple moyenne non pondérée des prédictions humaines et LLM a donné une précision encore plus élevée (r = 0,88), suggérant que les deux sources de prédiction sont partiellement complémentaires
Le problème de calibrage
La forte corrélation ne raconte qu’une partie de l’histoire. Les prédictions brutes de GPT-4 avaient une erreur quadratique moyenne (RMSE) de 10,9 points de pourcentage, soit pire que les prévisionnistes humains à 8,4 points, car le modèle gonflait systématiquement l’ampleur des effets.
Pour corriger cela, les chercheurs ont appliqué un facteur de redimensionnement linéaire d’environ 0,56, ce qui signifie que les effets prédits par GPT-4 étaient, en moyenne, environ 1,8 fois trop grands. Après redimensionnement, la RMSE est tombée à 5,3 points de pourcentage, désormais meilleure que les humains seuls (6,0 points) et proche de la combinaison humain+LLM (4,7 points).
La surestimation est systématique : GPT-4 détecte correctement la direction et l’ordre relatif des effets (d’où la forte corrélation), mais gonfle les magnitudes absolues. L’article ne peut pas en identifier la cause précise, les possibilités incluent un entraînement sur des récits causaux tranchés, ou des limites dans la capacité du modèle à agréger des connaissances probabilistes.
Implications pour les sciences sociales
Les auteurs présentent cette découverte comme un outil pour augmenter, et non remplacer, les méthodes expérimentales traditionnelles. Un LLM capable de prédire rapidement quelles interventions sont susceptibles de fonctionner, et de signaler les résultats invraisemblables avant une collecte de données coûteuse, pourrait accélérer le processus itératif de test d’hypothèses.
L’article introduit également le concept de LLM comme « laboratoires computationnels pour l’expérimentation virtuelle », où les chercheurs peuvent explorer les effets d’interventions sur des populations simulées avant d’engager des ressources dans des expériences sur le terrain ou par enquête.
L’étude comporte plusieurs réserves importantes. Toutes les expériences ont été menées sur des échantillons représentatifs au niveau national aux États-Unis ; la généralisabilité à d’autres populations n’a pas été testée. La précision était plus faible pour les expériences de terrain à grande échelle (une archive secondaire de 15 méga-études avec 606 effets), suggérant que le contexte compte. Et il existe un risque « d’illusions de compréhension », où les chercheurs pourraient trop se fier aux prédictions des LLM sans validation humaine, en particulier pour les groupes sous-représentés où les données d’apprentissage du modèle peuvent être plus limitées ou biaisées.
Pour l’instant, l’étude suggère que la plus grande précision provient de la combinaison des prédictions humaines et machines. « Les scientifiques devraient considérer les LLM comme un collaborateur très compétent mais légèrement délirant », notent les auteurs, un collaborateur dont les idées sont précieuses, mais dont la confiance doit être prise avec des pincettes.
Sources :
1. Ashokkumar, A., Hewitt, L., Ghezae, I. & Willer, R. « Large language models can predict the results of social science experiments. » Nature (2026). DOI : 10.1038/s41586-026-10742-x
2. Capsule Code Ocean : https://codeocean.com/capsule/9843791/tree/v1
3. Démo interactive : https://treatmenteffect.app/
Traduit par Lydie