Las predicciones de los LLM igualan a los pronosticadores humanos en experimentos de ciencias sociales, pero sobreestiman los tamaños del efecto
¿Puede un modelo de lenguaje grande predecir el resultado de un experimento de ciencias sociales antes de que se realice? Según un estudio publicado el 8 de julio en Nature por Ashwini Ashokkumar (Harvard), Luke Hewitt (Stanford/Transluce), Isaias Ghezae (Harvard) y Robb Willer (Stanford), la respuesta es sí, hasta cierto punto.
GPT-4 predijo los efectos del tratamiento en 70 encuestas experimentales preregistradas y representativas a nivel nacional en Estados Unidos, que abarcaban 469 efectos del tratamiento y 119.330 participantes humanos, alcanzando una precisión comparable a la de los pronosticadores humanos. La limitación clave: el modelo sobreestimó sistemáticamente los tamaños del efecto en aproximadamente un 80%, requiriendo calibración antes de que sus predicciones resultaran prácticamente útiles.
Lo que hizo el estudio
Los investigadores reunieron un archivo primario de 70 experimentos preregistrados del programa TESS (Time-Sharing Experiments in the Social Sciences) financiado por la NSF, que abarca ciencias políticas, psicología, sociología, políticas sociales, salud pública y comunicación. Los experimentos probaron una amplia gama de intervenciones: efectos de encuadre, manipulaciones de prominencia, priming de identidades sociales y otros, midiendo resultados que van desde actitudes políticas hasta prejuicios y bienestar.
Para cada uno de los 469 efectos del tratamiento, se proporcionó a GPT-4 el diseño del experimento, el tratamiento y las medidas de resultado, y se le pidió que predijera el tamaño del efecto esperado. Las mismas predicciones también fueron realizadas por 460 científicos sociales, proporcionando un punto de referencia humano.
Los resultados:
- Correlación con los efectos reales: r = 0,85 (r_adj desatenuado = 0,91), igualando a los pronosticadores humanos
- Para experimentos publicados después del corte de entrenamiento de GPT-4: r = 0,90, descartando la mera memorización
- Los modelos de pesos abiertos alcanzaron una precisión similar, confirmando que el hallazgo no es específico de GPT-4
- Un simple promedio no ponderado de predicciones humanas y del LLM produjo una precisión aún mayor (r = 0,88), sugiriendo que las dos fuentes de predicción son parcialmente complementarias
El problema de la calibración
La alta correlación solo cuenta una parte de la historia. Las predicciones brutas de GPT-4 tenían un error cuadrático medio (RMSE) de 10,9 puntos porcentuales, peor que los pronosticadores humanos con 8,4 puntos porcentuales, porque el modelo inflaba sistemáticamente las magnitudes de los efectos.
Para corregir esto, los investigadores aplicaron un factor de reescalado lineal de aproximadamente 0,56, lo que significa que los efectos predichos por GPT-4 eran, en promedio, aproximadamente 1,8 veces demasiado grandes. Tras el reescalado, el RMSE se redujo a 5,3 puntos porcentuales, ahora mejor que los humanos solos (6,0 puntos porcentuales) y cerca de la combinación humano+LLM (4,7 puntos porcentuales).
La sobreestimación es sistemática: GPT-4 detecta correctamente la dirección y el orden relativo de los efectos (de ahí la alta correlación), pero infla las magnitudes absolutas. El artículo no puede precisar por qué, las posibilidades incluyen el entrenamiento en narrativas causales nítidas, o límites en la capacidad del modelo para agregar conocimiento probabilístico.
Implicaciones para las ciencias sociales
Los autores presentan el hallazgo como una herramienta para aumentar, no reemplazar, los métodos experimentales tradicionales. Un LLM que pueda predecir rápidamente qué intervenciones probablemente funcionen, y señalar resultados poco plausibles antes de una costosa recolección de datos, podría acelerar el proceso iterativo de prueba de hipótesis.
El artículo también introduce el concepto de los LLM como “laboratorios computacionales para la experimentación virtual”, donde los investigadores pueden explorar los efectos de las intervenciones en poblaciones simuladas antes de comprometer recursos en experimentos de campo o encuestas.
El estudio incluye varias advertencias importantes. Todos los experimentos se realizaron en muestras representativas a nivel nacional de EE. UU.; no se ha probado la generalizabilidad a otras poblaciones. La precisión fue menor para experimentos de campo a gran escala (un archivo secundario de 15 megaestudios con 606 efectos), lo que sugiere que el contexto importa. Y existe el riesgo de “ilusiones de comprensión”, donde los investigadores podrían confiar en exceso en las predicciones de los LLM sin validación humana, particularmente para grupos subrepresentados donde los datos de entrenamiento del modelo pueden ser más escasos o estar sesgados.
Por ahora, el estudio sugiere que la mayor precisión proviene de combinar las predicciones humanas y mecánicas. “Los científicos deberían ver a los LLM como un colaborador altamente conocedor pero ligeramente delirante”, señalan los autores, alguien cuyas ideas son valiosas, pero cuya confianza debe tomarse con pinzas.
Fuentes:
1. Ashokkumar, A., Hewitt, L., Ghezae, I. & Willer, R. “Large language models can predict the results of social science experiments.” Nature (2026). DOI: 10.1038/s41586-026-10742-x
2. Cápsula de Code Ocean: https://codeocean.com/capsule/9843791/tree/v1
3. Demo interactiva: https://treatmenteffect.app/
Traducido por Alessandra