Los grandes modelos de lenguaje prometen acelerar el descubrimiento científico automatizando las tediosas tareas de la investigación. Pero un nuevo modelo matemático de un equipo que incluye a Carl Bergstrom de la Universidad de Washington advierte que las mismas ganancias de velocidad podrían erosionar involuntariamente la calidad del trabajo científico, al hacer que los investigadores sean menos selectivos sobre lo que publican y menos rigurosos en cómo lo refinan.
El preprint, publicado en arXiv por investigadores de la Universidad de Chicago, la Universidad Estatal de Carolina del Norte y la Universidad de Washington, formaliza lo que muchos científicos han temido intuitivamente: que los LLM, al reducir la fricción de la investigación, pueden cambiar la estructura de incentivos de la ciencia de maneras que perjudican en lugar de ayudar.
“Como tecnología de aumento laboral, los grandes modelos de lenguaje tienen el potencial de acelerar la actividad científica en todo el pipeline de investigación”, escriben los autores. Pero advierten que los efectos no son uniformemente positivos.
La paradoja de la selectividad
El modelo predice que los LLM tendrán efectos opuestos en la selectividad de las publicaciones según cómo se utilicen.
En campos donde los LLM sirven principalmente como herramientas para descubrir proyectos prometedores, explorar la literatura en busca de hipótesis, identificar preguntas poco exploradas, sugerir diseños experimentales, los investigadores se volverán más selectivos sobre lo que persiguen. Pueden examinar más posibilidades y concentrar su esfuerzo en las mejores.
Pero en campos donde los LLM principalmente facilitan el proceso de publicar datos existentes, redactar artículos, generar figuras, resumir resultados, los investigadores se volverán menos selectivos. La fricción que antes los llevaba a abandonar resultados negativos marginales o saltarse un artículo que no estaba del todo listo desaparecerá, y el volumen de trabajos publicados aumentará.
El segundo escenario, señalan los autores, probablemente dominará en muchos campos, y conlleva riesgos para la fiabilidad de la literatura científica. Más artículos, cada uno menos cuidadosamente revisado por sus propios autores, podría abrumar los sistemas de revisión por pares y dificultar que los hallazgos genuinos se destaquen.
El costo de oportunidad de la velocidad
La segunda predicción importante del modelo es más contraintuitiva. Al permitir que los científicos trabajen más rápido, los LLM aumentan el costo de oportunidad del tiempo de los investigadores. Cada hora dedicada a refinar un artículo es una hora no dedicada a comenzar el siguiente.
“Al permitir que los científicos trabajen más rápido, los LLM aumentan el costo de oportunidad del tiempo de los investigadores, creando incentivos para refinar los artículos menos exhaustivamente antes de pasar a otra cosa”, escriben los autores.
La predicción contradice directamente la narrativa optimista de que los LLM liberarán a los científicos de tareas mundanas y les darán más tiempo para el pensamiento profundo. El modelo sugiere que el tiempo liberado se redirigirá hacia más producción, no hacia un compromiso más profundo con un trabajo individual.
“Por tentador que sea imaginar que, al ahorrarnos tiempo en tareas mundanas, los LLM nos proporcionarán más tiempo para pensar profundamente y desarrollar proyectos completos, nuestros resultados moderan esas esperanzas.”
Un marco formal
El artículo desarrolla un modelo matemático simple de la toma de decisiones de los investigadores, tratando el tiempo como un recurso que puede asignarse entre descubrimiento (encontrar nuevos proyectos) y producción (desarrollar y publicar resultados). Los LLM modifican los costos relativos de estas actividades, y el modelo predice los efectos de equilibrio sobre el volumen de publicaciones, la selectividad y la exhaustividad.
El marco es intencionalmente simple, los autores reconocen que las comunidades científicas reales son más complejas, pero proporciona una base formal para preocupaciones que en gran medida se han expresado de manera anecdótica.
Bergstrom, un biólogo conocido por su trabajo sobre publicaciones científicas y la sociología de la ciencia, aporta a la cuestión una trayectoria de análisis empíricamente fundamentado. En trabajos anteriores, ha documentado cómo la presión por publicar, la evaluación basada en métricas y los incentivos perversos han distorsionado la práctica científica. El modelo de LLM extiende ese marco a la tecnología más reciente que está remodelando la investigación.
Lo que significa para las políticas
El artículo no se opone al uso de LLM en la ciencia. Sostiene que los efectos dependen del contexto y que los responsables políticos, las agencias de financiación y los editores de revistas deberían considerar cómo la adopción de LLM cambia el equilibrio de fricciones que actualmente moldean el comportamiento de los investigadores.
Si el modelo es correcto, entonces simplemente adoptar LLM sin ajustar las estructuras de recompensa, criterios de promoción, revisión de subvenciones, estándares de revistas, podría acelerar una tendencia que ya está en marcha: más artículos, menos fiabilidad y un sistema que mide la productividad por volumen. La cuestión no es si usar LLM en la ciencia, sino cómo diseñar los incentivos a su alrededor.
Traducido por Alessandra