En 2024, tres investigadores de la Universidad de Nueva York enseñaron a un pequeño transformer a resolver un problema algorítmico difícil sustituyendo cadenas de puntos sin significado por su cadena de pensamiento escrita. Su precisión en un problema llamado 3SUM pasó de ser casi aleatoria a perfecta. El experimento, realizado por Jacob Pfau, William Merrill y Samuel Bowman, fue una prueba deliberadamente extrema de una cuestión que hoy divide a la investigación en inteligencia artificial: cuando un modelo imprime un relato paso a paso de su razonamiento, ¿describe ese relato realmente el cálculo que produjo la respuesta? Los puntos respondieron que no, y una cascada de trabajos posteriores ha mostrado desde entonces que la brecha entre el texto y la maquinaria es amplia, medible y de gran alcance.
La importancia de la cuestión creció rápidamente. El prompting de cadena de pensamiento se descubrió en 2022 como una forma de hacer que los modelos de lenguaje fueran menos torpes en lógica y aritmética: al pedirles que pensaran paso a paso, mejoraban. Para 2024, el o1 de OpenAI había convertido el truco en un producto, entrenando a los modelos para generar sus propios rastros de razonamiento antes de responder. Los rastros se trataron como algo más que un truco de rendimiento. Parecían un registro auditable de pensamiento mecánico, el tipo de documento que permitiría a una persona comprobar por qué un modelo llegaba a una conclusión determinada. Los modelos de razonamiento llegaron a ganar medallas de oro en la Olimpiada Internacional de Matemáticas de 2025, y en mayo de 2026 OpenAI afirmó que un modelo de razonamiento de propósito general había resuelto el problema de la distancia unitaria, una célebre cuestión abierta en geometría. La empresa no publicó la cadena de pensamiento bruta del modelo, solo un resumen reescrito elaborado por dos expertos humanos con la ayuda de otro modelo, de acuerdo con una política que adoptó en 2024 y que también siguen Google DeepMind y Anthropic.
El experimento de los puntos socavó la imagen del registro en sus cimientos. Pfau, Merrill y Bowman entrenaron un modelo Llama de 34 millones de parámetros en 3SUM, una tarea que pregunta si tres números cualesquiera de una lista suman cero, y en una variante de 2SUM. Sin tokens intermedios, el modelo obtuvo un 66 por ciento en las entradas más largas de 3SUM, indistinguible de adivinar al azar. Con una cadena de pensamiento escrita como sumas explícitas por pares, alcanzó el 100 por ciento. Con la cadena de pensamiento sustituida por un número igual de puntos, también alcanzó el 100 por ciento. En 2SUM, las cifras fueron del 95,1 por ciento con cadena de pensamiento, del 93,6 por ciento con puntos y del 78,7 por ciento sin nada en medio. El significado de los tokens era irrelevante; lo que importaba era que existieran, lo que daba a la red posiciones adicionales en las que realizar cálculos que ningún humano puede leer. El título del artículo da nombre al fenómeno: computación oculta. Los autores señalaron la incómoda implicación para los métodos dominantes de alineación del campo, que juzgan a los modelos leyendo su texto de salida: un modelo que puede razonar a través de tokens sin significado está realizando una computación que la supervisión conductual no puede ver.
Trabajos posteriores pasaron del entorno de juguete a los modelos frontera reales y cuantificaron lo poco que un rastro de razonamiento visible impulsa realmente la respuesta. Un estudio de 2025 de Jiachen Zhao, Yiyou Sun, Weiyan Shi y Dawn Song, de la Northeastern University y la UC Berkeley, midió la contribución causal de cada paso de una cadena de pensamiento perturbando los pasos y observando la respuesta. Llamaron a esa medida una puntuación de pensamiento verdadero. En el conjunto de datos de matemáticas AIME con el modelo Qwen-2.5, la puntuación media por paso fue de aproximadamente 0,03 en una escala de cero a uno; solo el 6,4 por ciento de los pasos superó 0,3, y apenas el 2,3 por ciento alcanzó 0,7. La mayoría de los pasos verbalizados eran lo que los autores llaman pensamiento decorativo: parecen razonamiento, aparecen en la transcripción y contribuyen casi nada a la respuesta final. Incluso los momentos de autocorrección, esas pausas de «ajá» en las que un modelo anuncia que necesita recalcular, eran a menudo decorativos; para Qwen-2.5, alrededor del 12 por ciento de los pasos de autoverificación obtuvieron una puntuación inferior a 0,005, lo que significa que el modelo nunca llegó a utilizar la corrección que imprimió. El mismo equipo mostró que el fenómeno puede controlarse: una dirección en el espacio de estados internos del modelo puede obligarlo a involucrarse de verdad en un paso o a omitirlo.
La batalla interpretativa en torno a estos resultados es tan aguda como los propios resultados. Subbarao Kambhampati, de la Universidad Estatal de Arizona, cuyo laboratorio produjo evidencia relacionada de que sustituir los rastros correctos de un modelo por otros incorrectos no degrada sus respuestas, sostiene que los rastros de razonamiento no son pensamientos en absoluto. Su hipótesis de trabajo es que los modelos realizan lo que él llama recuperación aproximada: los tokens de pensamiento cargan la ventana de contexto de una manera que hace más probable que siga texto con forma de razonamiento, igual que murmurar palabras para uno mismo puede refrescar un recuerdo. Las palabras apenas importan. El documento de posición de su grupo para el ICML 2026, titulado Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!, propone sustituir el vocabulario de los pensamientos por el término neutro rastro derivacional. Sébastien Bubeck, de OpenAI, rechaza la crítica y señala que el estudio de Apple que encontró un colapso total de la precisión en los modelos de razonamiento ante rompecabezas complejos probó modelos obsoletos y que los modelos modernos, a partir de GPT-5.5, no sufren el problema. Apple no puso a sus investigadores a disposición para hacer comentarios, y dado que las empresas de frontera mantienen en secreto sus rastros brutos, los externos no pueden comprobar la afirmación directamente.
La cuestión práctica es qué hacer con esa brecha. En los dominios verificables, la respuesta es sencilla: comprobar el resultado, no el relato. El código se ejecuta o no, las demostraciones son correctas o no, y los mejores usos de los modelos están en dominios donde existe un verificador externo. En los dominios no verificables, el peligro es más sutil. La cadena de pensamiento se propone cada vez más como herramienta de supervisión, una ventana para ver si un modelo razona con seguridad antes de actuar. Los estudios causales muestran que esa supervisión puede leer lo decorativo como pensamiento. Los investigadores del campo lo plantean sin rodeos: lo que importa es la respuesta correcta por la razón correcta, para poder confiar en estos sistemas. El experimento de los puntos no demostró que los modelos de razonamiento nunca razonen. Demostró que la cadena de pensamiento impresa no es, por sí misma, evidencia de que lo hayan hecho.
Referencias
Jacob Pfau, William Merrill, and Samuel R. Bowman, Let’s Think Dot by Dot: Hidden Computation in Transformer Language Models. arXiv:2404.15758 (2024).
Jiachen Zhao, Yiyou Sun, Weiyan Shi, and Dawn Song, Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought. arXiv:2510.24941 (2025).
Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, and Mehrdad Farajtabar, The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity. arXiv:2506.06941 (2025).
Subbarao Kambhampati et al., Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces! Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026. arXiv:2504.09762.
John Pavlus, Is AI Reasoning Right for the Wrong Reasons? Quanta Magazine, 31 July 2026.
Traducido por Alessandra