En 2024, trois chercheurs de l’université de New York ont appris à un petit transformer à résoudre un problème algorithmique difficile en substituant des suites de points sans signification à sa chaîne de pensée écrite. Sa précision sur un problème nommé 3SUM est passée de quasi aléatoire à parfaite. L’expérience, menée par Jacob Pfau, William Merrill et Samuel Bowman, était un test délibérément extrême d’une question qui divise aujourd’hui la recherche en intelligence artificielle : lorsqu’un modèle affiche un compte rendu pas à pas de son raisonnement, ce compte rendu décrit-il réellement le calcul qui a produit la réponse ? Les points ont répondu non, et une cascade de travaux ultérieurs a depuis montré que l’écart entre le texte et la machinerie est large, mesurable et lourd de conséquences.
L’enjeu de la question s’est rapidement accru. L’invite de chaîne de pensée (chain-of-thought prompting) a été découverte en 2022 comme un moyen de rendre les modèles de langage moins obtus en logique et en arithmétique : en leur demandant de réfléchir pas à pas, ils obtenaient de meilleurs résultats. En 2024, o1 d’OpenAI avait transformé l’astuce en produit, entraînant des modèles à générer leurs propres traces de raisonnement avant de répondre. Les traces étaient considérées comme bien plus qu’un artifice de performance. Elles ressemblaient à une piste documentaire vérifiable de la pensée machine, le genre d’enregistrement qui permettrait à un humain de contrôler pourquoi un modèle était parvenu à une conclusion donnée. Les modèles de raisonnement ont ensuite décroché des médailles d’or aux Olympiades internationales de mathématiques de 2025, et en mai 2026, OpenAI a annoncé qu’un modèle de raisonnement à usage général avait résolu le problème de la distance unitaire (unit distance problem), une célèbre question ouverte en géométrie. L’entreprise n’a pas publié la chaîne de pensée brute du modèle, seulement un résumé réécrit produit par deux experts humains avec l’aide d’un autre modèle, conformément à une politique qu’elle a adoptée en 2024 et que suivent également Google DeepMind et Anthropic.
L’expérience des points a sapé l’image de la piste documentaire dans ses fondements. Pfau, Merrill et Bowman ont entraîné un modèle Llama de 34 millions de paramètres sur 3SUM, une tâche qui demande si trois nombres quelconques d’une liste ont une somme nulle, ainsi que sur une variante de 2SUM. Sans jetons intermédiaires, le modèle obtenait 66 % sur les entrées 3SUM les plus longues, impossible à distinguer d’une réponse au hasard. Avec une chaîne de pensée rédigée sous forme de sommes deux à deux explicites, il atteignait 100 %. Avec la chaîne de pensée remplacée par un nombre égal de points, il atteignait lui aussi 100 %. Sur 2SUM, les chiffres étaient de 95,1 % pour la chaîne de pensée, de 93,6 % pour les points et de 78,7 % sans rien entre les deux. Le sens des jetons était sans importance ; ce qui comptait, c’est qu’ils existent, offrant au réseau des positions supplémentaires où effectuer un calcul qu’aucun humain ne pouvait lire. Le titre de l’article donne son nom au phénomène : le calcul caché (hidden computation). Les auteurs ont relevé l’implication inconfortable pour les méthodes d’alignement dominantes du domaine, qui jugent les modèles en lisant leur texte de sortie : un modèle capable de raisonner à travers des jetons sans signification effectue un calcul que la supervision comportementale ne peut pas voir.
Les travaux ultérieurs sont passés du cadre jouet aux véritables modèles de pointe et ont quantifié à quel point une trace de raisonnement visible pilote réellement la réponse. Une étude de 2025 menée par Jiachen Zhao, Yiyou Sun, Weiyan Shi et Dawn Song, de la Northeastern University et de l’université de Californie à Berkeley, a mesuré la contribution causale de chaque étape d’une chaîne de pensée en perturbant les étapes et en observant la réponse. Les auteurs ont appelé cette mesure un score de pensée véritable (true thinking score). Sur le jeu de données de mathématiques AIME avec le modèle Qwen-2.5, le score moyen sur l’ensemble des étapes était d’environ 0,03 sur une échelle de zéro à un ; seules 6,4 % des étapes obtenaient un score supérieur à 0,3, et à peine 2,3 % atteignaient 0,7. La plupart des étapes verbalisées relèvent de ce que les auteurs appellent la pensée décorative : elles ressemblent à un raisonnement, figurent dans la transcription et ne contribuent presque rien à la réponse finale. Même les moments d’autocorrection, ces pauses aha où un modèle annonce qu’il doit recalculer, étaient souvent décoratifs ; pour Qwen-2.5, environ 12 % des étapes d’autovérification obtenaient un score inférieur à 0,005, ce qui signifie que le modèle n’a jamais réellement utilisé la correction qu’il avait affichée. La même équipe a montré que le phénomène peut être contrôlé : une direction dans l’espace des états internes du modèle peut le forcer à réellement s’engager dans une étape ou à la sauter.
La bataille d’interprétation autour de ces résultats est aussi vive que les résultats eux-mêmes. Subbarao Kambhampati, de l’université d’État de l’Arizona, dont le laboratoire a produit des preuves connexes montrant que remplacer les traces correctes d’un modèle par des traces incorrectes ne dégrade pas ses réponses, soutient que les traces de raisonnement ne sont pas du tout des pensées. Son hypothèse de travail est que les modèles effectuent ce qu’il appelle un rappel approximatif (approximate retrieval) : les jetons de pensée chargent la fenêtre de contexte d’une manière qui rend plus probable la suite d’un texte en forme de raisonnement, à la manière dont marmonner des mots pour soi peut raviver un souvenir. Les mots importent à peine. Le document de position de son groupe pour l’ICML 2026, intitulé Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!, propose de remplacer le vocabulaire de la pensée par le terme neutre de trace dérivationnelle (derivational trace). Sébastien Bubeck, d’OpenAI, rejette la critique, affirmant que l’étude d’Apple qui avait constaté un effondrement complet de la précision des modèles de raisonnement sur des énigmes complexes testait des modèles obsolètes et que les modèles modernes, à commencer par GPT-5.5, ne souffrent pas de ce problème. Apple n’a pas rendu ses chercheurs disponibles pour un commentaire, et comme les entreprises de pointe gardent leurs traces brutes secrètes, les observateurs extérieurs ne peuvent pas vérifier directement cette affirmation.
La question pratique est de savoir quoi faire de cet écart. Dans les domaines vérifiables, la réponse est simple : contrôler le résultat, pas le récit. Un code s’exécute ou non, les preuves sont correctes ou non, et les meilleurs usages des modèles se situent dans les domaines où un vérificateur externe existe. Dans les domaines non vérifiables, le danger est plus subtil. La chaîne de pensée est de plus en plus proposée comme outil de surveillance, une fenêtre sur la question de savoir si un modèle raisonne en toute sécurité avant d’agir. Les études causales montrent qu’une telle surveillance peut lire de la décoration comme de la pensée. Les chercheurs du domaine le formulent sans détour : ce qui compte, c’est la bonne réponse pour la bonne raison, de sorte que l’on puisse faire confiance à ces systèmes. L’expérience des points n’a pas prouvé que les modèles de raisonnement ne raisonnent jamais. Elle a prouvé que la chaîne de pensée affichée n’est pas, en elle-même, une preuve qu’ils l’ont fait.
Références
Jacob Pfau, William Merrill, and Samuel R. Bowman, Let’s Think Dot by Dot: Hidden Computation in Transformer Language Models. arXiv:2404.15758 (2024).
Jiachen Zhao, Yiyou Sun, Weiyan Shi, and Dawn Song, Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought. arXiv:2510.24941 (2025).
Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, and Mehrdad Farajtabar, The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity. arXiv:2506.06941 (2025).
Subbarao Kambhampati et al., Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces! Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026. arXiv:2504.09762.
John Pavlus, Is AI Reasoning Right for the Wrong Reasons? Quanta Magazine, 31 July 2026.
Traduit par Lydie