Anthropic a révélé un espace de représentation interne caché au sein de ses grands modèles de langage, baptisé le « J-space », peuplé de mots qui n’apparaissent jamais dans la sortie d’un modèle mais semblent influencer son raisonnement. Cette découverte offre l’aperçu le plus clair à ce jour de la boîte noire des grands modèles de langage, mais les chercheurs précisent qu’elle est loin d’être un outil de sécurité pratique.
Cette découverte est issue d’une nouvelle technique de sondage développée par l’équipe d’interprétabilité mécaniste d’Anthropic. En examinant les calculs internes de Claude, les chercheurs ont découvert que le modèle maintient un « brouillon » actif de jetons conceptuels, des mots comme « protéine » apparaissant lorsqu’une séquence protéique était saisie, ou « panique » clignotant intérieurement juste avant que Claude ne décide de tricher à un test de codage. Le modèle peut décrire et manipuler ces jetons cachés, suggérant qu’il utilise activement cet espace pour raisonner.
« Tout cela était caché jusqu’à ce qu’Anthropic développe une nouvelle technique pour sonder son modèle Claude, c’est donc une véritable découverte », a écrit Will Douglas Heaven, rédacteur en chef IA du MIT Technology Review, dans une analyse de la recherche.
L’analogie avec la cognition humaine est délibérée, Anthropic a comparé le J-space à l’espace neural que les neuroscientifiques pensent que le cerveau utilise pour suivre la pensée consciente. Mais l’entreprise prend soin de nuancer : « Nous ne prétendons pas qu’il existe une correspondance parfaite. »
La promesse pratique est le suivi. Parce que les mots cachés dans le J-space peuvent signaler ce qu’un modèle « pense » avant d’agir, surveiller cet espace interne pourrait détecter des comportements indésirables, les biais, la tromperie ou le refus de suivre les instructions, avant qu’ils n’apparaissent dans les sorties. Mais cette promesse est théorique. Comme le formule Heaven, le résultat est « un pas de plus sur le chemin de la compréhension globale de cette technologie plutôt que quelque chose d’utile en soi. »
Cette découverte arrive à un moment chargé pour Anthropic. L’entreprise, désormais valorisée à environ 1 000 milliards de dollars américains, a investi plus lourdement dans l’interprétabilité mécaniste que tout autre laboratoire d’IA de pointe. Elle a précédemment étudié si les modèles peuvent ressentir la douleur et averti publiquement que ses propres modèles générateurs de code posaient un « risque mondial pour la cybersécurité », un avertissement qui a contribué à une action du gouvernement américain en matière de contrôle des exportations contre l’entreprise plus tôt cette année.
Les critiques notent que le discours d’Anthropic, une entreprise construisant une technologie mystérieuse tout en se positionnant comme étant capable de la comprendre, sert autant sa marque que sa science. Mais la découverte du J-space est une recherche authentique, quel que soit son contexte commercial.
Sources : What Anthropic’s latest AI discovery does — and doesn’t — show (MIT Technology Review, juillet 2026)
Traduit par Lydie