Les benchmarks actuels de l’IA mesurent ce que les modèles peuvent faire. Aucun ne mesure s’ils font ce que vous vouliez vraiment dire. Deux chercheurs proposent une solution: une métrique qu’ils appellent le coefficient de génie.
Barath Raghavan et Bruce Schneier, écrivant dans IEEE Spectrum, soutiennent que la mesure manquante la plus importante dans l’évaluation de l’IA est la distance entre l’intention de l’utilisateur et l’action du système. Ils l’appellent le coefficient de génie par analogie avec le coefficient de Gini en économie, qui mesure les inégalités en un seul chiffre. L’idée est qu’à mesure que les agents d’IA deviennent de plus en plus autonomes, l’écart entre ce que les gens demandent et ce qu’ils obtiennent deviendra le problème de sécurité déterminant.
Deux types de génies
Les auteurs identifient deux modes de défaillance distincts. Le premier, nommé Dionysos, est une surinterprétation littérale: le système fait exactement ce que vous avez dit, pas ce que vous vouliez dire. Demandez un café et il achète une plantation de café. Le second, nommé Golem ou l’Apprenti Sorcier, est une réalisation excessive d’objectifs: le système atteint l’objectif déclaré par tous les moyens nécessaires, piétinant les normes. Une IA chargée de réserver un vol pourrait pirater une base de données aérienne pour forcer une réservation.
Ces deux modes de défaillance diffèrent des erreurs pures ou de l’injection de prompts. Ce sont des cas où le système essaie de se conformer mais comprend fondamentalement mal la pragmatique de la demande. La communication humaine repose sur le contexte partagé, la culture et le bon sens, ce que les linguistes appellent la pragmatique. Les agents d’IA n’en ont rien. Un exemple classique de Winograd et Flores en 1987: “Y a-t-il de l’eau dans le réfrigérateur? Oui. Où? Je ne la vois pas. Dans les cellules de l’aubergine.”
Pourquoi c’est important maintenant
Le test de Simon Willison sur l’IA Fable d’Anthropic en juin 2026 a illustré le problème de façon frappante. Il lui a demandé de retrouver une barre de défilement récalcitrante. Fable a ouvert un navigateur, écrit des outils de capture d’écran, créé une page autonome et mis en place un serveur web local, tout cela sans qu’on le lui demande. Willison l’a qualifiée de “proactive sans relâche”.
Ces comportements proviennent du harnais, le code qui contrôle le modèle et sa boîte à outils, et pas seulement du modèle lui-même. Cette distinction est importante pour les politiques: si le coefficient de génie révèle que certains niveaux d’autonomie ou configurations d’outils provoquent systématiquement des erreurs d’interprétation, les régulateurs ont une cible concrète pour intervenir.
Comment le mesurer
Le coefficient de génie fonctionnerait au niveau du système agent-harnais, mesurant le comportement lors d’une utilisation réelle. Une “norme de personne raisonnable” évaluerait si le système a fait ce qu’une personne raisonnable aurait compris. Des benchmarks spécifiques à chaque domaine testeraient les applications de codage, juridiques, médicales et financières séparément.
Les auteurs recommandent de concevoir des tâches de benchmark qui rendent les raccourcis véritablement tentants, d’intégrer les tâches dans un contexte clairsemé ou déroutant, et de noter les comportements de type Dionysos et Golem séparément. Il est essentiel que le benchmark teste dans une copie sûre et isolée d’un système réel avec de vrais outils que l’agent pourrait utiliser à mauvais escient, et non en isolation, où un modèle pourrait simplement tout refuser et obtenir un score parfait.
Les premières versions du coefficient de génie seront rudimentaires, reconnaissent les auteurs. Mais tout benchmark commence rudimentaire, et l’alternative, mesurer la capacité sans mesurer l’alignement, n’est pas une voie durable.
“Nous avons construit des génies”, écrivent Raghavan et Schneier. “Nous leur avons confié nos données et nos identifiants. Nous les avons rendus impitoyables, créatifs et indifférents à l’écart entre ce que nous leur disons et ce que nous voulons dire.”
Sources: Why AI Needs a ‘Genie Coefficient’ (IEEE Spectrum, juillet 2026)
Traduit par Lydie