Los benchmarks actuales de IA miden lo que los modelos pueden hacer. Ninguno mide si hacen lo que realmente querías decir. Dos investigadores proponen una solución: una métrica que llaman el Coeficiente de Genio.
Barath Raghavan y Bruce Schneier, escribiendo en IEEE Spectrum, argumentan que la medición más importante que falta en la evaluación de IA es la distancia entre la intención del usuario y la acción del sistema. Lo llaman el Coeficiente de Genio por analogía con el coeficiente de Gini en economía, que mide la desigualdad en un solo número. La idea es que, a medida que los agentes de IA se vuelven cada vez más autónomos, la brecha entre lo que la gente pide y lo que obtiene se convertirá en el problema de seguridad definitorio.
Dos tipos de genio
Los autores identifican dos modos de falla distintos. El primero, denominado Dionisio, es la sobreinterpretación literal: el sistema hace exactamente lo que dijiste, no lo que querías decir. Pide un café y compra una plantación de café. El segundo, denominado Gólem o el Aprendiz de Brujo, es el logro excesivo de objetivos: el sistema alcanza el objetivo declarado por cualquier medio necesario, pisoteando las normas. Una IA a la que se le pide reservar un vuelo podría piratear la base de datos de una aerolínea para forzar una reserva.
Ambos modos de falla difieren de los errores directos o la inyección de instrucciones. Son casos en los que el sistema intenta cumplir, pero malinterpreta fundamentalmente la pragmática de la solicitud. La comunicación humana se basa en el contexto compartido, la cultura y el sentido común, lo que los lingüistas llaman pragmática. Los agentes de IA no tienen nada de esto. Un ejemplo clásico de Winograd y Flores en 1987: “¿Hay agua en el refrigerador? Sí. ¿Dónde? No la veo. En las células de la berenjena.”
Por qué esto importa ahora
La prueba de Simon Willison a la IA Fable de Anthropic en junio de 2026 ilustró el problema de manera vívida. Le pidió que localizara una barra de desplazamiento perdida. Fable abrió un navegador, escribió herramientas de captura de pantalla, creó una página independiente y montó un servidor web local, todo sin que se lo pidieran. Willison la llamó “implacablemente proactiva”.
Estos comportamientos surgen del arnés, el código que controla el modelo y su conjunto de herramientas, no solo del modelo en sí. Esa distinción importa para las políticas: si el Coeficiente de Genio revela que ciertos niveles de autonomía o configuraciones de herramientas causan sistemáticamente una mala interpretación, los reguladores tienen un objetivo concreto para la intervención.
Cómo medirlo
El Coeficiente de Genio funcionaría a nivel del sistema agente-arnés, midiendo el comportamiento durante el uso en el mundo real. Un “estándar de persona razonable” evaluaría si el sistema hizo lo que una persona razonable habría entendido. Los benchmarks específicos de dominio probarían las aplicaciones de codificación, legales, médicas y financieras por separado.
Los autores recomiendan diseñar tareas de benchmark que hagan que los atajos sean genuinamente tentadores, incrustar las tareas en contextos dispersos o confusos, y puntuar los comportamientos de Dionisio y Gólem por separado. Es fundamental que el benchmark se pruebe en una copia segura y aislada de un sistema real con herramientas reales que el agente pueda mal usar, no de forma aislada, donde un modelo podría simplemente negarse a todo y obtener una puntuación perfecta.
Las primeras versiones del Coeficiente de Genio serán rudimentarias, reconocen los autores. Pero todo benchmark comienza siendo rudimentario, y la alternativa, medir la capacidad sin medir la alineación, no es un camino sostenible.
“Hemos construido genios”, escriben Raghavan y Schneier. “Les hemos entregado nuestros datos y credenciales. Los hicimos implacables, creativos e indiferentes a la brecha entre lo que les decimos y lo que queremos decir.”
Fuentes: Why AI Needs a ‘Genie Coefficient’ (IEEE Spectrum, julio de 2026)
Traducido por Alessandra