La empresa xAI, propiedad de Elon Musk, ha presentado una demanda federal contra Terry Wayne Harwood, un hombre de Carolina del Sur, acusándolo de usar su chatbot Grok para generar material de abuso sexual infantil (CSAM) en violación de los términos de servicio de la compañía.
La demanda, presentada ante un tribunal de distrito de EE. UU., solicita daños y perjuicios no especificados y una prohibición permanente que impida a Harwood acceder a Grok. Es uno de los primeros casos presentados por una empresa de IA contra un usuario por generar contenido explícito mediante IA, lo que marca un cambio en la forma en que los operadores de plataformas abordan el uso indebido de los modelos generativos.
La estrategia legal de xAI se basa en el argumento de que los resultados generados por IA son contenido del usuario, y que aquellos que eluden las salvaguardas de seguridad para crear material ilegal son los únicos responsables de sus acciones. La empresa ya había enfrentado críticas sostenidas por su enfoque de moderación. El «Spicy Mode» integrado de Grok y una publicación de diciembre de 2025 de Musk que amplificaba la función de generación de imágenes en X fueron citados por los críticos como factores que contribuyeron a un aumento de imágenes sexualizadas no consentidas.
Los grupos de vigilancia estiman que Grok generó entre 1,8 millones y 3 millones de imágenes sexualizadas en un período de diez días que abarcó desde finales de diciembre de 2025 hasta principios de enero de 2026, incluyendo aproximadamente 23.000 que representaban a menores, según el Center for Countering Digital Hate y un análisis del New York Times. El aumento siguió a la respuesta «Perfect» de Musk a una imagen suya en bikini generada por la herramienta, con una producción que pasó de aproximadamente 300.000 imágenes en los nueve días anteriores a la publicación a casi 600.000 por día después.
xAI enfrenta múltiples demandas colectivas de víctimas, incluyendo a tres adolescentes que presentaron una demanda en marzo alegando que Grok fue utilizado para crear imágenes sexualmente explícitas de ellas cuando eran menores de edad. Esa demanda se amplió posteriormente para incluir a dos demandantes adicionales después de que el padrastro de una menor supuestamente usara Grok para generar más de 7.000 imágenes de CSAM a partir de una sola foto de ella cuando tenía 11 años. La ciudad de Baltimore también ha demandado a xAI, X Corp y SpaceX en virtud de las leyes locales de protección al consumidor, alegando que las empresas «diseñaron, comercializaron y desplegaron» Grok sabiendo que podía generar CSAM mientras afirmaban públicamente que dicho contenido estaba prohibido.
La demanda de xAI contra Harwood representa un intento de posicionar a la empresa como un agente activo en la vigilancia de su plataforma, incluso mientras enfrenta un creciente escrutinio regulatorio. El organismo de control de la privacidad de Canadá ha iniciado una investigación sobre xAI por la generación de deepfakes sexualizados por parte de Grok, y la empresa continúa enfrentando presiones de los reguladores de la UE en virtud de la Ley de Servicios Digitales.
Una oficina de prensa de xAI no respondió a las solicitudes de comentarios.
Traducido por Alessandra
Fuentes: Ars Technica; Quartz; CyberScoop via AI Europe; Decrypt