Privacidad de la IA médica: cuando la protección promedio no protege a nadie
Moritz Knolle, estudiante de doctorado en la Universidad Técnica de Múnich, se hizo una pregunta que lo llevó a un descubrimiento inquietante: “Me pregunté: ¿contribuiría con mis datos para entrenar un modelo de IA médica?”
Para responderla, él y sus colegas realizaron una prueba sistemática. Atacaron siete conjuntos de datos médicos reales, que incluían 21.799 electrocardiogramas y 377.110 radiografías de tórax, con ataques de inferencia de membresía (MIA), una técnica que determina si los datos de una persona específica se usaron para entrenar un modelo de IA determinado. La suposición en el campo ha sido que el riesgo de MIA es lo suficientemente bajo como para que, promediado entre todos los pacientes, no represente una amenaza real.
Esa suposición, informa el equipo en Nature (DOI: 10.1038/s41586-026-10688-0), es peligrosamente engañosa. El riesgo no está distribuido de manera uniforme y, para algunos pacientes, es extremo.
Cómo funciona un ataque de inferencia de membresía
Los modelos de IA médica generalmente se entrenan en grandes conjuntos de datos de registros de pacientes, imágenes o señales fisiológicas. Para que el modelo funcione bien, debe aprender patrones en los datos. Pero aprender patrones también significa ajustar sus parámetros internos de manera que lo hacen ligeramente más confidente sobre los puntos de datos específicos que ha visto.
Un MIA explota esto. El atacante, que tiene acceso al modelo entrenado, le introduce un punto de datos y registra la puntuación de confianza del modelo. Si la confianza es significativamente mayor que la que un modelo equivalente produciría sin ese punto de datos, el atacante puede inferir que el punto de datos estaba en el conjunto de entrenamiento.
Para los datos médicos, esa inferencia es peligrosa. Saber que los datos de una persona específica se usaron para entrenar un modelo para, digamos, un tratamiento poco común contra el cáncer, le dice a una aseguradora o empleador algo que esa persona quizás quiera mantener privado.
La distribución del riesgo
Estudios anteriores reportaron el riesgo de MIA como un promedio entre todos los pacientes, típicamente un número de un solo dígito. Un modelo con un riesgo promedio del 1% parece seguro. Pero Knolle y sus colaboradores, incluidos Daniel Ruckert en la TUM y Georg Kaissis en el Hasso Plattner Institute, descubrieron que el promedio oculta una distribución profundamente desigual.
Los pacientes de grupos minoritarios subrepresentados en los datos de entrenamiento están fuertemente sobrerrepresentados en el percentil 99 del riesgo de privacidad. Para estos individuos, la tasa de éxito de MIA puede ser dramáticamente más alta que el promedio, en algunos casos acercándose a la certeza para los pacientes más inusuales.
La razón es estadística. Un modelo aprende bien los patrones comunes, por lo que la confianza que asigna a los pacientes típicos es similar ya sea que estuvieran o no en el conjunto de entrenamiento. Pero para un paciente poco común, digamos alguien con una combinación inusual de condiciones, la confianza del modelo es una señal mucho más fuerte de membresía. El modelo ha visto tan pocos ejemplos como ese paciente que, si estuvo en los datos de entrenamiento, su influencia en los parámetros del modelo es desproporcionadamente grande.
Una paradoja de escala
El problema se amplifica por la misma tendencia que hace útil a la IA médica. A medida que los modelos crecen y se vuelven más sofisticados, analizan los datos más profundamente, creando cambios más pequeños y más detectables en la probabilidad predictiva. Paradójicamente, los modelos más grandes pueden ser menos privados.
Del mismo modo, cuanto más específica es una cohorte de entrenamiento, pacientes que reciben un tratamiento particular contra el cáncer, por ejemplo, mayor es el riesgo de privacidad para cada miembro. La misma especificidad que hace valioso a un conjunto de datos para responder una pregunta clínica también hace que sus miembros sean más identificables.
La privacidad diferencial como solución
La solución existe. La privacidad diferencial (DP) agrega una pequeña cantidad de ruido aleatorio calibrado durante el entrenamiento, limitando matemáticamente cuánta información puede filtrar el modelo sobre cualquier individuo. En las pruebas del equipo, la DP redujo la efectividad de los MIA mientras mantenía la precisión diagnóstica.
Pero la DP no se ha adoptado ampliamente. La mayoría de los hospitales y clínicas que desarrollan modelos de IA no la implementan, ya sea porque desconocen el riesgo o porque consideran que el esfuerzo de implementación es innecesario.
“El objetivo es brindar a las personas una garantía estadística de que no sufrirían daño por formar parte de un conjunto de datos”, dijo Knolle a Physics World. Él y sus colegas ahora están expandiendo el trabajo a modelos de IA generativa en el ámbito de la salud, donde los riesgos de privacidad pueden ser aún mayores.
La lección central del estudio es matemática, no técnica. En privacidad, como en medicina, los promedios pueden engañar. Un riesgo bajo para el paciente promedio no brinda consuelo al paciente para quien es alto, y hasta que los equipos de IA médica evalúen el riesgo a nivel individual antes de implementar modelos, los pacientes que más tienen que ganar de la IA también pueden tener más que perder.
Reference: Knolle et al., Nature (2026). DOI: 10.1038/s41586-026-10688-0. Reported by Physics World, July 21, 2026.
Traducido por Alessandra