Red teaming de IA y pruebas adversarias
Plantillas relacionadas
Qué exige este control
Realizar pruebas adversarias estructuradas —incluidos intentos de inyección de prompts, jailbreaking, extracción de datos y secuestro de objetivos— contra todos los sistemas de IA antes del despliegue en producción y de forma recurrente según un cronograma. Las pruebas deben cubrir tanto la capa del modelo de IA como la capa de integración de la aplicación, con hallazgos documentados, priorizados por gravedad y remediados dentro de los SLA definidos.
Por qué es importante
Los sistemas de IA presentan modos de fallo únicos que las pruebas de penetración tradicionales no cubren, incluidas las evasiones de inyección de prompts, la elusión del alineamiento de seguridad y la fuga involuntaria de datos a través de las respuestas del modelo. Sin un red teaming dedicado, las organizaciones permanecen ciegas ante superficies de ataque adversario que los actores de amenazas están explotando activamente en el entorno real. Las pruebas adversarias estructuradas proporcionan evidencia empírica de la robustez del sistema y retroalimentan directamente las decisiones de gestión de riesgos.
Cómo implementarlo
Establecer el estatuto y el alcance del red team
Definir un estatuto formal de red team que especifique los sistemas de IA dentro del alcance, la frecuencia de las pruebas (previa al despliegue más recurrencia trimestral), las técnicas de ataque autorizadas y los procedimientos de escalamiento. Asignar roles de red team a personal con experiencia tanto en ciberseguridad como en IA/ML, o contratar a firmas de terceros especializadas con capacidades demostradas de pruebas adversarias de IA.
Desarrollar playbooks de ataque específicos de IA
Crear y mantener una biblioteca de playbooks de ataque que cubra la inyección de prompts (directa e indirecta), técnicas de jailbreak (juego de roles, evasiones de codificación, escalamiento de múltiples turnos), extracción de datos de entrenamiento, envenenamiento de RAG, abuso del uso de herramientas y secuestro de objetivos para sistemas agénticos. Actualizar los playbooks trimestralmente para incorporar investigaciones de ataques y CVE recién publicados.
Ejecutar y documentar campañas de pruebas
Ejecutar campañas de pruebas en un entorno controlado que refleje la configuración de producción. Registrar cada caso de prueba con la entrada, el comportamiento esperado, el comportamiento real y la clasificación de gravedad. Utilizar taxonomías estandarizadas (por ejemplo, las categorías del OWASP LLM Top 10) para clasificar los hallazgos y garantizar la comparabilidad entre campañas.
Remediar y verificar los hallazgos
Priorizar los hallazgos por gravedad utilizando el marco de riesgo de la organización, asignar responsables de remediación y dar seguimiento hasta la resolución. Los hallazgos críticos y de alta gravedad deben remediarse antes del despliegue en producción, o dentro de 14 días en el caso de las pruebas recurrentes. Realizar pruebas de regresión para confirmar que las correcciones son efectivas y no introducen nuevas vulnerabilidades.
Evidencia y auditoría
- Estatuto del red team con alcance, frecuencia y técnicas autorizadas
- Biblioteca de playbooks de ataque con historial de versiones y registro de actualizaciones
- Informes de campañas de pruebas con detalles individuales de los hallazgos y calificaciones de gravedad
- Registros de seguimiento de remediación que muestran el cumplimiento de los SLA
- Resultados de pruebas de regresión que confirman la efectividad de las correcciones
- Contratos y entregables de contratación de red team de terceros (si corresponde)
- Resúmenes ejecutivos presentados a la junta de gobernanza