APLICACIÓN
Responsable: Líder de Ingeniería / Seguridad de Producto / DevSecOps
Controles de aplicaciones de IA
Gobernar el comportamiento de los agentes de IA, las interfaces de usuario y las integraciones.
Mapeo de marcos de referencia
Controles de cada marco de referencia de origen que se mapean a este dominio.
| Marco de Referencia | Controles Mapeados |
|---|---|
| ISO 42001 |
A.5 Desarrollo y operaciones de IA
A.7 Transparencia
A.4 Recursos para sistemas de IA
|
| NIST AI RMF |
GV-2 Rendición de cuentas
GV-6 Cadena de suministro
MG-1 Gestión de riesgos
MG-2 Transparencia
|
| OWASP LLM |
LLM05 Vulnerabilidades de la cadena de suministro
LLM08 Debilidades de vectores y embeddings
LLM09 Desinformación
|
| OWASP Agentic |
ASI01 Permisos excesivos
ASI02 Objetivos desalineados
ASI04 Cadena de suministro
ASI06 Acciones no monitoreadas
ASI10 Confianza mal depositada
|
Controles
4 controles distribuidos entre el Nivel 1 (esencial) y el Nivel 2 (avanzado).
Nivel 1
ISO A.7
NIST GV-2
OWASP LLM09
OWASP ASI08
Transparencia de la IA y Divulgación al Usuario
Nivel 1
ISO A.5
NIST MG-1
OWASP LLM06
OWASP ASI01
OWASP ASI10
Gobernanza de Permisos de Agentes y Complementos
Nivel 1
ISO Cláusula 9
NIST MS-1
OWASP ASI06
Observabilidad y Auditabilidad de Agentes
Nivel 2
ISO A.10
NIST GV-6
OWASP LLM05
OWASP ASI04
Seguridad de la cadena de suministro de IA y componentes de terceros
Lista de verificación de auditoría
Elementos de la lista de verificación agrupados por control.
- ☐ Todas las interfaces impulsadas por IA muestran un indicador visual persistente de que el usuario está interactuando con IA
- ☐ Las divulgaciones de capacidades y limitaciones son accesibles con un solo clic desde la superficie de interacción con la IA
- ☐ Existe una matriz de cumplimiento regulatorio que vincula los requisitos de divulgación con las leyes y jurisdicciones aplicables
- ☐ Las pruebas de comprensión del usuario se realizan al menos trimestralmente, con hallazgos documentados
- ☐ Las salidas de dominios de alto riesgo incluyen advertencias en línea sobre la necesidad de verificación profesional
- ☐ Existe un inventario formal de permisos para todos los agentes de IA y complementos, con justificaciones documentadas de mínimo necesario
- ☐ Los permisos se aplican a nivel de infraestructura (roles de IAM, alcances de API) y no únicamente mediante instrucciones de prompt
- ☐ Los nuevos permisos de agentes requieren revisión de seguridad documentada y aprobación escalonada
- ☐ Se realizan revisiones trimestrales de acceso con decisiones documentadas de recertificación o revocación
- ☐ Las acciones destructivas o financieras de los agentes requieren aprobación a nivel ejecutivo y se registran individualmente
- ☐ Todas las invocaciones de herramientas del agente se registran con parámetros, respuestas, marcas de tiempo y contexto de sesión
- ☐ Los registros se almacenan en un sistema a prueba de manipulaciones o inmutable con un período de retención mínimo de 12 meses
- ☐ Las cadenas de razonamiento se capturan y vinculan a los registros de acciones correspondientes para la reconstrucción completa de la sesión
- ☐ Se implementa un panel de observabilidad en tiempo real con alertas para patrones de comportamiento anómalo de agentes
- ☐ Las auditorías trimestrales de integridad de registros confirman que no existen vacíos en la captura de acciones de agentes
- ☐ La lista de materiales de IA existe y está actualizada, y cubre todos los modelos, complementos y bibliotecas de IA de terceros
- ☐ Las evaluaciones de debida diligencia de proveedores se completan antes de la incorporación y se reevalúan anualmente
- ☐ El monitoreo de vulnerabilidades está activo para todos los componentes de IA inventariados, con SLA de parcheo definidos
- ☐ Los componentes de IA de terceros se despliegan en entornos en sandbox con segmentación de red
- ☐ Se realizan pruebas de seguridad previas al despliegue en todos los componentes de IA de terceros nuevos antes de su uso en producción