MODELO Responsable: Líder de Ingeniería de aprendizaje automático / Ingenieros de Seguridad / AppSec

Controles de modelos de IA

Centrarse en proteger los propios modelos de IA contra ataques adversarios y garantizar la calidad de las salidas.

Mapeo de marcos de referencia

Controles de cada marco de referencia de origen que se mapean a este dominio.

Marco de Referencia	Controles Mapeados
ISO 42001	A.9 Robustez A.6 Ciclo de vida del sistema de IA Cl.8 Operación
NIST AI RMF	AI 600-1 Perfil de IA Generativa MS-2 Rendimiento MG-3 Documentación MP-5 Rendimiento
OWASP LLM	LLM01 Inyección de prompts LLM02 Salida insegura LLM07 Filtración del prompt del sistema LLM09 Desinformación LLM10 Consumo sin límites
OWASP Agentic	ASI01 Consumo sin límites ASI05 Explotación de identidad ASI07 Cascada descontrolada ASI09 Interrupción operativa

5 controles distribuidos entre el Nivel 1 (esencial) y el Nivel 2 (avanzado).

Elementos de la lista de verificación agrupados por control.

Defensa contra entradas adversarias

☐ El pipeline de validación de entradas está activo en todas las interfaces de los modelos de IA, con verificaciones estructurales y semánticas
☐ Se ha desplegado un firewall de prompts o una detección de inyección equivalente, y el conjunto de reglas se actualiza al menos trimestralmente
☐ Las pruebas adversarias se realizan al menos trimestralmente y los hallazgos se remedian dentro de los SLA definidos
☐ Las salvaguardas de comportamiento se prueban contra una biblioteca de escenarios de red team mantenida activamente
☐ La telemetría de prompts bloqueados retroalimenta la inteligencia de amenazas y las actualizaciones de reglas de detección

Sanitización de las salidas del modelo

☐ Todas las salidas de IA se codifican o escapan adecuadamente según su contexto de renderizado antes de la entrega
☐ El filtrado de seguridad de contenido está activo en todos los canales de salida de IA en producción, con umbrales de categoría definidos
☐ Las salidas de IA estructuradas se validan contra esquemas antes de su procesamiento o ejecución posterior
☐ Las métricas de seguridad de las salidas se monitorean en tiempo real, con alertas ante incumplimientos de umbral
☐ El ciclo de retroalimentación mensual demuestra mejoras en la calidad de las salidas basadas en los datos de monitoreo

Restricción de consultas adversarias y gobernanza de costos

☐ Los límites de tasa y las cuotas de tokens se aplican en el gateway de API para todos los endpoints de los modelos de IA
☐ El monitoreo de costos en tiempo real está activo, con alertas de umbral de presupuesto configuradas y probadas
☐ La detección de anomalías está operativa, con líneas base documentadas y umbrales de marcado
☐ Los interruptores de circuito automáticos pueden suspender los servicios de IA no críticos durante emergencias de costos
☐ Los procedimientos de respuesta ante abusos están documentados e incluyen procesos de disputa de costos con proveedores

Protección de prompts de sistema

☐ Los prompts del sistema no contienen credenciales, claves de API ni tokens de acceso incrustados
☐ Los prompts del sistema incluyen instrucciones explícitas de resistencia a la extracción
☐ El monitoreo de salidas detecta y alerta sobre fragmentos de prompts del sistema en las respuestas del modelo
☐ Se realizan pruebas trimestrales de extracción y los hallazgos se remedian dentro de los 30 días
☐ La inyección de credenciales utiliza gestión de secretos en tiempo de ejecución en lugar de configuración estática

Confiabilidad de las Salidas de IA y Mitigación de Alucinaciones

☐ Los casos de uso de IA de alto impacto cuentan con flujos de revisión humana obligatoria y roles de revisor definidos
☐ Se despliegan mecanismos de RAG o de fundamentación equivalentes para las aplicaciones de IA factuales
☐ Las salidas de IA en contextos de toma de decisiones incluyen indicadores de confiabilidad o señales de incertidumbre
☐ Los parámetros de referencia de la tasa de alucinación se mantienen y se da seguimiento a lo largo del tiempo por modelo y caso de uso
☐ Se implementa la verificación automatizada de hechos para al menos un caso de uso de alto impacto