Defensa contra entradas adversarias
Plantillas relacionadas
Qué exige este control
Implementar defensas en capas contra la inyección de prompts, los intentos de jailbreak y los ataques de evasión adversaria en todas las interfaces de modelos de IA. Las defensas deben incluir validación de entradas, análisis semántico de los prompts del usuario y guardrails de comportamiento que detecten y rechacen los intentos de manipular el comportamiento del modelo fuera de sus parámetros operativos previstos.
Por qué es importante
La inyección de prompts es el vector de ataque más prevalente contra los sistemas basados en LLM, y permite a los adversarios anular las instrucciones del sistema, exfiltrar datos o hacer que el modelo realice acciones no autorizadas. Sin defensas de entrada robustas, un solo prompt manipulado puede eludir los controles de acceso, extraer prompts de sistema confidenciales o convertir en arma a los agentes de IA para ejecutar operaciones dañinas en los sistemas conectados.
Cómo implementarlo
Capa de validación de entradas
Implementar un pipeline de preprocesamiento que inspeccione todas las entradas del usuario antes de que lleguen al modelo. Aplicar validación estructural (límites de longitud, verificaciones de codificación de caracteres, detección de patrones de inyección) y análisis semántico (clasificación de intención para identificar intentos de manipulación). Rechazar o sanitizar las entradas que coincidan con patrones adversarias conocidos.
Firewall de prompts
Implementar una capa dedicada de seguridad de prompts (comercial o de código abierto) que mantenga un conjunto de reglas actualizado de técnicas de inyección, incluida la inyección directa, la inyección indirecta a través de contexto recuperado y la manipulación de múltiples turnos. Configurar el firewall para registrar todos los intentos bloqueados con contexto completo para inteligencia de amenazas.
Salvaguardas de comportamiento
Definir los límites de comportamiento del modelo mediante prompts de sistema, técnicas de IA constitucional o clasificadores de seguridad ajustados. Asegurar que el modelo rechace las solicitudes que violen su política operativa, sin importar cómo se formule la solicitud. Probar las salvaguardas contra escenarios de red team trimestralmente.
Pruebas adversarias continuas
Establecer un programa recurrente de pruebas adversarias que someta a los sistemas de IA a técnicas de ataque actuales (bases de datos de payloads, fuzzing automatizado, red teaming manual). Retroalimentar los hallazgos en los conjuntos de reglas de validación de entradas y del firewall de prompts. Realizar seguimiento de las métricas de resiliencia adversaria a lo largo del tiempo.
Evidencia y auditoría
- Configuración del pipeline de validación de entradas y reglas de detección de patrones
- Registros de implementación del firewall de prompts e historial de versiones del conjunto de reglas
- Registros de prompts bloqueados con clasificación y contexto
- Definiciones de salvaguardas de comportamiento (prompts de sistema, configuraciones del clasificador de seguridad)
- Informes de red team y pruebas adversarias con hallazgos y remediación
- Panel de métricas de resiliencia adversaria o informes de tendencias
- Registros de incidentes de intentos exitosos de inyección de prompts