Sanitización de las salidas del modelo
Qué exige este control
Filtre, valide y sanee todas las salidas de los modelos de IA antes de que se muestren a los usuarios, se pasen a sistemas posteriores o se ejecuten como código. El sanitización de salidas debe prevenir los ataques de cross-site scripting (XSS), la inyección SQL, la inyección de comandos, la divulgación no autorizada de datos y la propagación de contenido dañino o manipulador a través de las respuestas generadas por la IA.
Por qué es importante
Los modelos de IA generan texto de formato libre que puede contener código ejecutable, marcado o datos estructurados que los sistemas posteriores interpretan literalmente. Una salida del modelo sin sanitizar que contenga JavaScript, fragmentos SQL o comandos de shell puede ser ejecutada por navegadores web, bases de datos o pipelines de automatización, creando una vía de ejecución remota de código que elude por completo los controles de seguridad de aplicaciones tradicionales.
Cómo implementarlo
Codificación y escape de salidas
Aplicar una codificación adecuada al contexto para todas las salidas de IA antes de renderizarlas. Codificar en HTML las salidas mostradas en interfaces web, parametrizar las salidas utilizadas en consultas de bases de datos y escapar las salidas que se pasen a comandos de shell. Nunca concatenar la salida cruda del modelo en contextos ejecutables.
Filtrado de seguridad de contenido
Implementar un clasificador de seguridad de contenido posterior a la generación que evalúe las salidas en busca de categorías de contenido dañino (violencia, discurso de odio, autolesión, actividad ilegal). Bloquear o marcar las salidas que superen los umbrales de seguridad definidos. Mantener umbrales específicos por categoría que puedan ajustarse según el caso de uso.
Validación de salidas estructuradas
Cuando se espera que las salidas de IA tengan formatos estructurados (JSON, XML, llamadas a funciones), validar las salidas contra esquemas estrictos antes de procesarlas. Rechazar las salidas mal formadas y registrar las violaciones de esquema. Para los agentes de IA que invocan herramientas, validar que los parámetros de función devueltos coincidan con los tipos y rangos de valores esperados.
Monitoreo de salidas y ciclo de retroalimentación
Implementar el monitoreo en tiempo real de la calidad de las salidas y las métricas de seguridad. Realizar seguimiento de las tasas de salidas bloqueadas, las activaciones del clasificador de seguridad y los problemas reportados por los usuarios. Retroalimentar los datos de monitoreo hacia el ajuste fino del modelo y las mejoras de ingeniería de prompts en un ciclo mensual.
Evidencia y auditoría
- Documentación de implementación de codificación y escape de salidas por contexto de renderizado
- Configuración del clasificador de seguridad de contenido y ajustes de umbral
- Registros de salidas bloqueadas con motivos de clasificación
- Definiciones de esquemas de salidas estructuradas y registros de errores de validación
- Paneles de monitoreo de calidad y seguridad de las salidas
- Registros de problemas de salida reportados por usuarios y registros de resolución
- Informes mensuales de mejora de la calidad de las salidas