Descripción
Monitoreo continuo de los sistemas de IA desplegados para detectar degradación del desempeño, deriva (drift), amenazas de seguridad y comportamientos inesperados.
Orientación de implementación
Dimensiones de monitoreo
Monitorear los sistemas de IA desplegados en las siguientes dimensiones: desempeño del modelo (exactitud, precisión, exhaustividad a lo largo del tiempo), deriva de datos (cambios en la distribución de las entradas respecto a la línea base de entrenamiento), deriva conceptual (cambios en la relación entre las características y los resultados), salud del sistema (latencia, rendimiento, tasas de error), y seguridad (consultas anómalas, posibles entradas adversarias).
Alertas y umbrales
Definir umbrales de alerta cuantitativos para cada dimensión de monitoreo. Configurar alertas automatizadas dirigidas a los equipos correspondientes: alertas de deriva del modelo a ciencia de datos, anomalías de seguridad a operaciones de seguridad, degradación del desempeño a los propietarios del sistema. Incluir escalamiento para incumplimientos sostenidos de los umbrales.
Infraestructura de monitoreo
Implementar infraestructura de observabilidad: registro de predicciones con captura de entrada/salida, monitoreo de distribución estadística, paneles de métricas de equidad actualizados con datos de producción, e integración con el SIEM organizacional para eventos relevantes de seguridad.
Requisitos de evidencia
- Documentación de configuración de monitoreo por sistema de IA
- Definiciones y justificación de los umbrales de alerta
- Capturas de pantalla de los paneles de monitoreo o registros de acceso
- Historial de alertas y registros de respuesta