NIST AI RMF
APLICACIÓN
GOBERNANZA
INFRAESTRUCTURA
MODELO
Monitoreo del ciclo de vida
Descripción
Los sistemas de IA se monitorean durante todo su ciclo de vida para detectar la degradación del desempeño, la deriva, los riesgos emergentes y las consecuencias no deseadas. Un sistema de IA que funciona bien en el momento del despliegue no necesariamente funcionará bien el mes siguiente.
Acciones sugeridas
1
Implementar monitoreo continuo de las métricas de desempeño del modelo (exactitud, precisión, exhaustividad, latencia, tasas de error) calculadas sobre datos de producción, con alertas automatizadas ante incumplimientos de umbrales2
Desplegar detección de deriva de datos que compare las distribuciones de las entradas de producción con las distribuciones de los datos de entrenamiento — la deriva es inevitable, la pregunta es cuándo se vuelve significativa y requiere acción3
Implementar detección de deriva de concepto que monitoree si la relación entre las entradas y las salidas correctas ha cambiado — el mundo cambia incluso cuando los datos no lo hacen4
Monitorear los riesgos emergentes, incluidos los ataques adversarios, los patrones de uso indebido, los intentos de inyección de prompts y los comportamientos inesperados de los usuarios que no se anticiparon durante el desarrollo5
Rastrear e investigar comportamientos o resultados inesperados del sistema — detección de anomalías en las salidas del modelo, quejas de usuarios y métricas de sistemas posteriores en la cadena6
Establecer tableros de monitoreo visibles para los propietarios del sistema de IA, los equipos de gobernanza y la gestión de riesgos — el monitoreo que solo ven los ingenieros es un monitoreo que no informa las decisiones de gobernanza