Descripción
Medición y informe periódicos del desempeño del sistema de IA frente a métricas definidas, incluyendo exactitud, equidad y latencia.
Orientación de implementación
Marco de métricas de desempeño
Definir un marco integral de métricas para cada sistema de IA: métricas de desempeño primarias (exactitud, AUC, RMSE según corresponda), métricas de equidad (igualdad de oportunidades, paridad demográfica entre grupos protegidos), métricas operativas (latencia, rendimiento, disponibilidad), y métricas de negocio (calidad de la decisión, satisfacción del usuario).
Cadencia de medición
Establecer calendarios de medición: monitoreo en tiempo real para las métricas operativas, cálculo diario o semanal de las métricas de desempeño, análisis profundos mensuales de las métricas de equidad, y revisiones integrales trimestrales del desempeño reportadas a la gobernanza.
Informe de desempeño
Generar informes de desempeño estandarizados para las partes interesadas: paneles ejecutivos que muestren el impacto en el negocio, informes técnicos con detalle estadístico para los equipos de ciencia de datos, informes de equidad para el comité de ética, y análisis de tendencias que muestren el desempeño a lo largo del tiempo.
Requisitos de evidencia
- Marco de métricas de desempeño por sistema de IA
- Configuraciones automatizadas de medición del desempeño
- Informes de desempeño y análisis de tendencias
- Informes de métricas de equidad entre grupos protegidos