Gestión de cambios del sistema de IA
Descripción
Cambios gestionados en los sistemas de IA, incluidas las actualizaciones de modelos, los cambios de datos y las modificaciones de configuración, con evaluación de impacto y pruebas.
Orientación de implementación
Clasificación de cambios
Clasificar los cambios del sistema de IA según el riesgo: rutinarios (ajuste de hiperparámetros, correcciones menores de errores), significativos (reentrenamiento del modelo, nuevas fuentes de datos, cambios de características) y mayores (cambios de arquitectura, nuevos casos de uso, expansión del alcance). Cada categoría requiere diferentes niveles de aprobación y profundidad de pruebas.
Evaluación de impacto
Antes de implementar los cambios, evaluar el impacto en: el desempeño del modelo, las métricas de equidad, la postura de seguridad, el cumplimiento regulatorio y los sistemas dependientes. Documentar la evaluación y obtener la aprobación de la autoridad correspondiente.
Ejecución de cambios
Seguir un proceso de cambio controlado: documentar la solicitud de cambio, realizar la evaluación de impacto, ejecutar en un entorno que no sea de producción, ejecutar pruebas de regresión (exactitud, equidad, seguridad), obtener la aprobación, desplegar con monitoreo y validar después del despliegue. Mantener un registro de auditoría completo.
Requisitos de evidencia
- Registros de solicitudes de cambio con clasificación
- Evaluaciones de impacto para cambios significativos y mayores
- Resultados de pruebas de regresión antes y después del cambio
- Registros de aprobación de cambios
- Informes de validación posteriores al despliegue