GESTIONAR — Respuesta a riesgos y comunicación
Descripción
La función GESTIONAR asigna recursos, implementa controles, despliega mitigaciones y establece un monitoreo continuo para gestionar los riesgos de IA identificados por MAPEAR y medidos por MEDIR. GESTIONAR es donde la gobernanza se traduce en realidad operativa — las políticas se convierten en controles, las evaluaciones de riesgo se convierten en mitigaciones y las métricas se convierten en tableros.
Subcategorías
| ID | Nombre | Descripción |
|---|---|---|
| MG-1 | Evaluación del propósito | Los sistemas de IA se evalúan para determinar si su propósito previsto, sus casos de uso y su contexto de despliegue son... |
| MG-2 | Equilibrio entre riesgos y beneficios | Los riesgos y beneficios del sistema de IA se equilibran y gestionan en función del impacto esperado, con una tolerancia... |
| MG-3 | Monitoreo del ciclo de vida | Los sistemas de IA se monitorean durante todo su ciclo de vida para detectar la degradación del desempeño, la deriva, lo... |
| MG-4 | TEVV (pruebas, evaluación, verificación y validación) | Los procesos de TEVV se implementan y se iteran a lo largo del ciclo de vida de la IA para garantizar que los sistemas f... |
Orientación de implementación
Planificación del tratamiento de riesgos
Para cada riesgo identificado durante MAPEAR y cuantificado durante MEDIR, seleccionar una estrategia de tratamiento:
- Mitigar: Implementar controles para reducir el riesgo a niveles aceptables (la más común)
- Transferir: Trasladar el riesgo mediante seguros, disposiciones contractuales o servicios de terceros
- Aceptar: Aceptar formalmente el riesgo residual con justificación documentada y aprobación ejecutiva
- Evitar: No desplegar el sistema de IA si el riesgo no puede reducirse a niveles aceptables
Documentar la decisión de tratamiento, la justificación, la parte responsable, el cronograma de implementación y el nivel de riesgo residual para cada riesgo identificado.
Controles de despliegue
Implementar estrategias de despliegue gradual:
- Despliegue canario — Enrutar entre el 1 % y el 5 % del tráfico al nuevo sistema, monitoreando anomalías
- Pruebas A/B — Comparar el desempeño del sistema de IA con una línea base (sistema anterior o decisiones humanas)
- Modo sombra (shadow mode) — Ejecutar el sistema de IA en paralelo sin afectar las decisiones reales, comparando las salidas
- Implementación progresiva — Aumentar gradualmente el alcance del despliegue con monitoreo en cada etapa
- Interruptor de apagado (kill switch) — Criterios y mecanismo predefinidos para el apagado inmediato del sistema
Mecanismos de supervisión humana
Diseñar la supervisión humana en proporción al riesgo del sistema:
- Humano en el bucle (human-in-the-loop): Un humano revisa y aprueba cada decisión de la IA (decisiones de alto riesgo y bajo volumen)
- Humano sobre el bucle (human-on-the-loop): Un humano monitorea las decisiones de la IA y puede intervenir (riesgo medio, volumen medio)
- Humano por encima del bucle (human-over-the-loop): Un humano define políticas y revisa los resultados agregados (menor riesgo, alto volumen)
Monitoreo continuo
Desplegar infraestructura de monitoreo que dé seguimiento a:
- Métricas de desempeño del modelo en producción (exactitud, latencia, tasas de error)
- Detección de deriva de datos (cambios en la distribución de entradas)
- Detección de deriva de concepto (cambios en la relación entre las entradas y las salidas correctas)
- Métricas de equidad calculadas sobre datos de producción
- Monitoreo de seguridad (entradas adversarias, patrones de uso anómalos)
- Seguimiento de la retroalimentación y quejas de los usuarios
Respuesta a incidentes
Establecer procedimientos de respuesta a incidentes específicos para IA:
- Detección: Alertas automatizadas ante incumplimientos de umbrales de métricas
- Triage: Clasificación de severidad (crítico: apagado inmediato; alto: remediación en horas; medio: siguiente día hábil)
- Investigación: Análisis de causa raíz con herramientas de depuración de modelos
- Remediación: Corregir, reentrenar, revertir o dar de baja
- Comunicación: Notificar a las partes interesadas afectadas según el plan de comunicación
- Post-incidente: Lecciones aprendidas, actualizaciones de controles, ajustes de umbrales de métricas
Requisitos de evidencia
- Planes de tratamiento de riesgos para cada sistema de IA con las decisiones de tratamiento, la justificación y los niveles de riesgo residual firmados por los propietarios del riesgo
- Planes de despliegue que muestran la estrategia de implementación gradual con criterios de monitoreo en cada etapa
- Documentación de los mecanismos de supervisión humana que muestra los criterios de escalamiento, las calificaciones de los revisores y los procedimientos de anulación
- Configuraciones del tablero de monitoreo de producción que muestran las métricas rastreadas, los umbrales de alerta y los procedimientos de escalamiento
- Configuraciones de los sistemas de detección de deriva de datos y deriva de concepto, con registros históricos de alertas
- Plan de respuesta a incidentes de IA con definiciones de severidad, plantillas de comunicación y procedimientos de revisión post-incidente
- Informes de incidentes y documentación de revisión post-incidente con lecciones aprendidas y mejoras de controles
- Procedimientos del interruptor de apagado y registros de pruebas que demuestran la capacidad de apagar rápidamente los sistemas de IA
- Informes periódicos de reevaluación de riesgos que muestran perfiles de riesgo actualizados y ajustes a los planes de tratamiento