MAPEAR — Contexto e identificación de riesgos

Descripción

La función MAPEAR establece el contexto para la gestión del riesgo de IA al identificar el propósito previsto, el contexto de despliegue, las capacidades, las limitaciones y los impactos potenciales de cada sistema de IA. MAPEAR produce el contexto de riesgo sobre el cual operan MEDIR y GESTIONAR. Omitir MAPEAR implica medir y gestionar riesgos que no se han identificado adecuadamente, una receta para los puntos ciegos.

Subcategorías

Orientación de implementación

Documentación de contexto y propósito

Antes de construir o desplegar cualquier sistema de IA, documentar su propósito, los usuarios previstos, los beneficios esperados y el entorno operativo. Esto no es papeleo: es la base para la identificación de riesgos. Un sistema de IA diseñado para uso interno por analistas capacitados tiene riesgos fundamentalmente diferentes a los del mismo modelo expuesto a usuarios públicos.

Marco de identificación de riesgos

MAPEAR requiere la identificación sistemática de riesgos en múltiples dimensiones:

• Riesgos técnicos: degradación de la exactitud del modelo, vulnerabilidad adversaria, deriva de datos, fallas de infraestructura
• Riesgos sociales: sesgo y discriminación, violaciones de privacidad, desplazamiento laboral, impacto ambiental
• Riesgos legales: incumplimiento regulatorio, exposición a responsabilidad, infracción de propiedad intelectual
• Riesgos éticos: falta de transparencia, erosión de la agencia humana, concentración de poder

Clasificación del sistema y niveles de riesgo

Categorizar cada sistema de IA por nivel de riesgo para determinar controles proporcionales:

• Riesgo mínimo: herramientas internas de productividad, autocompletado, corrector ortográfico; los controles de seguridad estándar son suficientes
• Riesgo limitado: chatbots de cara al cliente, recomendación de contenido; se requieren obligaciones de transparencia y pruebas de sesgo
• Riesgo alto: contratación, préstamos, diagnóstico médico, justicia penal; son obligatorios el TEVV completo, la supervisión humana, las auditorías de equidad y las evaluaciones de impacto
• Riesgo inaceptable: puntuación social, vigilancia masiva, manipulación; prohibido por política

Tarjetas de modelo y tarjetas de sistema

Crear documentación estandarizada para cada sistema de IA que abarque: el uso previsto, la descripción de los datos de entrenamiento, las métricas de desempeño por grupo demográfico, las limitaciones conocidas, los modos de falla, y los mecanismos de supervisión humana. Las tarjetas de modelo son documentos vivos que se actualizan a lo largo del ciclo de vida del sistema.

Requisitos de evidencia

• Inventario de sistemas de IA con clasificación por nivel de riesgo para cada sistema dentro del alcance
• Tarjetas de modelo o tarjetas de sistema para cada sistema de IA que documenten el propósito, las capacidades, las limitaciones y las métricas de desempeño
• Hojas de trabajo de identificación de riesgos que abarquen las dimensiones técnica, social, legal y ética
• Evaluaciones de impacto para los sistemas de IA de alto riesgo con documentación de los aportes de las partes interesadas
• Documento del marco de clasificación de sistemas de IA que defina los niveles de riesgo y los requisitos de control correspondientes
• Documentación del análisis de contexto que identifique los requisitos regulatorios, los estándares de la industria y las restricciones organizacionales para cada sistema
• Registro de limitaciones conocidas que documente los modos de falla, los casos extremos y los usos fuera de alcance para cada sistema