Explicabilidad de los resultados de los sistemas de IA
Descripción
Provisión de explicaciones significativas para las decisiones de IA, apropiadas para la audiencia y el nivel de riesgo del sistema.
Orientación de implementación
Requisitos de explicabilidad
Definir los requisitos de explicabilidad por sistema de IA según el riesgo: los sistemas de alto riesgo (préstamos, médico, legal) requieren explicaciones a nivel individual, los sistemas de riesgo medio requieren explicaciones a nivel agregado, y los sistemas de bajo riesgo requieren documentación general del sistema.
Métodos de explicación
Implementar técnicas de explicabilidad apropiadas: importancia de características (valores SHAP, importancia por permutación), explicaciones contrafactuales (qué tendría que cambiar para obtener un resultado diferente), extracción de reglas (reglas de decisión simplificadas), y explicaciones en lenguaje natural para audiencias no técnicas.
Comunicación adecuada a la audiencia
Adaptar las explicaciones a la audiencia: las partes interesadas técnicas reciben explicaciones a nivel de modelo, los usuarios de negocio reciben resúmenes de factores de decisión, las personas afectadas reciben explicaciones en lenguaje sencillo de los factores que influyeron en su resultado, y los reguladores reciben documentación de la metodología.
Requisitos de evidencia
- Requisitos de explicabilidad por nivel de riesgo del sistema de IA
- Documentación de los métodos de explicación implementados
- Ejemplos de explicaciones para diferentes audiencias
- Resultados de las pruebas de comprensión de los usuarios