NIST AI RMF
ASEGURAMIENTO
DATOS
MODELO
Competencia y experiencia
Descripción
Las actividades de medición del sistema de IA son realizadas por individuos y equipos con conocimiento del dominio, experiencia técnica y diversidad apropiados. La calidad de la medición de la IA está limitada por la competencia y la diversidad del equipo de medición.
Acciones sugeridas
1
Conformar equipos de medición multidisciplinarios que incluyan científicos de datos (evaluación técnica), expertos del dominio (validez contextual), especialistas en ética (evaluación de equidad e impacto) y representantes de las comunidades afectadas (perspectiva de experiencia vivida)2
Asegurar que los evaluadores posean las competencias técnicas requeridas: metodología de pruebas estadísticas, cálculo de métricas de equidad, herramientas de pruebas adversarias y marcos de evaluación específicos del dominio3
Incluir perspectivas diversas en los equipos de medición para identificar impactos que los equipos homogéneos pasan por alto — la investigación demuestra consistentemente que los equipos diversos identifican más riesgos y modos de falla4
Brindar capacitación continua sobre herramientas de medición, metodologías de detección de sesgo, marcos de evaluación de IA responsable y amenazas emergentes5
Garantizar la independencia entre los equipos de medición y los equipos de desarrollo para sistemas de alto riesgo — las personas que construyeron el sistema no deben ser los únicos jueces de si este funciona6
Documentar la composición del equipo y las evaluaciones de competencia para cada evaluación — los auditores y los reguladores preguntarán quién realizó la evaluación y si estaba calificado