NIST AI RMF
ASEGURAMIENTO
DATOS
MODELO
Pruebas y validación
Descripción
Los sistemas de IA se someten a pruebas y validación, incluidas pruebas adversarias, pruebas de sesgo y red teaming, apropiadas para su nivel de riesgo. Las pruebas no son una fase — son una actividad continua que comienza antes del desarrollo y continúa hasta el retiro del sistema.
Acciones sugeridas
1
Realizar pruebas integrales en conjuntos de datos y grupos demográficos diversos — si el conjunto de prueba no representa a la población de producción, los resultados de la prueba no predicen el desempeño en producción2
Realizar pruebas adversarias que evalúen vulnerabilidades de seguridad y casos límite, incluyendo resistencia a la inyección de prompts, a los intentos de eludir las restricciones del modelo (jailbreak), al envenenamiento de datos, a la extracción de modelos, a la inferencia de pertenencia y a los ataques de evasión3
Ejecutar auditorías de equidad que evalúen el sesgo entre atributos protegidos utilizando múltiples definiciones de equidad — distintas definiciones pueden arrojar conclusiones contradictorias; documentar las concesiones y la justificación de la selección4
Involucrar equipos de red team o auditores externos para la validación de sistemas de alto riesgo — los equipos de red team deben tener un mandato amplio para encontrar cualquier falla del sistema, no solo las que los desarrolladores anticiparon5
Probar los patrones de interacción humano-IA: ¿Los usuarios comprenden cuándo están interactuando con IA? ¿Confían o desconfían apropiadamente de las salidas del sistema? ¿Pueden anular eficazmente las decisiones de la IA?6
Validar el comportamiento del sistema en los límites: ¿Qué sucede con entradas adversarias, entradas vacías, entradas extremadamente largas, entradas en idiomas inesperados y entradas diseñadas para explotar vulnerabilidades conocidas?