Verificación y validación del sistema de IA

Descripción

Pruebas rigurosas de los sistemas de IA en cuanto a exactitud, equidad, robustez, seguridad y cumplimiento, antes y después del despliegue.

Orientación de implementación

Marco de pruebas

Definir un marco de pruebas integral que cubra: precisión funcional (precision, recall, F1 frente a datos de reserva), pruebas de equidad (impacto dispar entre grupos protegidos), pruebas de robustez (entradas adversarias, cambio de distribución), pruebas de seguridad (inyección de prompts, envenenamiento de datos, extracción de modelos) y validación de cumplimiento (requisitos regulatorios cumplidos).

Validación independiente

Asegurar que la validación sea realizada por personal independiente del desarrollo (según A.3.2). Utilizar conjuntos de datos de validación separados que no se hayan visto durante el desarrollo. Para sistemas de alto riesgo, contratar validadores externos.

Criterios de aceptación

Definir umbrales de aceptación cuantitativos antes de comenzar las pruebas: precisión mínima, diferencial máximo de sesgo, robustez bajo niveles de perturbación definidos y requisitos de latencia. Documentar los resultados de aprobado/reprobado y las remediaciones requeridas.

Requisitos de evidencia

• Planes de prueba con criterios de aceptación
• Resultados de ejecución de pruebas y registros de aprobado/reprobado
• Informes de evaluación de equidad y sesgo
• Resultados de pruebas de seguridad y robustez
• Informes de validación independiente