MEDIR — Evaluación, métricas y pruebas

Descripción

La función MEDIR emplea métodos cuantitativos y cualitativos para evaluar las características de confiabilidad del sistema de IA, incluyendo el desempeño, la equidad, la seguridad, la resiliencia, la transparencia y la privacidad a lo largo del ciclo de vida. MEDIR convierte los riesgos identificados por MAPEAR en métricas concretas y comprobables, y valida que los controles implementados por GESTIONAR realmente funcionen.

Subcategorías

Orientación de implementación

Definición del marco de medición

Comenzar por seleccionar métricas que correspondan a cada característica de confiabilidad identificada durante MAPEAR. Evitar medir lo que es fácil — medir lo que importa:

• Desempeño: Exactitud, precisión, exhaustividad (recall), F1, AUC-ROC — pero siempre desagregado por grupo demográfico y segmento de caso de uso
• Equidad: Paridad demográfica, igualdad de oportunidades (equalized odds), paridad predictiva, calibración entre grupos — seleccionar métricas apropiadas para el caso de uso y documentar por qué
• Seguridad: Puntajes de robustez adversaria, tasas de resistencia a la inyección de prompts, tasas de detección de intentos de extracción de datos
• Resiliencia: Desempeño ante cambios de distribución, degradación controlada bajo carga, tiempo de recuperación tras fallas
• Transparencia: Puntajes de explicabilidad (consistencia SHAP/LIME), integridad de la documentación, tasas de comprensión del usuario
• Privacidad: Puntajes de riesgo de reidentificación, resistencia a ataques de inferencia de pertenencia, seguimiento del presupuesto de privacidad diferencial

Metodología de pruebas y validación

Implementar un enfoque de pruebas por capas:

1. Pruebas unitarias — Validación de componentes individuales del modelo
2. Pruebas de integración — Comportamiento del sistema de extremo a extremo, incluido el preprocesamiento y posprocesamiento
3. Pruebas de equidad — Auditorías de sesgo entre atributos protegidos usando puntos de referencia estandarizados
4. Pruebas adversarias — Ejercicios de red teaming, pruebas de inyección de prompts, resistencia al envenenamiento de datos
5. Pruebas de estrés — Desempeño bajo carga extrema, casos límite y entradas fuera de distribución
6. Pruebas con usuarios — Usabilidad en el mundo real, comprensión de las salidas de la IA y patrones de interacción humano-IA

Validación independiente

Para los sistemas de IA de alto riesgo, las pruebas internas son necesarias, pero insuficientes. Involucrar a auditores externos, investigadores académicos u organizaciones de pruebas independientes para validar las mediciones. Los equipos internos tienen puntos ciegos inherentes y desalineación de incentivos.

Requisitos de evidencia

• Documento del marco de medición que define las métricas para cada característica de confiabilidad, con umbrales y justificación
• Planes de prueba e informes de validación para cada sistema de IA, incluida la metodología, los conjuntos de datos utilizados y los resultados
• Informes de auditoría de equidad que muestran el desempeño desagregado entre atributos protegidos, con análisis de significancia estadística
• Informes de pruebas adversarias y ejercicios de red teaming, con hallazgos y seguimiento de la remediación
• Informes de validación independiente de auditores o investigadores externos para sistemas de alto riesgo
• Documentación de herramientas y metodología de medición que permite la reproducibilidad
• Análisis de tendencias que muestra la evolución de las métricas en el tiempo, con informes de investigación para cambios significativos
• Evaluaciones de competencia de los integrantes del equipo de medición que documentan la experiencia pertinente