NIST AI RMF ASEGURAMIENTO DATOS MODELO

Enfoque de medición

Parte de: MS: MEDIR — Evaluación, métricas y pruebas

Descripción

Se identifican y aplican métodos y métricas apropiados para medir el desempeño, la equidad, la seguridad y otras características de confiabilidad del sistema de IA. La medición sin metodología es solo numerología.

Acciones sugeridas

1

Definir un conjunto integral de métricas que abarque exactitud, equidad, robustez, privacidad y explicabilidad — seleccionar métricas apropiadas para el nivel de riesgo y el caso de uso del sistema, no una lista de verificación única para todos los casos

2

Seleccionar métodos de medición apropiados según el tipo de sistema y el nivel de riesgo: pruebas estadísticas para sistemas de clasificación, evaluación humana para sistemas generativos, pruebas A/B para sistemas de recomendación, simulación para sistemas autónomos

3

Establecer líneas base de desempeño y equidad antes del despliegue, utilizando conjuntos de prueba reservados que sean representativos de la población de producción, y no simplemente convenientes

4

Documentar la metodología de medición con suficiente detalle para permitir la reproducción independiente: conjuntos de datos, protocolos de evaluación, pruebas estadísticas, umbrales de significancia y herramientas utilizadas

5

Definir umbrales de alerta para cada métrica que activen la investigación, la remediación o el apagado del sistema — las métricas sin umbrales son informativas, no operativas

6

Programar la cadencia de medición: monitoreo continuo para sistemas en producción, evaluaciones profundas trimestrales y evaluaciones activadas después de cambios o incidentes significativos