NIST AI RMF DATOS INFRAESTRUCTURA MODELO

Capacidades y limitaciones de la IA

Parte de: MP: MAPEAR — Contexto e identificación de riesgos

Descripción

Se documentan las capacidades del sistema de IA, los propósitos previstos, el contexto de uso, y las limitaciones conocidas. Todo sistema de IA tiene límites; la pregunta es si estos se descubren durante las pruebas o en incidentes de producción.

Acciones sugeridas

1

Documentar las capacidades técnicas con métricas cuantitativas: exactitud, precisión, exhaustividad, puntajes F1, latencia, rendimiento; desglosadas por grupo demográfico y segmento de caso de uso cuando corresponda

2

Definir explícitamente los casos de uso previstos y, de forma crítica, documentar los usos fuera de alcance; para qué NO se debe utilizar el sistema es tan importante como para qué sí

3

Identificar y documentar las limitaciones del sistema, los modos de falla y los patrones de degradación: ¿qué sucede con las entradas fuera de distribución? ¿Cómo cambia el desempeño bajo carga? ¿Cuáles son los puntos ciegos conocidos?

4

Crear tarjetas de modelo siguiendo el marco Model Card de Google o equivalente, incluyendo: la descripción de los datos de entrenamiento, la metodología de evaluación, las consideraciones éticas, y las advertencias

5

Documentar los mecanismos de supervisión humana: ¿en qué umbral de confianza debe el sistema escalar a un humano? ¿Qué información recibe el revisor humano? ¿Puede el humano anular la decisión de la IA?

6

Realizar y documentar los resultados de las pruebas de estrés: ¿cómo se comporta el sistema en los límites de sus capacidades? ¿Cuál es el patrón de degradación controlada?