Descripción
Documentación de las fuentes de datos, los métodos de recolección, las transformaciones y el linaje a lo largo del ciclo de vida del sistema de IA.
Orientación de implementación
Seguimiento del linaje de datos
Implementar el linaje de datos de extremo a extremo, desde la fuente hasta el modelo: documentar las fuentes de datos originales (API, bases de datos, scraping, compras), los métodos de recolección y la base del consentimiento, todas las transformaciones aplicadas (limpieza, aumento, ingeniería de características) y qué versiones de modelo usaron qué versiones de datos.
Fichas de datos
Crear fichas de datos (según Gebru et al.) para todos los conjuntos de datos de entrenamiento significativos, documentando: motivación, composición, proceso de recolección, preprocesamiento, usos, distribución y mantenimiento. Actualizar las fichas de datos cuando los conjuntos de datos cambien.
Herramientas de trazabilidad
Utilizar herramientas de versionado de datos (DVC, Delta Lake o equivalentes) para mantener instantáneas inmutables de los datos de entrenamiento. Permitir que cualquier predicción de un modelo en producción pueda rastrearse hasta su versión exacta de datos de entrenamiento.
Requisitos de evidencia
- Diagramas de linaje de datos por sistema de IA
- Fichas de datos para los conjuntos de datos de entrenamiento
- Registros de control de versiones de datos
- Documentación de fuentes y registros de consentimiento