Los datos están aquí para quedarse. De hecho, sus datos actuales ya han sobrevivido o lo más probable es que sobrevivan a sus sistemas y procesos actuales. Lo que debe tener en cuenta es que cada vez que los datos pasan por un proceso de integración de datos, hay posibilidades de errores. Estos son los 5 procesos de integración de datos propensos a crear una mala calidad de datos:

1. Data warehousing

Como podría haber ambigüedad en torno a este término, me refiero a la técnica de procesamiento, transformación e ingestión de datos de una o más fuentes en un almacén de datos, un data mart o incluso un almacén de datos operacional (ODS). Cada vez que hay un paso de transformación de datos, se pueden producir errores debido a cambios en el tipo de datos (por ejemplo, de decimal a entero), semántica incorrecta, etc. Si el Data warehouse carga datos de múltiples fuentes, la posibilidad de crear una mala calidad de los datos aumenta.

2. Data migration

Cuando está cambiando a un nuevo sistema o está importando nuevos conjuntos de datos a su CRM, CMS, ERP, etc., se realiza la migración de datos. A diferencia del almacenamiento de datos, esto se hace como un proyecto de una sola vez. Dado que este tipo de proyectos han establecido fechas límite, la tarea de migración de datos no incluye la realización de perfilamiento de datos, garantizar la calidad de los datos, validar el modelado de datos, la creación de metadatos, etc. ¿Por qué? Agregaría demasiado costo y esfuerzo del proyecto. La consecuencia de esta decisión es que migrará los datos en su estado actual, pero también tendrá que transformarlos para adaptarse a la nueva arquitectura de datos. Puedo decirle por mi experiencia de entrar en estos proyectos después de las migraciones de datos, puede llevar años limpiar estos datos.

3. Data consolidation

Existe una tendencia a centralizar los sistemas tanto como sea posible, por razones obvias, aunque los requisitos de centralización también se producen debido a fusiones entre compañías. Cuando esto suceda, los datos deberán consolidarse y a menudo fusionarse en un solo sistema. La mayoría de la mala calidad de los datos se producirá debido a las diferentes definiciones y reglas de negocios entre las dos organizaciones o unidades que rigen los dos sistemas. La falta de control de calidad y garantía sobre una de las dos bases de datos también tendrá un gran impacto

4. Data synchronization

La sincronización de datos entre 2 bases de datos diferentes, es uno de los aspectos más difíciles donde mantener la calidad de los datos. Los errores a menudo ocurren principalmente por 2 factores:

• Falta de Sincronización: no saber cuál de los dos registros está más actualizado. La mayoría de los modelos de datos no tienen una "fecha de última actualización" a nivel de la columna, por lo que la sincronización de datos particulares puede ser complicada y requerir reglas comerciales sólidas.

• La arquitectura de datos: convertir un tipo de datos en otro puede crear una pérdida de datos, aunque la mayoría de las veces el problema es cuando los datos, dentro de la base de datos, se registran a un nivel más detallado que los datos en la base de datos B. Por ejemplo, una dirección en la base de datos A tiene los elementos de dirección registrados en columnas individuales (por ejemplo, línea de dirección 1 y 2, ciudad, estado, etc.) mientras que en la base de datos B simplemente se registran en una sola dirección: dirección.

5. Master reference data services

Al igual que en la sincronización de datos, los servicios de datos de referencia maestros son bidireccionales entre el sistema de datos de referencia maestros y los sistemas Core de negocio. Al igual que en los ejemplos anteriores, estos procesos de integración de datos pueden introducir errores en los datos.

Conclusión

Todos los procesos de integración de datos enumerados anteriormente pueden traer muchos beneficios para satisfacer las necesidades de su negocio. Pero tenemos que ser conscientes de los altos riesgos de introducir mala calidad de datos en estos procesos. En particular, debemos prestar atención a la definición de datos (metadata) y semántica de negocios, a los requisitos y reglas de negocios, a la sincronización, así como a los cambios en los sistemas, los datos y las necesidades de negocios.

Fuente: Light Son Data

Si quieres conocer más acerca de este tema, contactos y coordinaremos una visita con de nuestros especialistas. www.plural-data.com