Hoy más que nunca la calidad de los datos es clave para el business intelligence. Tanto es así que puede hablarse de una ley universal ya establecida en la práctica, que podríamos resumir así: la confiabilidad de los informes es directamente proporcional a la calidad de los datos con los que estos se elaboran. Es decir, si la calidad de los datos es alta, la fiabilidad de los informes también lo será.

Por el contrario, si la calidad de los datos es deficiente, la credibilidad de los informes que se generan a partir de éstos también será baja. ¿Te das cuenta de lo importante que esto resulta al momento de tomar decisiones de negocios?

¿Qué es business intelligence?

Antes de continuar analizando la relación que existe entre la calidad de datos y el business intelligence, es relevante definir este último. Business intelligence (BI) o Inteligencia de Negocios agrupa todas las acciones dirigidas a la captación y transformación de grandes cantidades de datos en información de gran interés para una organización. Entre tales acciones, podemos incluir: metodologías, técnicas, procesos, herramientas y tecnologías generadoras de información que servirá de apoyo a la toma de decisiones.

En otras palabras, la Inteligencia de negocios consiste en captar los datos que provienen de diversas fuentes, con el propósito de convertirlos en información útil para las empresas. De esta manera, la información que aporta el BI es determinante para identificar oportunidades y riesgos por igual. Lo que permitirá -¡a tiempo!- aprovechar las primeras y evitar o minimizar los segundos. Más aún, los managers podrán decidir con más seguridad sobre aspectos como mejorar los productos y/o servicios. Así como enriquecer la atención y soporte al cliente y otros elementos relevantes para el crecimiento del negocio. En conclusión, business intelligence es un proceso que va desde la captación de los datos hasta la toma de decisiones.

¿Por qué es importante la calidad de datos en business intelligence?

Como hemos mencionado previamente la calidad de datos es crítica para el business intelligence. Por este motivo es importante recordar que estos datos son masivos y proceden de diversas fuentes. Lamentablemente, muchas empresas se dan cuenta de las deficiencias de sus datos cuando comienzan a implementar sus sistemas de inteligencia empresarial. Con frecuencia, el nivel de calidad se manifiesta cuando los cuadros de mando no responden a las expectativas. Sin contar con que en ciertos casos, algunas categorías de análisis no funcionan correctamente debido a irregularidades en la calidad de los datos.

De acuerdo a lo anterior, si una organización necesita aprovechar al máximo su solución de BI, debe aplicar urgentemente una mejora en la calidad de los datos. En realidad, siempre existirán problemas en este ámbito, por lo que es difícil disponer de una base de datos perfecta en su totalidad. A medida que crece la empresa, estas anomalías serán más frecuentes.

Por otro lado, mientras más complicado sean el organigrama de la compañía y sus metodologías de recolección de datos, hay más probabilidades de tener problemas de data quality. Sin embargo, es prioritario poner en práctica soluciones que vayan desde la más esencial hasta la más compleja. Como aplicar una adecuada y organizada arquitectura de datos. Pasando por el empleo de soluciones de calidad de datos, como MyDataQ, de DEYDE. Hasta la definición de un sólido gobierno de datos en la organización, en cuanto sea posible.

Características de la calidad de datos en business intelligence

En particular, la calidad de datos se determina con base a ciertos aspectos que definen sus grados de aplicabilidad y utilidad. Al igual que de contextualización y relevancia. Tales aspectos serían:

• Cantidad. En muchos casos, las empresas captan más datos de los que realmente requieren. No obstante, esta situación es preferible a contar con escasez de información. Eventualmente las compañías enfrentan imprevistos. Por esta razón, mientras las empresas dispongan de más datos resultará más sencillo encontrar soluciones.
• Consideran la información histórica. En mayor medida, los informes tienden a reflejar la actualidad. Aun así, lo más recomendable es contar con datos históricos para verificar la evolución de un proceso durante períodos más largos. De esta manera, es viable anticiparse a problemas potenciales y resolverlos.
• Precisión y completitud. En efecto, los datos de calidad deben ser precisos, limpios y veraces. De ello depende el acierto de las decisiones tomadas.
• Comprensibles. Cada formato tiene sus características. Los datos deben estar expresados de forma que puedan ser comprendidos por los involucrados en su tratamiento.

¿Cómo afecta la deficiente calidad de datos al business intelligence?

Ya hablamos en sentido general de cómo influye la calidad de datos en la inteligencia empresarial. Ahora detallaremos cómo las deficiencias en este sentido afectan la estrategia y las operaciones del negocio derivadas de las decisiones basadas en Business Intelligence.

Bases de datos no integradas

Al emplear diversas bases de datos no integradas entre sí, es más probable adquirir malos hábitos de captación y registro de datos. Tales como la duplicación o la reintroducción de la información, que acarrean pérdidas de tiempo y esfuerzos.

Falta de coherencia en la captación de datos

Las incoherencias en el modo de dar formato e introducir los datos en el sistema impiden lograr que los mismos alcancen una calidad aceptable. Las imprecisiones y la falta de criterios unificados en estos procedimientos dan lugar a diversas interpretaciones. Un ejemplo típico son las abreviaturas en las direcciones (AV., Av., o Avda., en lugar de Avenida). Igualmente, hasta los campos de texto abierto pueden ser entendidos y usados de diversas formas por diferentes usuarios.

Problemas en la migración de datos

En procedimientos como la migración de datos a un sistema diferente o la consolidación de un sistema mediante la integración, la calidad de datos puede deteriorarse. Entre los factores de riesgo, contamos valores irregulares, como datos incompletos o mal colocados y hasta la disposición en hojas de cálculo inconsistentes.

Descuido en la actualización

Los datos son dinámicos. Por lo tanto, muchos de ellos cambian en períodos de tiempo usualmente cortos. Algunas estadísticas revelan que una considerable cifra de usuarios de correo electrónico (40%), cambian sus direcciones cada dos años. Y el 15% lo hace una o varias veces en un año. Por otro lado, hasta un 20% de las direcciones postales cambian con la misma frecuencia. Entonces, la actualización de los datos es una actividad imprescindible para evitar que los mismos queden obsoletos y generen pérdidas de tiempo y recursos.

Consecuencias de la mala calidad de los datos en BI

Pérdida de ventas y rentabilidad

Solamente una dirección de correo equivocada o no actualizada puede derivar en la falta de comunicación con clientes ya captados o con prometedores prospectos. Esto hace que los consumidores actuales o potenciales no se enteren de las nuevas ofertas de tu empresa y como consecuencia pierden el interés. Al respecto, la consultora Gartner ha revelado que un gran número de empresas pierden desde miles hasta millones de euros al año debido a la mala calidad de los datos.

Imprecisión en el análisis

Otra consecuencia riesgosa de los datos incorrectos o incompletos para las compañías es la obtención de análisis basados en BI sin conexión con la realidad. Los registros duplicados, campos omitidos u otras anomalías podrían generar como resultado planes de producción, estrategias de ventas y de marketing equivocados. Por tanto, la compañía desperdiciará recursos y tiempo en líneas de acción equivocadas.

Mala reputación y sanciones

Por si fuera poco, enviar correos repetidos a un mismo contacto, o a direcciones abandonadas, termina por retribuirle una mala reputación a tu marca. Tanto en el ámbito físico como en el virtual. Tus clientes actuales y potenciales perciben esto como falta de eficiencia. Por otro lado, este fallo expone a tu negocio a sanciones previstas en el Reglamento General de Protección de Datos (RGPD) de la Unión Europea.

MyDataQ de DEYDE es tu solución de calidad de datos para BI

Aunque este panorama que ocasiona la mala calidad de datos podría ser desolador, hay razones para el optimismo. Ya que puedes contar con MyDataQ, una de las herramientas de calidad de datos más completas del mercado. Hablamos de una solución digital adaptable a empresas de cualquier sector y tamaño que actúa sobre tres aspectos esenciales:

• Normalización de datos. MyDataQ estandariza y campifica los datos de nombres, direcciones postales, ID, teléfono y e-mail. Junto con esta estandarización, corrige errores existentes y unifica los distintos tipos de abreviaturas en un mismo término.
• Deduplicación de datos. Esta solución identifica duplicidades en las bases de datos para lograr un registro único de clientes. Por otra parte, confiere a estos duplicados un nivel de similitud que aporta una información más precisa de la clase de similitud que los une para un posible uso posterior por parte del usuario.
• Enriquecimiento. Mejor aún, MyDataQ genera mayor riqueza a la información con ayuda de datos geográficos. Algo que amplía la información que requieres sobre tus clientes. En concreto, la relacionada con información catastral, tipologías, coordenadas XY, geocodificación inversa, rentas y sección censal.

MyDataQ es un sistema desarrollado por Deyde DataCentric, multinacional tecnológica especializada en soluciones de Calidad de Datos y Datos de Calidad. Veinte años de experiencia, presencia en más de 35 naciones y más de 1.800 millones de registros al año, la convierten en una de las empresas con mayor relevancia en el sector.

¡Contacta con nosotros para obtener más información!

En épocas de constantes cambios tecnológicos, las compañías ahora se enfrentan a un nuevo actor preponderante en el desarrollo y modelamiento de sus negocios, “EL DATO” y es que ahora es normal escuchar términos tales como “Data Driven”, “Open Data” (datos abiertos), “Gobernanza” por mencionar algunos y necesariamente debemos hacernos un cuestionamiento acerca del cómo y en qué punto se encuentra el dato actualmente en Latinoamérica, tema que intento comentar en el siguiente artículo.

Los retos a los que se enfrentan las organizaciones

Según el último informe realizado por Global Data Barometer, hay mucho espacio disponible para la mejora en el aspecto del uso e impacto de los datos y con mejores indicadores, pero no los ideales, aspectos como la disponibilidad, capacidad, gobernanza y marcos regulatorios.

Precisamente y tomando como referencia los temas mencionados, vuelvo a referirme al enorme reto que tienen organizaciones y responsables de las áreas de datos en capturar, aplicar calidad, extraer y explotar los millones de datos que a diario albergan en sus centros de datos, para direccionarlos hacia los objetivos que el negocio y clientes demandan, objetivos que cambian a velocidades para las que nadie estaba preparado.

Otro tema que toma mayor relevancia en la realidad actual es el que tiene que ver con las proyecciones de trabajar bajo entornos de datos abiertos. Para este frente, el uso de datos en el sector público sigue siendo el de mayor desafío. Pese a que el apartado de marcos regulatorios y gobernanza presentan buenos indicadores, no sucede de la misma forma para el acceso a estos.

Hay un tema que mencioné anteriormente y que forma parte de la columna vertebral de los procesos y gestión de datos de las organizaciones, debido a la importancia que tiene tanto para los procesos de entrada como para todas y cada una de las acciones que se diseñen para su explotación, que es la calidad del dato. Cuando hablamos de calidad, se refiere a la planificación e implementación de actividades, técnicas, herramientas, guías, gobierno y métricas de gestión de calidad, en orden de asegurar que los datos sean aptos para consumo, satisfagan las necesidades de los consumidores y faciliten los procesos de toma de decisiones.

En este sentido y hablando de la situación en Latinoamérica, se evidencian avances, pero a pasos ligeramente más lentos de lo esperado. Teniendo en cuenta la alta demanda de intercambio de datos que el mercado está exigiendo, aún existen brechas y diferencias en las estandarizaciones que a nivel región se tenían que establecer. Hasta ahora cada país es autónomo en determinar su tipología e incluso, como es el caso de Colombia, son varias las entidades que generan estándares (IGAC, DNP, DANE, UAECD) y a nivel país, no se tiene un único marco estándar.

La explotación los datos abiertos a nivel regional

Adicional al tema de estandarización, en materia de calidad de datos, la región enfrenta también retos en torno a las herramientas tecnológicas a utilizar tanto para elevar la calidad como para la explotación de los datos. Existen múltiples opciones de soluciones robustas y globales presentes en el mercado con sus módulos de data quality, pero muy pocas opciones trabajan con datos propios de cada región.

Muchos de los países de Latinoamérica disponen de datos abiertos gubernamentales, al igual que callejeros. Son 15 países en total los que disponen de Portales de Datos Abiertos y/o Públicos: Argentina, Brasil, Chile Colombia, Costa Rica, Ecuador, El Salvador, Guatemala, Honduras, México, Panamá, Paraguay, Perú, República Dominicana y Uruguay.

Hay que tener en cuenta que existen notables diferencias culturales, geográficas y demográficas que hacen que, para el caso de datos, como los de contacto, sean diversos y específicos por región, como por ejemplo, los datos de localización. Es esta la razón por la que los callejeros gubernamentales se convierten en una herramienta indispensable. Argentina, Brasil, Chile, Colombia, Ecuador o México son algunos de los países que disponen de un callejero propio.

 Los niveles administrativos de cada territorio son distintos. Por ejemplo, nos encontramos en Argentina con una jerarquía dividida en Provincia, Departamento, Localidad y Entidad Comprometida. En cambio, en Colombia se divide en Departamento, Municipio, Comuna y Barrio.

Con esto, la ratio de calidad de datos postales es también muy dispar. En Perú y Chile, desde un punto de vista data quality, las direcciones son más sencillas de tratar debido a su formato sencillo, con una calle alfabética, seguida de un número, un código postal y una población. Por el contrario, países como Colombia y México tienen un ratio bajo o medio de calidad de datos en direcciones postales por contar con calles numéricas, no utilizar el código postal o, en el caso concreto de México, una misma calle atraviesa varias colonias. Muchas veces el cliente no sabe si su colonia correcta y en una dirección pone una cercana.

La Carta Internacional de Datos Abiertos, hito del open data en Latinoamérica y el Caribe

El hito más reciente de los datos abiertos en Latinoamérica fue la celebración en México de la Alianza para el Gobierno Abierto, en 2015. Allí se presentó oficialmente la Carta Internacional de Datos Abiertos, documento que concentra una iniciativa multilateral y colaborativa apoyada y suscrita no solo por gobiernos, sino también por organizaciones de la sociedad civil, sector privado y expertos en el área. En síntesis, este instrumento tiene como objetivo fundamental el fomento de una mayor coherencia y la implementación de principios de open data en gobiernos nacionales y locales e instituciones de todo el mundo. Al igual que apoyar el establecimiento en los mismos de estándares y buenas prácticas en apertura de datos, incluyendo el data quality.

En esta perspectiva, la carta funcionaría como una guía para liberar el potencial de los datos, una declaración de compromisos y un recurso para obtener apoyo técnico y político. Al día de hoy, la carta ha sido suscrita por 88 gobiernos entre nacionales y locales y 76 organizaciones no gubernamentales. Los gobiernos nacionales de Latinoamérica y el Caribe adheridos son: Argentina, Chile, Colombia, Costa Rica, El Salvador, Guatemala, Honduras, México, Panamá, Paraguay y Uruguay.

México, Ciudad Abierta

La Comisión Económica para América Latina y el Caribe (CEPAL) destaca el proyecto de México en sus Boletines de Planificación para el Desarrollo.

Hablamos de una serie de iniciativas canalizadas mediante el Plan de Desarrollo 2013-2018 que dieron origen al Laboratorio para la Ciudad, un organismo encargado de promover la participación de la ciudadanía y plantear estrategias disruptivas para mejorar los procesos de toma de decisiones. En esta misma línea, mediante esfuerzos interinstitucionales fue establecida la Plataforma de Gobierno Abierto con el propósito de cocrear y afianzar un modelo de ciudad abierta en Ciudad de México. A partir de allí, se vienen realizando distintos programas de capacitación a funcionarios públicos en conocimientos y habilidades relacionadas con datos abiertos y gobierno abierto.

Junto con esto, se promovieron cambios institucionales para impulsar estos conceptos mediante la Ley para hacer de la Ciudad de México una ciudad más abierta. La promulgación de este instrumento legal en 2015 hizo posible la creación del Consejo de Gobierno Abierto. Este es un órgano integrado por gobierno, sociedad civil, academia y otros. Luego vendría la aprobación de la Ley de transparencia, acceso a la información pública y rendición de cuentas de la Ciudad de México (2016). Y más adelante se crearon el Portal de Transparencia y el Portal de Datos de la misma urbe.

Fincomercio, información completa, confiable y precisa

Como dijimos líneas arriba, la calidad es una de las características indispensables en los datos abiertos. Esta información debe ser exacta, completa y estar exenta de duplicados. 

Fincomercio, cooperativa de ahorro y crédito colombiana con más de 64 años de experiencia, requería optimizar los recursos y el tiempo dedicado a realizar procesos manuales de identificación de datos incorrectos de los asociados. Teniendo en cuenta sus problemáticas, confió en el software propio MyDataQ de Deyde DataCentric el tratamiento de sus datos. En concreto en los módulos Names, Addresses, E-mail y Phones.

MyDataQ se nutre tanto de datos propios de cada región como oficiales abiertos de entidades gubernamentales para normalizar, mantener actualizadas y enriquecer las bases de datos de nuestros clientes. Algunas de las bases de datos abiertas que utiliza MyDataQ en Colombia son la Comisión de Regulación de Comunicaciones de la República de Colombia o el Departamento Administrativo Nacional de Estadísticas.

Gracias a MyDataQ, Fincomercio consiguió identificar correos electrónicos ficticios y/o vacíos para campañas de e-commerce, y unificar datos de contacto de asociados naturales y jurídicos. Además, logró obtener una base de datos correcta mediante el estandarizado de direcciones para cumplimiento de estándar de reportes a la DIAN, así como optimizar recursos dedicados a procesos manuales y segmentar asociados de Créditos, Seguros, Ahorro e inversión, logrando una visión única.

Privacidad de datos en Latinoamércia

Dicho esto, la caracterización de los datos y las posibilidades de acceder, validar y compartir la data, complican los escenarios ante una posible apertura regional de open data. Desde las entidades públicas se vienen trabajando en iniciativas para lograr avances en esa dirección y algunos sectores privados con sus agremiaciones están logrando materializar proyectos con el objetivo primordial de explotar y monetizar los datos. Pero aún queda mucho camino por recorrer para que los usuarios se puedan sentir tranquilos y confiados en el correcto uso de sus datos. No obstante, la región presenta algunos indicadores por encima de la media global y esto da un parte de tranquilidad del trabajo que se viene realizando por parte de los profesionales de datos, que cada vez es mayor en América Latina.

En relación con la privacidad de datos, en los países de Centro América y América del Sur no existe todavía una legislación transfronteriza que se parezca al RGPD de la Unión Europea. Ahora bien, cada país cuenta con sus normativas específicas.

Con el consentimiento de los titulares, las empresas privadas pueden utilizar sus datos para realizar campañas de comunicación por distintos canales. Para darse de baja de estas bases de datos comerciales, cada país tiene un fichero oficial negativo AntiSPAM. De los citados anteriormente en la tabla, Argentina y Colombia no tienen este fichero.

• Brasil: Listas de bloqueio del servicio AntiSpam
• Chile: Servicio «No Molestar» de la SERNAC
• Ecuador: Lista Robinson
• México:n REPEP
• Perú: Registro de Consumidores «Gracias… no insista» del Instituto Nacional de Defensa de la Competencia y de la protección de la propiedad intelectual (INDECOPI)

Educación, crecimiento y desarrollo

Finalmente, y ya que tocamos el tema de los profesionales, gracias al trabajo mancomunado de Gobierno, educación y entidades privadas, la región trabaja en desarrollo de planes a nivel educativo para estimular el crecimiento de especialistas en datos, fomentando la participación en programas como analítica, programación, estadística, matemáticas, etc, y con esto, elevar la cantidad de profesionales vinculados tanto a organizaciones privadas como estatales.

En resumen, Latinoamérica presenta unos indicadores favorables con respecto al crecimiento de la demanda, pero no los que se esperan, y en apartados como el de calidad del dato los niveles están muy por debajo de lo esperado. Las organizaciones se están preocupando más del almacenamiento, conservación, explotación y análisis de la data, que por los pilares fundamentales como son los de normalización, limpieza y validación. De esta manera se ven incrementados exponencialmente los esfuerzos generados por las áreas de negocio.

Teniendo como base unos datos consistentes, confiables, exactos, conformes, comprensibles, trazables, disponibles y actualizados -tal y como determinan las reglas de características de calidad que debe reunir el dato- estos esfuerzos disminuirían y la toma de decisiones sería más eficaz.

Ericcsson Pinto

Key Account Manager