Datos y Covid, el data quality en tiempos de pandemia

datos y covid

Datos y Covid están conformando un binomio circunstancial debido a la generación de información que está causando la pandemia del coronavirus. Al respecto, el matemático francés Emmanuel Candès, advirtió hace meses que los países deben contar con “datos de muy buena calidad” sobre la evolución del virus.

Además, Candès –condecorado con el Premio Princesa de Asturias de la Investigación Científica y Técnica 2020- recomienda que esta información sea compartida entre los estados. De esta manera, sería factible incrementar la efectividad de las investigaciones. En este contexto, el data quality es un recurso indispensable para garantizar la fiabilidad de los datos relativos al Covid-19 durante su tratamiento e intercambio.

Generación de datos y Covid, la importancia de la calidad

En el ámbito científico, la generación de datos y Covid acaparan la atención de los investigadores. ¡Y no es para menos! Con el fin de establecer predicciones relativas a la pandemia con alto grado de certeza, la calidad de los datos debe ser óptima. Por lo que captar esta información de manera eficaz y compartirla con las autoridades y la comunidad requiere de mucha disciplina, como subrayó Candès.

El referido matemático, apunta que el trabajo de los estadísticos es presentar a los organismos públicos, hechos científicamente comprobados de la manera más clara y transparente. En base a estos, los funcionarios y responsables de gobierno tomarán las decisiones pertinentes. Estas medidas, repercutirán tanto en las políticas a implementar, como en la conducta de los ciudadanos. Por estos motivos, surge la importancia de obtener y procesar datos empleando criterios exigentes y herramientas de excelente calidad informática.

Los datos de calidad son esenciales para responder al Covid-19

Desde el principio de la pandemia hasta hoy, los datos siguen constituyendo la principal herramienta para generar respuestas al COVID-19. En efecto, las actualizaciones periódicas relativas a cifras de casos, fallecimientos y la capacidad de la atención sanitaria, demuestran que la importancia y el carácter público de los datos nunca fueron tan relevantes como ahora. Más aún, las decisiones de organismos públicos y de las políticas de cada país, se basan en el acceso al conjunto de información que evoluciona de forma constante.

Medidas de confinamiento, entre ellas las de viajeros procedentes de otros países, actividades educativas virtuales y restricciones de ocio, se aplican de acuerdo a las cifras más recientes. Las administraciones públicas deben dar respuestas «en tiempo real» y ello exige disponer de datos a un ritmo vertiginoso.

Por lo tanto, el data quality es fundamental para el uso eficiente de los datos. Tanto es así que un alto nivel en la calidad de los datos es considerado como una «adecuación al propósito«, es decir, una garantía de calidad. Este es un requerimiento vital en medio de las circunstancias impuestas por el coronavirus. Esto supone además, un reto para científicos y estadísticos cuando se trabaja a un ritmo tan acelerado.

Retos del Data Quality en el contexto de la pandemia

En el ámbito del análisis y de conformar datos, la situación causada por la pandemia del Covid-19 plantea importantes retos al data quality. Entre ellos, incluimos la preparación de datos para su posterior análisis, además de su limpieza, estructuración y enfoque contextual.

Datos masivos y de múltiples procedencias

Ciertamente, existen grandes conjuntos de datos – en continuo crecimiento y de fuentes muy diversas- aportados a la investigación y toma de decisiones respecto al coronavirus. No obstante, la calidad de gran parte de estos datos es cuestionable debido a la cantidad de problemas estructurales que presentan. Lo que dificulta su análisis, sobre todo para quienes no son científicos de datos.

En gran parte de los casos, el éxito de las iniciativas de la administración pública en relación al Covid depende totalmente de la calidad de los datos. Algunos expertos estiman que más del 80% de la ejecución de proyectos sustentados en datos se dedican a la limpieza y preparación de los mismos.

Evaluación y tratamiento de los datos

Con el propósito de garantizar la calidad de los datos, los especialistas deben valorar el contenido de éstos, estructurarlos y cotejarlos con otras fuentes. Luego procederán a limpiar los defectos y a diseñar las características para asegurar que la información que manejan esté debidamente estructurada. Los responsables de los datos pueden abordar dicho proceso con el mismo enfoque que emplearía un científico de datos al identificar y definir cualquier elemento fundamental para el análisis en la información.

De esta manera, previo a la toma de decisiones, los encargados de los datos deben considerar:

  • ¿Cuáles son los elementos de estos datos que resultarán determinantes para el éxito de las iniciativas a plantear?
  • Por otro lado, es vital identificar el origen de la información. ¿Proceden estos datos de una fuente confiable coherente y precisa?
  • ¿Estos datos son relevantes en función del contexto y el tema específico que estamos analizando?
  • Con respecto a su calidad, ¿los datos respecto al Covid están completos y tienen el formato adecuado? ¿Presentan algún valor atípico o incoherencias?

Comprensión del contexto y análisis comparativo

De acuerdo a lo anterior, es importante que los responsables de los datos posean sólidos conocimientos del contexto de la información que gestionan. Desde cómo fue su recopilación y la determinación de los metadatos de cada característica, hasta cuándo ocurrió su más reciente actualización. En este sentido, antes de tomar decisiones basadas en datos es imprescindible que los encargados estén seguros de tener total comprensión de tales condiciones.

De la misma manera, los responsables han de comparar sus conjuntos de datos con los procedentes de otros puntos. En medio del crecimiento exponencial en la cantidad de datos sobre coronavirus, es relevante saber distinguir la calidad de aquellas informaciones cuestionables. Por ejemplo, un conjunto de datos que presenta tendencias totalmente diferentes a la de otros acopios que proveen información sobre Covid, llamará la atención. Y la institución debería poner en duda su validez, antes de tenerla en cuenta para implementar iniciativas.

¿Con qué herramientas contamos?

Soluciones como MyDataQ, desarrollada por DEYDE, reducen la cantidad de esfuerzo requerido para corregir, normalizar y enriquecer datos procedentes de diferentes medios. Por este motivo, resultan particularmente útiles en instituciones científicas que desarrollan investigaciones sobre el Covid-19 y en organismos oficiales responsables de políticas públicas relacionadas con la pandemia. La incorporación de recursos de este tipo es esencial para la implantación del data governance en este tipo de organizaciones.

Accumin potencia su negocio de big data con la adquisición de DEYDE Calidad de Datos

Tinsa y DEYDE

Tinsa, la mayor plataforma de valoración independiente y data inmobiliario en Europa y Latinoamérica, fortalece su presencia en el mercado de datos con la compra de DEYDE Calidad de Datos, S.L, empresa líder en normalización, deduplicación y enriquecimiento de información. El acuerdo apuntala el fuerte posicionamiento de Accumin en el mercado de datos y análisis en entornos big data en el que opera a través de las compañías DataCentric, on-geo y Tinsa Digital.

DEYDE, especializada en calidad del dato, reúne una plantilla de 40 personas y oficinas en España, México, Colombia y Chile, desde donde presta servicio al sur de Europa y Latinoamérica. Cuenta con importantes clientes en los sectores de banca, seguros, retail, e-commerce, logística y retail, entre otros; y trabaja para multitud de empresas internacionales que necesitan de una normalización, deduplicación o enriquecimiento de los datos de sus clientes.

¿Qué implica la integración de DEYDE a Accumin?

Con su integración en el Accumin, DEYDE verá fortalecidos sus recursos y capacidades en el ámbito del big data. Esto se traducirá en beneficios para sus clientes en forma de valor de añadido y excelencia de servicio.

“La operación consolida el liderazgo del grupo en el sector del dato inmobiliario, haciéndolo accesible a cualquier tipo de empresa. Seguimos con nuestra apuesta de aportar valor añadido con datos y servicios tecnológicos innovadores y contrastados en el mercado para que nuestros clientes puedan tomar las mejores decisiones”, afirma Ignacio Martos, CEO de Accumin.

Según Sergio Rodrigo, presidente de DEYDE: “La incorporación de DEYDE a Accumin acelerará de una forma exponencial los planes para llevar nuestro software de Calidad de Datos MyDataQ a los mercados internacionales, principalmente LATAM y sur de Europa. Además, aprovechando las sinergias con Tinsa, ofreceremos a nuestros clientes actuales y futuros la más amplia cartera de productos y servicios relacionados con el dato”.

Asesores legales de Acummin y DEYDE

Los asesores de la operación por parte de Accumin han sido Socios Financieros como asesor financiero. KPMG ha realizado la due diligence financiera y fiscal y Núcleo Abogados ha actuado como asesor legal. Por su parte, el asesor legal de DEYDE ha sido Bossar Abogados y los asesores financieros A,C,I Asesores y Antomuca.

La exclusividad y reputación de la información generada por las empresas del grupo, así como la búsqueda de la excelencia en el servicio a través de la innovación tecnológica y la aplicación de inteligencia artificial, convierten a Acummin en un referente en el mercado de datos a nivel internacional. Además, en 2021, la actividad relacionada con gestión y explotación de datos representa ya más de un 30% del negocio de Accumin.

Paralelamente a la transformación digital, la internacionalización ha sido el otro gran pilar del crecimiento de Accumin. Actualmente, es uno de los mayores grupos independientes de valoración del mundo. El grupo cuenta con oficinas en 16 países: Alemania, Argentina, Austria, Bélgica, Chile, Colombia, Costa Rica, Dinamarca, Ecuador, España, Italia, Marruecos, México, Países Bajos, Perú y Portugal.

Acerca de Accumin

Accumin es un grupo europeo líder en valoración de activos inmobiliarios y bienes muebles; así como en el desarrollo de herramientas digitales de valoración e inteligencia de datos. Cuentan con una de las mayores redes de expertos tasadores del mundo, con más de 2.000 profesionales en Europa, Latinoamérica y África. Y además, con una tecnología propia capaz de abordar valoraciones automáticas de grandes carteras activos y de extraer conocimiento de su potente base de datos.

Tinsa es un referente en valoración de inmuebles para garantía hipotecaria; ámbito en el que es líder tanto en España como en la mayoría de los países en los que opera. También es un proveedor reconocido internacionalmente en valoración y consultoría para el sector asegurador, a través del grupo neerlandés Troostwijk.

Cerca de 75.000 usuarios utilizan las soluciones y la tecnología de Accumin para realizar más de 2,5 millones de valoraciones anuales. Esto se añade a los más de 500.000 informes de valoración que realizan los técnicos del grupo en todo el mundo.

Accumin y on-geo (Alemania) forman parte de la European AVM Alliance (EAA), el grupo de compañías europeas que promueve la realización de valoraciones automáticas (AVM) con los más altos estándares de calidad y fiabilidad.

Acerca de DEYDE

DEYDE Calidad de Datos es una empresa multinacional española que nace en 2001. Y lo hace con el principal objetivo de proporcionar calidad a los datos de localización, identificación y contacto que las empresas tienen de sus clientes. Ofrece normalización de nombres, estandarización y codificación de direcciones postales, identificación de duplicados y enriquecimiento de direcciones postales con datos económicos y geográficos.

Mediante su sistema de desarrollo propio, MyDataQ, se procesan más de 1.800 millones de datos al año en más de 400 clientes a nivel internacional. Este sistema cuenta con soluciones específicas para España, México, Colombia, Chile, Italia y Portugal, habiendo desarrollado recientemente MyDataQ Global Service que les permite realizar servicios de Calidad de Datos a nivel mundial (www.deyde.com)

Sácale el máximo partido a las bases de datos de tus clientes con MyDataQ Global Services

Global Services

Gracias a MyDataQ Global Services podrás obtener una visión única de tus clientes de cualquier parte del mundo; además de normalizar, estandarizar y enriquecer sus datos.

En DEYDE siempre buscamos hacer más fácil el día a día de todas las empresas a nivel mundial gracias a una buena calidad de datos. Por ello lanzamos MyDataQ Global Services; para que, independientemente del país al que pertenezcan tus clientes, puedas contar con la mejor calidad en la información de identificación, localización y contacto en tu base de datos.

MyDataQ Global Services es una solución que permite la normalización de nombres, direcciones postales, direcciones de e-mail y números de teléfono; además de proporcionar enriquecimiento con coordenadas XY y lograr una visión única de cliente mediante la identificación de duplicados. Y todo ello a nivel mundial.

Esta solución está disponible tanto para procesar registros de forma masiva; así como para llamadas unitarias a través de servicios web que permiten acceder y consumir el servicio a través de un API REST.

MyDataQ Global Services soporta los estándares más usados en el desarrollo de los servicios, SOAP y REST, con el fin de proporcionar la máxima integración y la interoperabilidad con los sistemas que requieren su uso.

Con 20 años de experiencia y una cartera de clientes en más de 35 países, DEYDE conoce la necesidad de las empresas de mantener sus bases de datos limpia; y por supuesto, con calidad, para llevar a cabo sus estrategias diarias, en cualquier lugar y con la máxima inmediatez.

Beneficios que aporta MyDataQ Global Services a tus bases de datos

MyDataQ Global Services garantiza y mantiene la calidad de los datos proporcionados. Los datos capturados son tratados inmediatamente para garantizar su calidad, devolviéndolos de nuevo limpios de incorrecciones, campificados y estandarizados. Y proporcionando, además, la opción de ser enriquecidos mediante coordenadas XY.

La gran ventaja que aporta MyDataQ Global Services es que no importa de dónde provengan los datos de tus clientes, ya que el programa los estandarizada, consiguiendo así un formato único de nombre y dirección y una visión única de tus clientes de tu base de datos global.

Los datos de tus registros estarán actualizados constantemente, lo que aportará la máxima fiabilidad a tus bases de datos; y, por tanto una segmentación de tus clientes más precisa, que hará tus campañas de marketing más efectivas y la toma de decisiones más sencilla.

En cuanto a sus ventajas más técnicas se encuentra la facilidad de integración en portales y plataformas web, para mejorar la usabilidad de las aplicaciones. Los estándares del servicio también se integran de forma rápida, segura y no intrusiva en las aplicaciones existentes. Además, los clientes podrán mantener la arquitectura de su sistema.

DEYDE Calidad de Datos, gracias a MyDataQ Global Services, se reafirma de este modo como el gran aliado de cualquier empresa a nivel mundial que necesite de una buena calidad de datos en su estrategia empresarial. Supone, además, una ayuda constante en la labor diaria de tratamiento de datos gracias a la normalización, enriquecimiento e identificación de duplicidades.

Más sobre DEYDE

Nace en el año 2001 en España, junto con su servicio principal. Ofrecen normalización de nombres, estandarización y codificación de direcciones postales, identificación de duplicados y enriquecimiento de direcciones postales con datos geográficos. Diez años más tarde, desarrollan MyDataQ Global Service y ofrecen servicios de Calidad de Datos a nivel mundial. A los 15 años de su fundación, ya contaban con presencia en Portugal, Italia, México, Colombia y Chile (www.deyde.com).

Casos de uso del Big Data en LATAM

big data en latam

El Big Data en LATAM tiene un enorme potencial de aplicación en el ámbito empresarial y hasta en las administraciones públicas. Sin embargo, la inversión en tecnologías relacionadas con la captación y procesamiento de grandes volúmenes de datos aún es muy modesta en la región.

En particular, son las multinacionales con sede en Latinoamérica, de los sectores de finanzas, asegurador, comunicaciones, servicios y retail mayoritariamente las que emplean estos recursos. Como veremos más adelante, también encontramos interesantes proyectos locales de políticas públicas basados en Big Data.

Big Data en LATAM: justificaciones básicas

Sin duda, el aspecto más relevante del desarrollo de las tecnologías de la información y de Internet es la ingente cantidad de datos generados. Ciertamente, la diversidad de formatos y la velocidad con la que se produce esta información dificulta su gestión y análisis mediante tecnologías y recursos convencionales.

En concreto, los datos masivos sólo adquieren valor al ser procesados y en eso consiste la función de las herramientas de Big Data y analítica avanzada. De esta manera son mayores las posibilidades de obtener conocimiento valioso que ayude a tomar decisiones objetivas para mejorar procesos, productos y ofertas. Todo ello disminuye la incertidumbre y la falta de precisión de las decisiones apoyadas en apreciaciones especulativas y empíricas.

Por estas razones, el Big Data en Latinoamérica adquiere una importancia capital para el crecimiento de pequeñas y medianas empresas, por ejemplo un ecommerce, en una fase inicial de digitalización. En este contexto, la gestión eficiente y el análisis de datos es condición crítica para competir en un mercado aún emergente y en pleno desarrollo.

Su evolución y estado, más ejemplos que cifras

De acuerdo a un estudio de la multinacional de soluciones informáticas SAP, para 2020 se estimaba una inversión superior a los 13.000 millones de dólares en adquisición de recursos para Big Data en LATAM.

Otra fuente señala que en 2017 el mercado latinoamericano de Big Data y analítica obtuvo ingresos por el orden de 2.992 millones de dólares. Y el pronóstico para 2023 estaría alrededor de los 8.593 millones de dólares, lo que significaría un incremento interanual superior al 19%.

En 2013, la firma EMC Corporation consultó a 254 decisores empresariales mexicanos, de los que el 47% afirmó haber logrado ventajas competitivas del Big Data. Pero la misma encuesta reveló los principales obstáculos para introducir esta tecnología en las compañías.

Por un lado, falta de conocimientos especializados y personal capacitado (19%) y poca información sobre casos de éxito y ROI probado (19%). Incluso la cultura organizacional no preparada para la incorporación de este recurso (17%) figura en las razones para la reticencia en este aspecto. Aunque resulte especulativo, no es difícil que estas tres circunstancias inhibidoras tengan cierta incidencia todavía en respecto al Big Data en América Latina.

Casos de uso del Big Data

A continuación, citaremos algunos casos importantes de uso de Big Data en LATAM que nos darán una idea del avance de esta tecnología en la región.

México

Entre los casos más emblemáticos de aplicación de Big Data en México está la planta de la multinacional de productos químicos Henkel en Toluca. En este complejo, la corporación alemana dispuso el Sistema de Gestión Ambiental desarrollado en asociación con Schneider Electric, basado en una solución informática de Big Data. Mediante este dispositivo, la empresa monitoriza con precisión el consumo energético de sus unidades productivas. Gracias a ello, la sucursal mexicana logró una reducción del 42% del consumo entre 2010 y 2019. Y a nivel mundial, el SGA permitió a Henkel disminuir el 75% la huella de carbono de sus 190 instalaciones.

Brasil

Quod es una empresa creada en join venture por las cinco entidades bancarias más importantes de Brasil: Banco do Brasil, Caixa Econômica Federal, Itaú, Bradesco y Santander. La compañía, que opera desde enero de 2019, está enfocada en la calificación de crédito positiva. Para este propósito, forjó una alianza estratégica con LexisNexis Risk Solutions con el fin de crear una plataforma basada en analytics de Big Data para la gestión de riesgo y la prevención de fraude. Dicha solución es disruptiva en Brasil, nación en la que sólo se empleaba información negativa del riesgo crediticio, tal como el índice de morosidad.

Chile también tiene casos de uso

Chile es uno de los mercados que más crece en Big Data en LATAM. Su inversión interanual entre 2016 y 2020 fue calculada en 20%. Cifra que puede incrementarse con el European Extremely Large Telescope (E-ELT) que entró en funcionamiento en 2020. Con este complejo, ubicado en el desierto de Atacama, el país austral tendrá acceso preferente al 70% de la observación astronómica mundial. Un ejemplo del desarrollo de Big Data en Chile es Georesearch, una plataforma predictiva que utiliza la tecnología que nos ocupa para asesorar a empresas de retail. En concreto, para determinar la ubicación de nuevas sucursales y los lugares con mayor potencial de ventas. Comenzó siendo una startup y hoy es una multinacional con sedes en EE.UU., Perú y Colombia. Actualmente cuenta con más de 900 fuentes de datos.

Big Data turístico en Colombia

Son muchas las empresas de diversos sectores en Colombia que han incorporado la gestión de grandes datos y analítica a sus procesos, productos y servicios. Tanto que hasta la industria turística se ha valido de Big Data. Es el caso de la plataforma de Mabrian Technologies que captó más de 6,1 millones de menciones turísticas referidas a Colombia, sólo  durante 2017.

Esto es de gran ayuda para los gestores de hostelería y restauración, incluso para las administraciones públicas locales. Ya que de esta manera obtienen amplios conocimientos sobre el comportamiento, las expectativas y las percepciones reales de los turistas sobre los diferentes destinos. Lo que constituye una base de información sólida y actualizada para la toma de decisiones relacionadas con servicios y acondicionamiento de espacios, entre otros. La ingente cantidad de datos provenientes de redes sociales, búsquedas, plataformas de opinión, etc. pasan a un proceso de filtrado y análisis. En el mismo intervienen algoritmos dotados con Procesamiento Natural del Lenguaje e Inteligencia Artificial. Así es factible establecer un perfil detallado y anónimo de los turistas y sus intereses.

Importancia del Data Quality en la gestión de datos

El procesamiento de datos masivos consta de dos pasos críticos: la gestión de los datos y la analítica. Al mismo tiempo, la gestión de los datos contempla tres aspectos primordiales:

Teniendo en cuenta el notable desarrollo del Big Data en LATAM, DEYDE cuenta con delegaciones en tres de los principales mercados iberoamericanos: México, Chile y Colombia. Prestigiosos clientes de diversos sectores cuentan con nuestras soluciones para la normalización, deduplicación y enriquecimiento de datos. Productos que, como hemos visto, son vitales en la gestión de datos para garantizar la calidad y fiabilidad de la información.