LA IMPORTANCIA DE UN REPOSITORIO UNICO DE DATOS
¿Datos en tiempo real fuera de Qlik? Patrón conocido en muchas empresas que tienen varios sistemas que dificultan la recuperación de datos. Los sistemas como tales pueden cumplir bien su propósito, pero para las empresas sería bueno tener datos de diferentes sistemas en una plataforma común para aprovecharlos al máximo. Tradicionalmente, el problema ha sido resuelto por los almacenes de datos, que son la recopilación de datos de diferentes fuentes para su uso en una plataforma común.
LOS DESAFÍOS DE LOS SISTEMAS
En general, los sistemas heredados están optimizados para operaciones de fracción pequeña y única de todos los datos. Estos incluyen, por ejemplo, agregar una línea de pedido o actualizar el número de teléfono de un cliente. Las consultas de recuperación al repositorio son todo lo contrario, lo que significa que tocan una gran parte de toda la masa de datos y, por lo tanto, colocan una carga considerable en la fuente. Por lo tanto, las recolecciones generalmente se realizan de noche en ventanas de tiempo acordadas previamente. Esto, a su vez, lleva al hecho de que los informes generalmente analizan los números de ayer. A medida que se acelera el cambio global y cada vez mayor hacia el pensamiento 24/7, con las ventanas de transferencia más estrechas resultantes y las crecientes masas de datos, el ajuste comienza a ser bastante grueso.
TIEMPO REAL CON QLIK REPLICATE
Claro, hay áreas de negocios donde los datos de ayer son perfectamente precisos, pero hay ejemplos en el otro extremo del espectro: en tiempo real. En el 2019 Qlik adquirió Attunity y decidió llamarlo Qlik Replicate. Es un producto que se conecta a una gran cantidad de fuentes diferentes (como Oracle, SQL Server, SAP, DB2, etc.), recoge los cambios en sus datos y los exporta al destino deseado en tiempo real.
La tecnología se llama CDC (Change Data Capture) y su idea es conectarse directamente con el especialista en transacciones de tensión para detectar los cambios en la tensión. El Transactionologist es un componente básico de las bases de datos relacionales cuyo trabajo es realizar un seguimiento de cualquier cambio en la posición. Por ejemplo, al actualizar el número de teléfono de un cliente a la información del cliente en ERP, se generará un comando de actualización transaccional para el puesto a continuación. Son estos y otros comandos de cambio similares los que Replicate «usa» y pasa al destino deseado. Lo más importante, al conectarse directamente a este registro, Replicate no impone ninguna carga en el socket.
Replicate puede enviar información de cambios a muchos destinos diferentes, tanto en entornos locales como en la nube. Estos incluyen, p. Snowflake, Azure Synapse, Data Laws y una gran cantidad de bases de datos relacionales tradicionales. Todo esto en tiempo real y sin forzar la fuente.
AUTOMATIZACIÓN ÁGIL DE DATA WAREHOUSES
Attunity también vino con algo interesante, como Compose, que se puede usar para construir conjuntos de datos listos para la Ley de datos sobre los datos de Replicate, o para crear automáticamente un modelo de base de datos en el repositorio de destino. Otro producto interesante es el Gold Client, que puede desmantelar la estructura de pizarra (exótica) de SAP en una forma comprensible. El Gold Client permite escenarios interesantes combinados con Replicate. Considere, por ejemplo, un caso en el que Replicate, basado en la ideología de Gold Client, extrae datos en tiempo real de las tablas de transacciones de SAP y las envía a las bases de datos de Azure al mismo tiempo. En este entorno, el científico de datos puede, por ejemplo, construir un modelo de aprendizaje automático y conectarlo para puntuar los datos entrantes en tiempo real. Se puede aprovechar un informe en el cofre, donde los datos punteados se exportan inmediatamente.
Estos productos facilitan la habilitación de aplicaciones completamente nuevas y especialmente en tiempo real, incluso si el sistema fuente en sí es un elemento de museo. Por lo tanto, no es necesario emprender proyectos de migración costosos, pero se puede hacer mucho más para desmantelar los sistemas existentes y, por lo tanto, lograr ahorros de costos.
Si está interesado, no dude en contactarnos. ¡Juntos podemos aprovechar su universo de datos!
Fuentes de información:
https://www.qlik.com/us/products/qlik-replicate
https://www.qlik.com/es-es/products/qlik-compose-data-warehouses