03.11.2015 23:22

Aprovechando la tirada del anterior post ¿ A quien prefieres, Barça o Madrid, para tu Inteligencia de negocio ? me he propuesto esta semana , poner voz a ese partido que juegan juntos Barça y Madrid en el campo de tu Inteligencia de negocio (BI).

 

Para ello expondré un caso práctico, donde conviven de forma amigable, la tecnología tradicional de Business Intelligence y soluciones de Big Data.

 

El objetivo de este post, es variado, pero el principal es querer aclarar algunas dudas surgidas en el post mencionado con anterioridad.

 

También, como ya es habitual en mi, antes de empezar quisiera que quedaran claros dos detalles:

 

- El caso práctico presentado a continuación, no se ha decidido "porque yo lo valgo", sino previa realización de un análisis exhaustivo de requisitos y objetivos a consolidar.

 

- En el caso práctico, no se pretende entrar en muchos detalles técnicos (serían necesarias mas hojas), sino que solo se quiere dibujar de la forma mas simple posible, el nuevo escenario de convivencia entre los dos sistemas.

 

- Otra vez reitero que no quiero convencer a nadie con mis post, cada uno tiene su punto de vista y como todo, es discutible, allí radica la esencia de compartir conocimiento.

 

 

Dicho todo esto, empecemos.

 

Caso práctico de optimización en empresa de retail.

 

Prólogo: 

 

Como he dicho en varias ocasiones, el recurso análitico que nos presenta algunas soluciones de Big Data, es un valiosísimo activo que hay que saber encajar dentro del negocio, para que nos proporcione todo su potencial real ( no teórico) y así nos ayude a conseguir una visión de 360ª del negocio.

Aquí se intenta exponer una parte de este recurso para conseguir esa visión y otros.

 

 

Escenario inicial:

 

Una empresa de retail, se encuentra con el gran problema que plantea el progresivo crecimiento de los datos ( un 60% de incremento anual), originados tanto en las bases de datos clásicas ( estructuras, transaccionales) como las nuevas no estructuras ( redes sociales, blogs, emails, Apps...).

Este incremento les reporta un problema con su sistema actual de Business Intelligence (BI) tradicional, en este caso una plataforma data warehouse con tecnología IBM Netezza.

 

 

¿Que problemas surgen?

 

- Extraer, transformar y cargar esos datos nuevos albergados en las bases de datos no estructuradas. Sus procesos de ETL convencionales no sirven.

 

- Aparición de cuellos de botella durante la carga. El análisis para los nuevos datos tardaba una media de 12 semanas, mucho tiempo para un negocio donde la rapidez en su toma de decisiones es prioritario. 

 

- Problemas de espacio.

 

- Problemas de rendimiento.

 

- Riesgo de caída del sistema por sobrecargas en la carga de datos.

...

 

Todo esto y más, les provoca una perdida de control de su negocio que les podría llevar a una situación limite.

El departamento de IT, valoro que la adquisición para una capacidad adicional para su sistema de data warehouse, les supondría un coste adicional de mas de 1 millón de € y con el añadido que no les garantizaba resultados óptimos a nivel de resultados.

 

 

Solución propuesta:

 

Después de analizar los problemas y valorar diferentes escenarios segun referencias y costes, se opta por proponer una solución híbrida, conservando el BI actual y añadiendo de forma optima soluciones Big Data.

 

 

¿Como?

 

Con el objetivo de crear un sistema para un análisis rápido y efectivo de todos esa avalancha de datos nuevos  y esquivar el alto coste de hardware que supondría la ampliación en el sistema actual, se decide por la solución de una plataforma Apache Hadoop y su ecosistema ( Sqoop, Flume, Hive, Pig. Spark...) .

 

También complemetaríamos la solución, proponiendo el software de visualización avanzada de datos, MicroStrategy, su elección se basa en varios motivos, pero los principales es su coste asequible, sus características de visualización para este tipo de negocio y por su optima interacción tanto en sistemas de BI tradicionales como en las nuevas soluciones de Big Data ( en otros post ya veremos con mas detalles las diferentes y nuevas soluciones de visualización avanzada de datos, surgidas como consecuencia del fenómeno del Big data)

 

En el análisis previo, se tubo en cuenta también, que departamentos estarían mas afectados con este cambio , a los cuales, se planteo el proceso a seguir y los beneficios que generaría este. Esto es un punto importante para cualquier implementación de proyectos/soluciones Big Data, la de concienciar a todo el personal de la empresa, ya que todos participan  y su implicación  es una de las piezas clave para el éxito de dicha implementación.

 

 

¿Cuales eran estos departamentos?

 

- Ejecutivos/Gerencia:

  

Estos necesitaban, por las características del negocio, obtener de forma rápida, información comprensible de sus productos de temporada así como precios de estos versus la competencia, con el objetivo de reforzar sus  tomas de decisiones, que les permitiera ofrecer mejor servicio y precio a sus clientes, en definitiva, ser mas competitivos.

 

Para ello, por ejemplo, en el análisis del precio,con esta nueva integración de solución Big Data, se podría acceder a las nuevas fuentes no estructuradas que nos proporcionarían nuevos datos, de esta forma podríamos recoger información del comportamiento de navegación del  usuario en la web ,accediendo y uniendo así, los datos de los productos con mas"clicks" de las diferentes categorías por temporadas, pertenecientes a webs de otras empresas de retail, consiguiendo de esta forma un histórico que previo análisis, les permitiera poder diseñar campañas mas potentes y fiables para la venta de sus artículos por categorías y mas solicitados por temporada. Esto se podría traducir en un aumento del tráfico y en las ventas.

 

- IT:

 

Con esta nueva implementación de solución, el departamento de IT, necesitaría de nuevas herramientas para poder gestionar el cambio y de paso, solucionar los problemas que tenían.

 

El departamento de IT necesitará de un sistema de monitoreo de recursos para prevenir y evitar posibles caídas del sistema en los picos de trafico mas altos que se pudieran producir en su web e-commerce .

Para ello se analiza y identifica , los patrones de comportamiento en los dispositivos de entrada de la WLAN, mediante sus logs, como routers , firewalls dispositivos móviles... 

Esto les permite tener un sistema mas proactivo que evite problemas, los cuales influyen directamente en las ventas por el canal web.Una caída de este canal durante x tiempo, puede suponer la perdida de muchos €.

 

 

¿Y que ocurre con el sistema de BI tradicional?

 

*El data warehouse, a nivel funcional, lo dejaríamos igual como estaba, pudiendo interactuar con la solución propuesta de Big Data, centrándose mas para los siguientes objetivos :

 

1- Almacén de datos históricos que le permita ser una de las fuentes de la plataforma Hadoop para sus análisis predictivos.Esto permitirá enriquecer aun mas el nuevo BI o cualquier otra necesidad de extracción de valor de los grandes datos.

 

2- Gestionar los datos de recursos internos como facturas, stocks, proveedores, clientes... , mediante sus ERP´s , CRMs ...para no perder nunca de vista la conexión entre los diferentes departamentos internos.

 

*Recordemos que Hadoop es una tecnología para gestionar grandes volúmenes de datos, variados y complejos, pero no esta diseñado para la gestión de entornos estructurados, como la modificación de datos en los Data Warehouses ( inserciones, eliminaciones...), esto ya se encarga muy bien el sistema relacional de toda la vida, en pocas palabras, "zapatero a sus zapatos". 

 

 

 

¿Entonces que beneficios podría obtener la empresa?

 

Los beneficios serían muchos, pero podríamos destacar:

 

1- Reducir el análisis de los datos de 12 semanas a 3 días,esto mejora la toma decisiones.

 

2- Reducir en un 30% las caídas del sistema y un ahorro de dinero indirecto (mala imagen cara los clientes, mala reputación en redes sociales...).

 

3- Obtener una visión mas global del conjunto del negocio tanto interno (trabajadores, recursos..)  como externo (clientes), es decir una visión de 360ª.

 

4- Un ROI ( Retorno de la Inversión) mas rápido.

 

 

 

Esquema de la solución, una imagen vale mas que mil palabras.

 

 

Escenario actual:

 

Sistema BI tradicional

 

 

 

 

Escenario futuro propuesto:

 

Sistema híbrido

 

 

 

Entonces, ¿pitamos el final de este partido con un resultado faborable a la selección formada por jugadores del Barça y Madrid?

Tu decides.

 

Cristian Anguera.