Lo novedoso es que Big Data no se ve como un mero producto marketiniano por parte de las empresas. Incluso Cloud Computing, cuando empezó a despuntar, era visto con reticencia por parte de las organizaciones. Big Data es distinto. Y es que no promete, como otras tecnologías o terminología tecnológica una reducción de costes o un menor TCO o un incremento de los ingresos. Big Data ofrece algo mucho más valioso: el dato preciso que permite a cualquier compañía tener acceso a lo que el cliente reclama, a las necesidades del mismo y, lo que es más importante, en el momento en el que lo necesita. Por primera vez, las empresas se pueden anticipar a los comportamientos y pueden desarrollar políticas y estrategias basándose en esos datos…y de paso, también, reducir costes, tener un menor TCO y tener un aumento de los ingresos.
Son numerosos los estudios e informes que vaticinan un crecimiento espectacular del la tecnología de Big Data. Y es que, actualmente, el mercado de la tecnología Big Data y los servicios entorno a Big Data Analytics, crecen a razón de 20-30% anualmente con un mercado mundial estimado en torno a los 50.000 millones de euros hasta 2018; esto supone seis veces más que el crecimiento del mercado IT en general. Desde hace 3 años, Big Data ha dejado de ser una promesa de futuro para convertirse en una realidad, incipiente, pero que ya está generando valor en las empresas y organizaciones.
La consultora IDC predice los ingresos relacionados con la tecnología de Big Data van a crecer en torno a un 31,7 por ciento al año hasta que llega a los 24.000 millones de dólares el próximo año. El almacenamiento, por supuesto, también va a experimentar grandes incrementos, de tal forma que en 2020, este mundo será el hogar de casi 40ZB de datos digitales. La mayor parte de estos datos será generada por los seres humanos, per, he aquí lo más relevante, un porcentaje nada desdeñable será generado por los dispositivos habilitados para Internet, incluyendo todo, desde electrodomésticos ordinarios a equipos especializados, tales como maquinaria pesada, transporte y sistemas de entrega. En muchos sentidos, ya hemos entrado en la «Internet de las cosas» – un mundo en el que todos los dispositivos físicos están conectados y contribuyen al auge del Big Data. En los sectores comerciales, las empresas están tratando de mantener su competitividad mediante la constante de aprender y aplicar el conocimiento adquirido a través de análisis de los datos. Y es que, como asegura David Carvajal, director técnico de DEYDE Calidad de Datos, “Si en los últimos años se hablaba de un mercado en plena eclosión, actualmente se trata de uno de los principales elementos disruptivos en los negocios de esta nueva era digital. A pesar de los nuevos desafíos que este mercado conlleva: como la falta de definición de estrategias empresariales sobre el uso del Big Data, los nuevos riesgos de seguridad, la falta de calidad de los datos a procesar y la necesidad de una nueva mano de obra no existente en la actualidad; el crecimiento potencial de Big Data no tiene precedentes. Diversos estudios estiman que el gasto mundial en el Big Data crecerá a una tasa anual de 46% entre 2015 y 2020 y se prevé que los ingresos Big Data llegarán a casi 190 mil millones de doláres a finales de 2020. El Big Data está suponiendo un nuevo punto de inflexión para las empresas. La información es actualmente el centro de muchas decisiones empresariales y las empresas están adoptando las nuevas posibilidades de procesamiento de grandes volúmenes de datos para acercarse más a los gustos y necesidades del cliente o para explorar nuevas oportunidades del mercado”.
Por otro lado, cada vez se está produciendo una mayor madurez tecnológica en la oferta de soluciones de Big Data, que ha permitido avanzar de manera más firme y segura en su utilización. El potencial de la inteligencia del uso masivo de datos es enorme pero sigue faltando solucionar algunos obstáculos, sobre todo en la calidad de los datos. De acuerdo a un estudio de Forrester el 70% de las empresas se están encontrando con datos erróneos en sus sistemas y el 46% cree que esto impacta en su negocio de forma negativa. Este dato demuestra la necesidad e importancia de depurar y actualizar correctamente esos datos.
La realidad es que Big Data crece y los interesados en exprimir todo el jugo al dato son cada vez más númerosos. Como asegura Javier Martínes, director técnico de NetApp, “Para poder visualizar esos videos al instante, para guardar esas fotos que un amigo nos ha hecho llegar esta mañana a través de Whatsapp o del Twitter, alguien tiene que encargarse de guardarlos en algún sitio. De almacenarlos. Pero no de cualquier manera, sino de forma rápida, eficaz, segura y que estén a disposición nuestra y de otros usuarios en cualquier momento. No olvidemos que el mercado demanda más y más datos, y su manejo se ha convertido ya en un quebradero de cabeza para muchas compañías, que deben ofrecen soluciones seguras y fiables para cumplir las exigencias de sus usuarios. Y ya sólo el video online es el mayor impulsor de tráfico móvil, representando el 25% del total del tráfico generado por los Smartphones, así como el tráfico generado por el uso de tabletas. Una realidad que demanda nuevas maneras de almacenar esta ingente cantidad de datos.¿Cuál es la respuesta a estas necesidades? Soluciones de almacenamiento fiables, seguras y que se adelanten al problema de dónde, cómo y de qué manera guardar esa cada vez más ingente cantidad de datos y no cuando el problema se vuelva incontrolable. Gracias a ellas, las compañías pueden aprovechar los grandes volúmenes de datos y transformarlos en un mayor valor para sus negocios. En definitiva, conocer sus capacidades y adaptarlas a su estructura. Esta explosión de datos es lo que se conoce como Big Data, y la única manera de contener y manejarla es por medio de soluciones que analicen rápidamente ese inmenso caudal de datos, pero que también los muevan a la misma velocidad y los almacenen durante largos periodos de tiempo sin que por ello aumente la complejidad operativa”.
Big Data y Cloud
Big Data es una tecnología totalmente disruptiva, pero sin la nube no sería posible su existencia. La computación, infraestructuras o plataformas en la nube tienen un papel relevante en este nuevo paradigma, con dos aspectos clave. El primero la capacidad de contratar como servicio un entorno de almacenamiento o analítica bajo demanda, reduciendo los costes de inversión y operación y sólo pagando por este servicio cuando es necesario. El segundo es que muchos de los datos que incorporamos a nuestro conjunto de información de la que obtener beneficios, se encuentra actualmente en la nube, como redes sociales, CRMs, ERPs e incipientes mercados electrónicos de datos donde comprar o alquilar información que complementa a la que cada compañía posee, por ejemplo información demográfica, agrícola, climatológica, etc. La conexión entre Cloud y Big Data esá por tanto, ahí. Tal y como señala Antonio Torrado, Practice Manager HP ES Analytics & Data Management de HP, “sin duda esta es una convergencia no solo interesante desde el punto de vista tecnológica, sino muy necesaria en la transformación digital hacia el paradigma “data driven” y en la economía de los datos. La ventaja de Cloud computing en el Big Data y las analíticas es la necesidad de las empresas de contar con agilidad en la consecución de valor y la elasticidad requerida por las infraestructuras ante necesidades y volúmenes de datos crecientes y cambiantes. Desde HP estamos liderando este mercado con una apuesta muy clara mediante servicios BigData Platform-as-a-Service y Analytics-As-A Service que permiten a los clientes realizar consumos flexibles de capacidades Big Data con inversiones iniciales mínimas”. Por su parte, Francois Cadillon, director general de Microstrategy, asegura que “el cloud computing permite ejecutar tareas informáticas complejas y a escala masiva a un coste accesible. Elimina la necesidad de mantener infraestructuras de hardware, almacenamiento y software que de otro modo resultarían muy costosas. Hoy en día nos encontramos con un crecimiento masivo de los datos, generados a raíz del uso de las redes sociales, teléfonos móviles, satélites y cualquier clase de dispositivo capaz de procesar y clasificar información. Este volumen de datos a gran escala conocido como Big Data es un reto tecnológico para las empresas, que necesitan clasificarlos e interpretarlo y convertirlos en información útil para su negocio. Este desafío requiere potentes infraestructuras que aseguren el éxito en el procesamiento y análisis de estos grandes volúmenes de datos. El Cloud Computing es aliado perfecto para dirigir el creciente y complejo panorama de big data”. La bondades de la unión entre ambas tecnologías parecen claras, pero hay que tener en cuenta otros apartados, como los que señala en portavoz de NetApp: “Las compañías que se plantean el uso de Big Data han de ser conscientes que muy posiblemente estos proyectos vienen acompañados de una mayor inversión en sus estrategias para el centro de datos. A corto plazo es más que posible que veamos un incremento de los presupuestos TIC para la externalización de los centros de datos, el uso de servicios cloud (Infrastructure as a Service), e incluso grandes multinacionales se planteen a largo plazo la construcción o ampliación de sus propias instalaciones de centro de datos. Es por tanto necesario plantear cómo se conjuntan los servicios tipo “cloud” con los entornos de “Big Data”, ya que la nube se presenta como el medio más viable para cumplir las expectativas generadas por el Big Data. Ambas tecnologías siguen evolucionando, y están obligadas a hacerlo de la mano. Comenzando por el diseño y la operación de los centros de datos que se espera alberguen, procesen y emitan analíticas significativas sobre los datos, a las redes de interconexión que los unen”.
Saber qué aporta
Como decíamos al principio de este artículo uno de los valores fundamentales del Big Data es que no es observado como un mero producto de marketing. Las empresas empiezan a apreciar las bondades y beneficios de las redes sociales para sus negocios. Y eso implica disponer de soluciones que den cabida a todos los datos que se vayan generando a través de ellas. Y los datos crecerán. Pero también lo harán, casi de manera exponencial, las necesidades de almacenamiento de las mismas empresas. De dar una respuesta rápida antes que esa masiva cantidad de datos termine por sepultar sus infraestructuras. Puede que la seguridad en el uso de esta masa informativa sea uno de los temas que más preocupa al usuario, sobre todo al usuario profesional. Como apunta Enrique Martín, director de preventa de tecnología de Oracle, “el mercado está madurando pero ya hay muchas empresas que sí saben lo que les proporciona Big Data. En general, la gran empresa lo tiene claro y está realizando grandes inversiones. Luego están los más innovadores, que con menos recursos se embarcan en grandes proyectos de Big Data. En medio, hay un gran número de empresas que siguen investigando y buscando su caso de uso”. Y es que, como se señala desde EMC, “Big Data es una gran transformación, y eso significa que cambian muchas cosas. Cambia el tipo de información que se recolecta, que ahora son fotografías, vídeos, mapas o documentos; cambia la infraestructura que los almacena, ya no es almacenamiento tradicional sino un Data Lake; cambian los repositorios analíticos, que ya no son las tradicionales bases de datos; cambia la forma en la que analizamos la información, que ahora es Ciencia de los Datos…y sobre todo cambian los objetivos de negocio. Son muchas áreas en transformación, y por tanto muchas propuestas nuevas que aportan especialización, innovación y soluciones concretas; seguramente muchas de ellas son complementarias y necesarias”.
Administración correcta
Uno de los problemas asociados a las tecnologías de Big Data es si la administración de los datos se realiza de forma correcta y si estos están seguros. En este sentido desde HDS consideran que “uno de los retos en las soluciones de Big Data es poner a todos los componentes a trabajar de forma conjunta y coordinada. Si no disponemos de una herramienta que realice está función acabamos gestionando y monitorizando soluciones aisladas: Hadoop , MongoDB, la infraestructura física, etc. Uno de los objetivos de nuestra solución para Big Data y Analítica es proporcionar gestión, visibilidad y monitorización extremo a extremo para este tipo de soluciones complejas, desde la infraestructura hasta la capa de aplicaciones para el análisis de los datos. Nuestro software de orquestración del stack de Big Data proporciona una consola única desde la cual se puede aprovisionar, monitorizar, securizar y gestionar cualquiera de sus elementos ( Hitachi y de terceros ). Adicionalmente también dispondrá de un gestor de workflow para automatizar todo el proceso”. Se trata, en definitiva, de establecer unas adecuadas políticas de Gobierno TI que aseguren el correcto alineamiento entre infraestructura, aplicaciones, datos y seguridad. Respecto a los datos es necesario diseñar unas correctas políticas de uso y establecer unos controles para asegurar que la información sigue siendo precisa, coherente y accesible. Es evidente que un reto importante en el proceso de gobernar grandes volúmenes de datos es la categorización, el modelado, la captura y el almacenamiento, sobre todo debido a la naturaleza no estructurada de gran parte de la información. En lo referente a las aplicaciones se deberá realizar un análisis detallado de las alternativas de herramientas disponibles para seleccionar la más adecuada a los objetivos fijados. Finalmente, y como señala el portavos de Deyde, “es fundamental aplicar una metodología en la gestión del entorno que facilite incorporar de manera natural el aprendizaje durante el proyecto, la adaptación a los cambios, la incorporación de los recursos humanos y/o tecnológicos necesarios y la mejora continua”. Esto que en principio parece complicado es algo sencillo, porque como afirma el portavoz de Oracle, “el Gobierno de los datos de un entorno Big Data sería ser equivalente al gobierno de los datos estructurados. Esto es, garantizar el ciclo de vida, gestión de cambios, backup, autorización y autentificación, auditoría, etc. Algunos proyectos de Big Data que han empezado en el área de I+D fracasan cuando van al mundo real y tienen que cumplir, por ejemplo, con la LOPD”.
En este apartado de la administración de los datos, una de las empresas que más fuerte están apostando por crear soluciones específicas para ello es IBM. Tal y como señala su portavoz, “Implementar una solución de Big Data implica la integración de diversos componentes y proyectos que en conjunto forman el ecosistema necesario para analizar grandes cantidades de datos. El sistema Hadoop (y la familia de productos IBM BigInsights) utiliza el almacenamiento distribuido y el procesamiento de grandes volúmenes de datos estructurados y no estructurados para extraer información de valor del negocio, mientras que las soluciones de stream computing de IBM permiten a las organizaciones realizar analítica en movimiento, transfiriendo datos para crear sistemas cognitivos y de analítica más precisos y mejorados. Por otra parte, la navegación y descubrimiento federados suponen prestaciones para la creación de sistemas de almacenamiento enteramente en software, incluida la gestión y optimización de la capacidad”. Finalmente, desde la compañía Moca, María Fernanda González, su CEO afirma que “la administración correcta depende de que se construya una correcta arquitectura de flujos de datos y procesos tanto a nivel de organización como de sistemas, y esta depende precisamente, de las características de los datos de la empresa. Algunas empresas manejan datos que varían poco en el tiempo por lo que la manera de guardar y acceder a estos datos es muy diferente de aquellas empresas que generan y guardan datos en tiempo real como, por ejemplo, las empresas que venden productos online. Otras empresas tienen datos variados y necesidades de acceso variadas también”.
Consejos para aprovechar la nube para el Big Data
Big Data, ¿para todos?
Para hacer buen Big Data, se necesita como premisa número uno, buen almacenamiento. Ya sea propio o en formato as a service. Sin él, sería imposible. Así que, ¿Tienen todas las empresas capacidad para tener o alquilar estos tipos de almacenamiento que les lleve a implementar una correcta tecnología de Big Data? Está claro que las organizaciones no pueden emplear las mismas tecnologías que se utilizaban cuando un disco duro valía 10.000 dólares por MB y podía almacenar únicamente 4.4 MB. Ahora estamos hablando de Smartphones que cuestan 200 Euros y tienen una capacidad de almacenamiento de 32 GB. Desde SAP asef guran que fueron una de las primeras compañías en empezar a trabajar en el ‘in memory computing’ hace más de 5 años, una tendencia que con su rápida aceptación el mercado se ha encargado de reconocer y validar. La memoria RAM de un sistema ahora mismo es barata y asequible para todas las empresas y el beneficio en velocidad que se obtiene frente a utilizar sistemas tradicionales basados en disco es enorme, hablamos de mejoras de tiempo de respuestas de cientos de miles de veces. “Obviamente no es únicamente un cambio en la tecnología hardware, esto va acompañado de nuevos métodos de gestión de la información como pueden ser almacenamiento por columnas tanto para transaccional como analítico, particionamiento de la información, compresión, etc. Una opinión muy extendida en el mercado es que los sistemas abiertos de almacenamiento sobre sistemas de ficheros distribuidos tipo Hadoop/HDFS son la solución más económica y adecuada para Big Data. En parte es verdad, pero esto sólo soluciona el almacenamiento y la gestión de la información, si queremos acceder a estos datos en tiempo real y sacarle valor debemos ir a soluciones híbridas con gestión de las diferentes temperaturas de la información dependiendo de su uso, online o histórico, es lo que se conoce por datos calientes, templados y fríos. Eso es lo que proponemos en SAP con nuestra plataforma HANA y la integración de datos en memoria, disco y sistemas abiertos distribuidos de ficheros. Actualmente tanto grandes como medianas y pequeñas empresas han adoptado nuestra tecnología para sus proyectos de Big Data o directamente implementándola en sus instalaciones o subscribiéndose a un servicio Cloud”, afirma Arturo Gutiérrez, experto en Bases de Datos y Tecnología de SAP. En este sentido, José Antonio Fernández Abad, recalca que “existe en el mercado una amplia oferta de soluciones de almacenamiento dirigidas a soportar estas tecnologías por parte de los principales proveedores. En nuestro caso, y como fabricantes de software, nos preocupa más la forma en el que Big Data pone en situación límite a los sistemas de gestión de datos que podemos denominar “convencionales” y que operan por encima de los sistemas de almacenamiento. Nosotros apostamos por la tecnología de gestión de datos en memoria como pieza fundamental para garantizar el rendimiento de una solución Big Data, es decir Big & Fast Data”.
Retos
Con la excepción de las grandes empresas, que ya llevan un tiempo trabajando en proyectos de Big Data, el problema aparece ahora para empresas más pequeñas que éstas puesto que ya empiezan a conocer las ventajas que les puede aportar las soluciones de Big Data pero no saben qué es lo que quieren exactamente analizar: ¿el comportamiento de sus clientes?, ¿el análisis de las redes sociales? El hecho de que cada vez más empresas tecnológicas empiecen a ofrecer tecnologías de Big Data, diferentes entre sí, tampoco ayuda mucho a la elección. Así que los retos que las empresas tienen por delante, son bastantes. José Vicente Espinosa Business Technology Architect de CA Technologies, asegura, sin embargo que, “Tras una época con tendencia a consolidar, Big Data presenta un claro desafío a las organizaciones a la hora de gestionar entornos con gran dispersión y flexibilidad. Soluciones de gestión de última generación como las que CA Technologies está ofreciendo al mercado permiten a las empresas enfrentarse a este nuevo desafío con garantías”.
No obstante, todavía tiene que haber un proceso de maduración en las empresas para que los procesos Big Data supongan, no solo una ventaja competitiva, sino que impacten de manera directa en la rentabilidad de la empresa. Para ello es necesario hacer frente a una serie de retos que permitan hacer del Big Data un beneficio factible y medible para la empresa. Entre estos retos, el portavoz de Deyde Calidad de datos menciona:
– Mejorar el rendimiento de la infraestructura operativa e integrar los sistemas tradicionales en las nuevas necesidades.
– Realizar una adecuada gestión del talento, con el Big Data surge una nueva generación de profesionales que disponen de conocimientos diferenciales pero también de motivaciones diferentes a las generaciones anteriores. Es necesario fomentar ese talento, formarlo, cuidarlo y alinearlo a la cultura y necesidades de la empresa.
– Acercar el Big Data a las pequeñas y medianas empresas a través de infraestructura y tecnologías de uso sencillo y menor coste.
– Establecer un código ético en el uso de los datos y fortalecer los mecanismos legales de protección para poder atender los nuevos riesgos de seguridad que entraña esta nueva tecnología.
Finalmente, David Carvajal señala que “el más importante, es que el uso del Big Data requiere un liderazgo organizativo y una cultura común dentro de la empresa. El dato es un activo estratégico de la empresa y no pertenece a un solo departamento o unidad. Se debe establecer una filosofía de dato abierto y compartido dentro de la organización, con un fin común de aprovechar el potencial de la información en beneficio de la empresa”. Por su parte en la multinacional HP consideran que “en los próximos años, sin duda disfrutaremos de cómo Big Data resuelve los siguientes retos: la consolidación del radar tecnológico, es decir, las tecnologías que resulten ganadoras en la actual batalla tecnológica; la necesidad de nuevos profesionales y talento especializado; la democratización de las analíticas avanzadas; la madurez de tiempo real en big data; y la seguridad sin duda es otro de los elementos que requerirá no solo tecnología sino legislación. Por último, big data está ante el reto ilusionante de demostrar su capacidad de alimentar la transformación digital de las organizaciones hacia la nueva economía de las ideas y de los datos”.
Pero si separamos la parte técnica de la, por así decirlo, “humana”, el portavoz de Moca señala que “los principales retos son varios. Por una parte, el reto está en crear herramientas que usen Big Data para permitir mejorar la eficiencia de las organizaciones y de las personas con más facilidad. El objetivo es reducir la dificultad actual a la hora de implantar aplicaciones de Big Data en las empresas. Por otra parte, el reto se encuentra en investigar en la línea de automatizar la extracción de valor a partir de los datos (técnicas automáticas de análisis de datos que no requieren de un experto humano). Ahora el Big Data funciona así: tengo pregunta, Big data responde. El reto es hacer que Big Data genere las preguntas. En este modelo nuevo del Big Data el experto del negocio aprende de los descubrimientos de un sistema inteligente y lo retroalimenta con información de negocio”.
Por su parte, Javier Martínez de NetApp señala que “este negocio de los servidores y del almacenamiento masivo tiene multitud de beneficios que ofrecer a las empresas, facilitando el trabajo o reduciendo los costes por ejemplo. Esa posibilidad de poder trabajar sin necesidad de pisar la oficina está cada vez más presente. El acceso remoto a cualquier información que podamos necesitar sin importar cuánto de lejos estemos de la oficina ofrece un grado de libertad y movilidad hasta hace poco impensables. Basta con que los datos estén alojados en un servidor para que podamos aprovecharnos de esa globalidad. Facilita, a fin de cuentas, la continuidad de negocio. Es, sin duda, una de las grandes oportunidades de desarrollo del sector ya que todo apunta a que el volumen de datos seguirá creciendo. El reto, y lo que marca la diferencia en estas nuevas soluciones de Big Data es el poder realizar un aprovechamiento más directo, a nivel de negocio, de toda esta información”.
Finalmente, el portavoz de Software AG apunta que “superar barreras y conseguir que se identifique como una necesidad del negocio. Desde el punto de vista de la tecnología, la evolución de Streaming Analytics y del IoT va a ser fundamental para el avance de Big Data. Cabe mencionar el ejemplo de una compañía de seguros que supervisa continuamente la ubicación y las constantes vitales de un cliente. A través de una app y en tiempo real esta aseguradora podría alertar a un cliente en su smartphone de posibles peligros como consecuencia de una decisión desacertada: dejar el coche durante la noche en una zona peligrosa o conducir después de haber sobrepasado el límite de alcohol permitido. El futuro de Big Data irá por aquí y el conocimiento de estas ventajas –diseño de pólizas a medida en el caso de las aseguradoras– animará su adopción”.
Seguridad
El procesamiento de Big Data puede conducir a la creación o al descubrimiento de información confidencial o desconocida hasta el momento, combinando diferentes conjuntos de datos. Debido a ello, resulta fundamental disponer de un sólido código ético que presida y gobierne adecuadamente el uso que se haga de los datos. Además, resulta imperativo crear modelos de formación, disponer de personal cualificado y establecer las medidas de seguridad adecuadas para gobernar todo lo relacionado con el procesamiento de Big Data.
Hoy en día, no sólo somos consumidores de datos, somos también productores de grandes cantidades de información. Este hecho conduce a que todos nuestros actos en la red (compras on line, interacciones en redes sociales etc…) sean proclives a una explotación de su datificación. Por ello, resulta fundamental que desde la propia industria se establezcan las medidas que aseguren el cumplimiento de las leyes y de la privacidad. Se debe respetar en todo momento que el uso de la información sea con el consentimiento y el conocimiento expreso del consumidor. Además, con el fin de fortalecer la seguridad en la gestión de los datos, las compañías pueden utilizar diferentes estrategias. Entre ellas podemos destacar el “Data Quality” para otorgar la necesaria calidad de la información que facilite el cumplimiento con las leyes de protección o el “Data Masking”, para reemplazar la información sensible en una base de datos, de manera que pueda procesarse en beneficio de las actividades de la empresa protegiendo la seguridad del dueño de la información. Y es que, como asegura el portavoz de Deyde Calidad de Datos, “Debe haber una regla fundamental de evitar que la información se gestione fuera de los límites legales marcados por la ley. La información debe estar al alcance de los proyectos que la requieran, pero siempre cumpliendo los parámetros de protección que necesite. Cuanto más valiosos sean los datos, mayor debe ser el grado de protección para reducir y minimizar los riesgos”.
También te puede interesar: