Cloudera ha anunciado que Apache Kudu, el motor de almacenamiento de software open source (OSS) diseñado para analíticas de alta velocidad sobre datos en rápido movimiento, está ya disponible como componente dentro de Cloudera Enterprise 5.10. Kudu simplifica el paso a las analíticas en tiempo real, permitiendo a los usuarios actuar rápidamente sobre los datos conforme se producen los hechos para tomar mejores decisiones empresariales.
“Los análisis de datos en tiempo real han supuesto un desafío para las empresas porque requieren una compleja arquitectura lambda para combinar el procesamiento de flujos en tiempo real y las analíticas por lotes. Kudu simplifica drásticamente esta arquitectura con un único motor de almacenamiento que cubre ambas necesidades”, señala Charles Zedlewski, vicepresidente de Productos en Cloudera. “Las cargas de trabajo de alta demanda que tienen lugar hoy en día, incluyendo un creciente número de nuevos modelos de aprendizaje de máquinas o automático, pueden identificar amenazas de ciberseguridad, predecir problemas de mantenimiento en el Internet de las Cosas Industrial (IIoT) y aportar una precisión mucho mayor para todo tipo de informes online”.
Kudu está concebido para los casos de uso que exigen rápidos escaneos analíticos a gran escala al mismo tiempo que soportan una rápida actualización de datos
Kudu ha sido diseñado desde la base para beneficiarse de la innovación alcanzada en el ámbito del hardware, que ha visto como el almacenamiento en estado sólido, las memorias y la RAM son cada vez más asequibles. Como motor de almacenamiento independiente, Kudu ha demostrado ya su eficacia para usos de producción críticos, en clústeres con cientos de nodos que manejan muchos millones de inserciones por segundo. Kudu está concebido para los casos de uso que exigen rápidos escaneos analíticos a gran escala al mismo tiempo que soportan una rápida actualización de datos, algo necesario para manejar los datos de series temporales, las analíticas de datos de máquinas, el reporting online u otras necesidades de cargas de trabajo analíticas u operativas.
“Apache Kudu es un excelente ejemplo de cómo está evolucionando la plataforma Apache Hadoop desde un conjunto marcadamente definido de proyectos Apache a una combinación y mezcla de tecnologías open source y propietarias que forman, en esencia, un entorno operativo big data”, señala Tony Baer, analista jefe de Ovum. “Kudu sortea los obstáculos asociados a las arquitecturas lambda complejas para atender casos de uso que implican datos que cambian rápidamente, donde la capacidad para modificar y actualizar con rapidez la base de datos es crítica”.
Los programas beta para una selección de clientes de Cloudera, directamente y a través de los partners, han llevado a Kudu a los entornos de producción críticos. Es previsible por ello la futura adopción entre la base de clientes de Cloudera para resolver el creciente número de casos de uso que precisan análisis en tiempo real.
“Lograr la conformidad y el reporting operativo junto al éxito analítico requiere tanto capacidad para procesar grandes cantidades de datos para hallar tendencias como para detectar y responder a las anomalías rápidamente”, declara Michael Reed, director de gestión de la información empresarial en Meridian Health. “Estamos entusiasmados con el potencial de Kudu, que nos permite realizar operaciones analíticas y en tiempo real en un único lugar para ayudarnos a simplificar los sistemas que construimos”.
Además de Kudu, Cloudera 5.10 (y la versión Cloudera Director 2.3) continúa mejorando las capacidades de tipo empresarial para los despliegues en la nube y elevando la eficiencia de costes en estos entornos. Las nuevas capacidades incluyen:
- Costes operativos reducidos para el procesamiento por lotes sobre las cargas de trabajo transitorias, con un rendimiento mejorado de Apache Hive sobre Amazon S3.
- Auditoría y linaje en la nube más completos, con soporte de clúster único Cloudera Navigator para Amazon S3.
- Reducción del tiempo de despliegue para el caso de uso inicial, con puestas en marcha más rápidas en los entornos cloud.
En septiembre de 2015, Cloudera anunció la versión beta pública de Apache Kudu y, dos meses más tarde, Cloudera donó a Kudu a la Apache Software Foundation (ASF) para abrirla a toda la comunidad de desarrolladores, reuniendo las aportaciones de ingenieros de State Farm, Xiaomi e Intel, entre otros. Kudu está ahora disponible de forma generalizada y se comercializa como un componente estándar de Cloudera Enterprise, lo que da a los clientes un robusto conjunto de motores de almacenamiento (NoSQL, HDFS, almacenamiento de objetos y relacional) para cubrir las necesidades específicas de sus casos de uso.
