La aplicación de gestión insignia de Bluemetrix, BDM Control, es un conjunto de capacidades de control de datos y gobernanza, que se integran con sus procesos de datos y gobernanza para crear una vista única de su gobernanza de datos y, cuando se aplica a sus datos, aplicará, capturará y extraerá los datos de acceso y aplicación de gobernanza de sus canalizaciones y auto-poblará sus herramientas de gobernanza, asegurando que estén actualizadas en todo momento. BDM permite a un recurso no técnico construir, programar, transformar, ingerir y gestionar canalizaciones de datos dentro de Hadoop sin tener que escribir ningún código o conocer el entorno subyacente de Hadoop. Aplica automatización a una variedad de tareas diferentes para que el código y los comandos necesarios se creen y desplieguen según sea necesario. BDM complementa completamente el ecosistema de Hadoop y no crea código propietario. Funciona exclusivamente en el entorno Spark dentro de Hadoop. BDM es un marco para la Ingesta, Enmascaramiento, Traducción, Transformación, Gobernanza, Validación, Gestión y Aseguramiento de la Calidad de Datos en Hadoop. Ingesta de Datos ● Sistema de Conector basado en plantillas simples para todas las fuentes de datos ● Múltiples Conectores disponibles ● No hay necesidad de desarrollar ningún código de ingesta o seleccionar componentes apropiados de Hadoop ● Nuevas fuentes de datos pueden ser desplegadas en horas en lugar de semanas o meses ● El almacenamiento puede ser seleccionado para adaptarse al tipo de datos y requisito de procesamiento, es decir, HIVE, HBase, etc. ● No se desarrolla código adicional, reduciendo el tiempo del ciclo de liberación de código y la complejidad Enmascaramiento/Tokenización de Datos ● El enmascaramiento de datos está disponible al ingresar al clúster; ● Puede llevarse a cabo a nivel de columna o tabla ● Soluciones de Tokenización con y sin estado están disponibles ● Se pueden aplicar diferentes algoritmos de enmascaramiento para adaptarse a los datos, es decir, ⮚ Eliminación completa de columnas seleccionadas ⮚ Reemplazar valores con datos aleatorios ⮚ Agregar un valor aleatorio a cada fila en la tabla ⮚ Categorizar datos, por ejemplo, salario exacto reemplazado con un rango ⮚ Datos de geolocalización – aplicar métodos de rotación para enmascarar los datos Calidad y Validación de Datos ● La consistencia de los datos está garantizada aplicando sumas de verificación y otros controles en los datos ● La integridad de los datos se proporciona mediante algoritmos de Expresión Regular y ML ● Todos los datos de calidad son accesibles a través de un panel que proporcionará una instantánea de la salud de los datos en el clúster Transformación de Datos ● Las transformaciones de datos están codificadas y almacenadas en una biblioteca personalizada desplegada en Spark ● Los mapas/flujos de datos pueden ser creados usando una interfaz de arrastrar y soltar ● Reducción dramática en el código desarrollado y desplegado ● Reducción dramática en los scripts desarrollados ● No se requiere habilidades de SQL o conocimiento de HIVE para transformar los datos ● No se requiere experiencia en Spark para crear transformaciones ● Se puede proporcionar una API a la biblioteca de Spark permitiendo a los desarrolladores clientes crear y desplegar sus propias transformaciones de Spark Gobernanza y Linaje de Datos ● Todas las capacidades de gobernanza de datos – Auditoría, Seguimiento de Cambios, etc. – están integradas en Atlas ● La funcionalidad de gobernanza puede ser fácilmente personalizada para agregar nuevos datos y características, es decir, adición de nuevas etiquetas de cumplimiento de GDPR, etc. ● El proceso es completamente independiente del usuario final y ocurre en segundo plano ● Única solución con gobernanza de datos de extremo a extremo habilitada en Atlas disponible en el mercado hoy en día Como una de las primeras empresas en usar Hadoop en Europa en 2009, y desde 2016 hemos llevado a cabo más de 400 implementaciones de Big Data en Hadoop en todas las principales empresas de Europa en todos los sectores industriales – Automotriz, Finanzas, Seguros, Salud, Retail, Gobierno, etc. Estos proyectos cubren todo el espectro de actividades desde Arquitectura, Diseño, Desarrollo, Infraestructura, Seguridad, Implementación hasta Operaciones.