A aplicação de gestão principal da Bluemetrix, BDM Control, é um conjunto de capacidades de controle de dados e governança, que se integram aos seus processos de dados e governança para criar uma visão única da sua governança de dados e, quando aplicadas aos seus dados, aplicarão, capturarão e extrairão os dados de acesso e aplicação de governança dos seus pipelines e auto-preencherão suas ferramentas de governança, garantindo que estejam sempre atualizadas. BDM permite que um recurso não técnico construa, agende, transforme, ingira e gerencie pipelines de dados dentro do Hadoop sem precisar escrever qualquer código ou conhecer o ambiente Hadoop subjacente. Aplica automação a uma variedade de tarefas diferentes para que o código e os comandos necessários sejam criados e implantados conforme necessário. BDM complementa totalmente o ecossistema Hadoop e não cria código proprietário. Funciona exclusivamente no ambiente Spark dentro do Hadoop. BDM é uma estrutura para a Ingestão, Mascaramento, Tradução, Transformação, Governança, Validação, Gestão e Garantia de Qualidade de Dados no Hadoop. Ingestão de Dados ● Sistema de Conector baseado em modelo simples para todas as fontes de dados ● Múltiplos Conectores disponíveis ● Não há necessidade de desenvolver qualquer código de ingestão ou selecionar componentes Hadoop apropriados ● Novas fontes de dados podem ser implantadas em horas em vez de semanas ou meses ● O armazenamento pode ser selecionado para se adequar ao tipo de dado e requisito de processamento, ou seja, HIVE, HBase, etc. ● Nenhum código extra é desenvolvido, reduzindo o tempo do ciclo de liberação de código e a complexidade Mascaramento/Tokenização de Dados ● Mascaramento de Dados está disponível na ingestão para o cluster; ● Pode ser realizado com base em coluna ou tabela ● Soluções de Tokenização com e sem estado estão disponíveis ● Diferentes algoritmos de mascaramento podem ser aplicados para se adequar aos dados, ou seja, ⮚ Remoção completa de colunas selecionadas ⮚ Substituir valores por dados aleatórios ⮚ Adicionar um valor aleatório a cada linha na tabela ⮚ Categorizar dados, por exemplo, salário exato substituído por uma faixa ⮚ Dados de geolocalização – aplicar métodos de rotação para mascarar os dados Qualidade e Validação de Dados ● Consistência de Dados é garantida aplicando checksums e outros controles nos dados ● Integridade de Dados é fornecida por Expressões Regulares e algoritmos de ML ● Todos os dados de qualidade são acessíveis através de um painel que fornecerá uma visão geral da saúde dos dados no cluster Transformação de Dados ● As transformações de dados são codificadas e armazenadas em uma biblioteca personalizada implantada no Spark ● Mapas/fluxos de dados podem ser criados usando uma interface de arrastar e soltar ● Redução dramática no código desenvolvido e implantado ● Redução dramática nos scripts desenvolvidos ● Nenhuma necessidade de habilidades em SQL ou conhecimento de HIVE para transformar os dados ● Nenhuma necessidade de expertise em Spark para criar transformações ● Uma API pode ser fornecida para a biblioteca Spark permitindo que desenvolvedores clientes criem e implantem suas próprias transformações Spark Governança e Linhagem de Dados ● Todas as capacidades de governança de dados – Auditoria, Rastreamento de Mudanças, etc. – estão integradas no Atlas ● Funcionalidade de governança pode ser facilmente personalizada para adicionar novos dados e recursos, ou seja, adição de novas etiquetas de conformidade GDPR, etc. ● Processo é completamente independente do usuário final e acontece em segundo plano ● Única solução com governança de dados de ponta a ponta habilitada no Atlas disponível no mercado hoje Como uma das primeiras empresas a usar Hadoop na Europa em 2009, e desde 2016 realizamos mais de 400 implementações de Big Data em Hadoop em todas as principais empresas na Europa em todos os setores da indústria – Automotivo, Finanças, Seguros, Saúde, Varejo, Governo, etc. Esses projetos cobrem todo o espectro de atividades desde Arquitetura, Design, Desenvolvimento, Infraestrutura, Segurança, Implementação até Operações.