L'applicazione di punta di Bluemetrix, BDM Control, è una suite di capacità di controllo dei dati e della governance, che si integra con i tuoi processi di dati e governance per creare una visione unica della tua governance dei dati e, quando applicata ai tuoi dati, applicherà, catturerà ed estrarrà i dati di accesso e di enforcement della governance dai tuoi pipeline e auto-popolare i tuoi strumenti di governance, assicurando che siano sempre aggiornati. BDM consente a una risorsa non tecnica di costruire, programmare, trasformare, ingerire e gestire pipeline di dati all'interno di Hadoop senza dover scrivere alcun codice o conoscere l'ambiente Hadoop sottostante. Applica l'automazione a una gamma di compiti diversi in modo che il codice e i comandi necessari siano creati e distribuiti come richiesto. BDM completa pienamente l'ecosistema Hadoop e non crea codice proprietario. Funziona esclusivamente sull'ambiente Spark all'interno di Hadoop. BDM è un framework per l'Ingestione, Mascheramento, Traduzione, Trasformazione, Governance, Validazione, Gestione e Assicurazione della Qualità dei Dati su Hadoop. Ingestione dei Dati ● Sistema di Connettori basato su modelli semplici per tutte le fonti di dati ● Disponibilità di Connettori multipli ● Nessuna necessità di sviluppare codice di ingestione o selezionare componenti Hadoop appropriati ● Nuove fonti di dati possono essere distribuite in ore anziché settimane o mesi ● Lo storage può essere selezionato per adattarsi al tipo di dati e ai requisiti di elaborazione, ad es. HIVE, HBase, ecc. ● Non viene sviluppato codice extra, riducendo il tempo del ciclo di rilascio del codice e la complessità Mascheramento/Tokenizzazione dei Dati ● Il mascheramento dei dati è disponibile all'ingestione nel cluster; ● Può essere effettuato su base di colonna o tabella ● Sono disponibili soluzioni di Tokenizzazione Stateful e Stateless ● Possono essere applicati diversi algoritmi di mascheramento per adattarsi ai dati, ad es. ⮚ Rimozione completa delle colonne selezionate ⮚ Sostituzione dei valori con dati casuali ⮚ Aggiunta di un valore casuale a ciascuna riga nella tabella ⮚ Categorizzazione dei dati, ad es. salario esatto sostituito con un intervallo ⮚ Dati di geolocalizzazione – applicare metodi di rotazione per mascherare i dati Qualità e Validazione dei Dati ● La coerenza dei dati è garantita applicando checksum e altri controlli sui dati ● L'integrità dei dati è fornita da algoritmi di espressione regolare e ML ● Tutti i dati di qualità sono accessibili tramite una dashboard che fornirà un'istantanea della salute dei dati sul cluster Trasformazione dei Dati ● Le trasformazioni dei dati sono codificate e memorizzate in una libreria personalizzata distribuita in Spark ● Le mappe/flussi di dati possono essere creati utilizzando un'interfaccia drag and drop ● Riduzione drammatica del codice sviluppato e distribuito ● Riduzione drammatica degli script sviluppati ● Nessun requisito di competenze SQL o conoscenza di HIVE per trasformare i dati ● Nessun requisito di competenza Spark per creare trasformazioni ● Può essere fornita un'API alla libreria Spark che consente agli sviluppatori clienti di creare e distribuire le proprie trasformazioni Spark Governance e Lineage dei Dati ● Tutte le capacità di governance dei dati – Audit, Tracciamento delle Modifiche, ecc. – sono integrate in Atlas ● La funzionalità di governance può essere facilmente personalizzata per aggiungere nuovi dati e funzionalità, ad es. aggiunta di nuovi tag di conformità GDPR, ecc. ● Il processo è completamente indipendente dall'utente finale e avviene in background ● Unica soluzione con governance dei dati end-to-end abilitata su Atlas disponibile sul mercato oggi Come una delle prime aziende a utilizzare Hadoop in Europa nel 2009, e dal 2016 abbiamo realizzato oltre 400 implementazioni di Big Data Hadoop in tutte le principali imprese in Europa in tutti i settori industriali – Automotive, Finanza, Assicurazioni, Sanità, Retail, Governo, ecc. Questi progetti coprono l'intero spettro di attività dall'Architettura, Progettazione, Sviluppo, Infrastruttura, Sicurezza, Implementazione alle Operazioni.