Die Flaggschiff-Managementanwendung von Bluemetrix, BDM Control, ist eine Suite von Daten- und Governance-Kontrollfunktionen, die sich in Ihre Daten- und Governance-Prozesse integrieren, um eine einheitliche Sicht auf Ihre Daten-Governance zu schaffen und bei Anwendung auf Ihre Daten die Datenzugriffs- und Governance-Durchsetzungsdaten aus Ihren Pipelines zu erfassen und zu extrahieren und Ihre Governance-Tools automatisch zu befüllen, um sicherzustellen, dass sie jederzeit auf dem neuesten Stand sind. BDM ermöglicht es einer nicht-technischen Ressource, Datenpipelines innerhalb von Hadoop zu erstellen, zu planen, zu transformieren, zu ingestieren und zu verwalten, ohne Code schreiben oder die zugrunde liegende Hadoop-Umgebung kennen zu müssen. Es wendet Automatisierung auf eine Reihe verschiedener Aufgaben an, sodass der notwendige Code und die Befehle bei Bedarf erstellt und bereitgestellt werden. BDM ergänzt das Hadoop-Ökosystem vollständig und erstellt keinen proprietären Code. Es arbeitet ausschließlich in der Spark-Umgebung innerhalb von Hadoop. BDM ist ein Framework für die Ingestion, Maskierung, Übersetzung, Transformation, Governance, Validierung, Verwaltung und Qualitätssicherung von Daten auf Hadoop. Daten-Ingestion ● Einfaches, vorlagenbasiertes Connectorsystem für alle Datenquellen ● Mehrere Connectors verfügbar ● Keine Notwendigkeit, Ingest-Code zu entwickeln oder geeignete Hadoop-Komponenten auszuwählen ● Neue Datenquellen können in Stunden statt Wochen oder Monaten bereitgestellt werden ● Speicher kann ausgewählt werden, um dem Datentyp und den Verarbeitungsanforderungen zu entsprechen, z.B. HIVE, HBase, etc. ● Kein zusätzlicher Code wird entwickelt, was die Zeit und Komplexität des Code-Release-Zyklus reduziert Datenmaskierung/Tokenisierung ● Datenmaskierung ist beim Ingest in den Cluster verfügbar ● Sie kann auf Spalten- oder Tabellenbasis durchgeführt werden ● Stateful- und Stateless-Tokenisierungslösungen sind verfügbar ● Verschiedene Maskierungsalgorithmen können angewendet werden, um den Daten zu entsprechen, z.B. ⮚ Vollständige Entfernung ausgewählter Spalten ⮚ Ersetzen von Werten durch Zufallsdaten ⮚ Hinzufügen eines Zufallswerts zu jeder Zeile in der Tabelle ⮚ Kategorisierung von Daten, z.B. exaktes Gehalt durch eine Spanne ersetzen ⮚ Geolokalisierungsdaten – Rotationsmethoden anwenden, um die Daten zu maskieren Datenqualität & Validierung ● Datenkonsistenz wird durch die Anwendung von Checksummen und anderen Kontrollen auf die Daten garantiert ● Datenintegrität wird durch reguläre Ausdrücke und ML-Algorithmen bereitgestellt ● Alle Qualitätsdaten sind über ein Dashboard zugänglich, das einen Überblick über den Gesundheitszustand der Daten im Cluster bietet Datentransformation ● Datentransformationen werden in einer benutzerdefinierten Bibliothek codiert und in Spark bereitgestellt ● Datenkarten/-flüsse können mit einer Drag-and-Drop-Oberfläche erstellt werden ● Dramatische Reduzierung des entwickelten und bereitgestellten Codes ● Dramatische Reduzierung der entwickelten Skripte ● Keine Anforderung an SQL-Kenntnisse oder HIVE-Wissen zur Transformation der Daten ● Keine Anforderung an Spark-Expertise zur Erstellung von Transformationen ● Eine API kann zur Spark-Bibliothek bereitgestellt werden, die es Kundenentwicklern ermöglicht, ihre eigenen Spark-Transformationen zu erstellen und bereitzustellen Daten-Governance & Abstammung ● Alle Daten-Governance-Funktionen – Audit, Änderungsverfolgung, etc. – sind in Atlas integriert ● Governance-Funktionalität kann leicht angepasst werden, um neue Daten und Funktionen hinzuzufügen, z.B. Hinzufügung neuer GDPR-Compliance-Tags, etc. ● Der Prozess ist vollständig unabhängig vom Endbenutzer und erfolgt im Hintergrund ● Einzige Lösung mit End-to-End-Daten-Governance, die auf Atlas heute auf dem Markt verfügbar ist Als eines der ersten Unternehmen, das 2009 Hadoop in Europa einsetzte, und seit 2016 haben wir über 400 Hadoop Big Data-Implementierungen in allen großen Unternehmen in Europa in allen Branchen durchgeführt – Automobil, Finanzen, Versicherung, Gesundheitswesen, Einzelhandel, Regierung, etc. Diese Projekte decken das gesamte Spektrum der Aktivitäten von Architektur, Design, Entwicklung, Infrastruktur, Sicherheit, Implementierung bis hin zu Betrieb ab.