L'application phare de gestion de Bluemetrix, BDM Control, est une suite de capacités de contrôle des données et de gouvernance, qui s'intègrent à vos processus de données et de gouvernance pour créer une vue unique de votre gouvernance des données et, lorsqu'elle est appliquée à vos données, appliquera, capturera et extraira les données d'accès et d'application de la gouvernance de vos pipelines et auto-remplira vos outils de gouvernance, garantissant qu'ils sont toujours à jour. BDM permet à une ressource non technique de construire, planifier, transformer, ingérer et gérer des pipelines de données à l'intérieur de Hadoop sans avoir à écrire de code ou à connaître l'environnement Hadoop sous-jacent. Il applique l'automatisation à une gamme de tâches différentes afin que le code et les commandes nécessaires soient créés et déployés selon les besoins. BDM complète entièrement l'écosystème Hadoop et ne crée aucun code propriétaire. Il fonctionne exclusivement sur l'environnement Spark au sein de Hadoop. BDM est un cadre pour l'Ingestion, le Masquage, la Traduction, la Transformation, la Gouvernance, la Validation, la Gestion et l'Assurance Qualité des Données sur Hadoop. Ingestion de Données ● Système de connecteur basé sur des modèles simples pour toutes les sources de données ● Plusieurs connecteurs disponibles ● Pas besoin de développer de code d'ingestion ou de sélectionner les composants Hadoop appropriés ● De nouvelles sources de données peuvent être déployées en quelques heures plutôt qu'en semaines ou mois ● Le stockage peut être sélectionné pour convenir au type de données et aux exigences de traitement, c'est-à-dire HIVE, HBase, etc. ● Aucun code supplémentaire n'est développé, réduisant le temps de cycle de publication du code et la complexité Masquage/Tokenisation des Données ● Le masquage des données est disponible lors de l'ingestion dans le cluster ● Il peut être effectué sur une base de colonne ou de table ● Des solutions de tokenisation avec état et sans état sont disponibles ● Différents algorithmes de masquage peuvent être appliqués pour convenir aux données, c'est-à-dire ⮚ Suppression complète des colonnes sélectionnées ⮚ Remplacement des valeurs par des données aléatoires ⮚ Ajout d'une valeur aléatoire à chaque ligne du tableau ⮚ Catégorisation des données, par exemple, le salaire exact remplacé par une fourchette ⮚ Données de géolocalisation – appliquer des méthodes de rotation pour masquer les données Qualité et Validation des Données ● La cohérence des données est garantie en appliquant des sommes de contrôle et d'autres contrôles sur les données ● L'intégrité des données est assurée par des expressions régulières et des algorithmes de ML ● Toutes les données de qualité sont accessibles via un tableau de bord qui fournira un aperçu de la santé des données sur le cluster Transformation des Données ● Les transformations de données sont codées et stockées dans une bibliothèque personnalisée déployée dans Spark ● Les cartes/flux de données peuvent être créés à l'aide d'une interface de glisser-déposer ● Réduction spectaculaire du code développé et déployé ● Réduction spectaculaire des scripts développés ● Aucune compétence SQL ou connaissance de HIVE requise pour transformer les données ● Aucune expertise Spark requise pour créer des transformations ● Une API peut être fournie à la bibliothèque Spark permettant aux développeurs clients de créer et déployer leurs propres transformations Spark Gouvernance et Traçabilité des Données ● Toutes les capacités de gouvernance des données – Audit, Suivi des Changements, etc. – sont intégrées dans Atlas ● La fonctionnalité de gouvernance peut être facilement personnalisée pour ajouter de nouvelles données et fonctionnalités, c'est-à-dire l'ajout de nouvelles balises de conformité GDPR, etc. ● Le processus est complètement indépendant de l'utilisateur final et se déroule en arrière-plan ● Seule solution avec une gouvernance des données de bout en bout activée sur Atlas disponible sur le marché aujourd'hui En tant que l'une des premières entreprises à utiliser Hadoop en Europe en 2009, et depuis 2016, nous avons réalisé plus de 400 implémentations Big Data Hadoop dans toutes les grandes entreprises en Europe dans tous les secteurs industriels – Automobile, Finance, Assurance, Santé, Commerce de détail, Gouvernement, etc. Ces projets couvrent tout le spectre des activités, de l'Architecture, la Conception, le Développement, l'Infrastructure, la Sécurité, l'Implémentation aux Opérations.