En tant qu'ingénieur de données travaillant avec Databricks depuis deux ans, je peux honnêtement dire que la plateforme a complètement transformé notre approche des projets d'ingénierie des données. Avant Databricks, mon équipe et moi faisions souvent face à des défis liés à la gestion de grands ensembles de données et à la garantie d'une collaboration fluide entre les ingénieurs de données et les data scientists. Il y avait des moments où les flux de travail semblaient disjoints, et le dépannage des problèmes à travers différents outils consommait beaucoup de notre temps.
Databricks a changé tout cela. La fonctionnalité de notebooks collaboratifs, en particulier, a été révolutionnaire. Je peux maintenant travailler de manière transparente avec les data scientists en temps réel, résoudre les problèmes et itérer sur les solutions beaucoup plus rapidement. Par exemple, lors d'un projet récent, nous avons pu affiner un modèle d'apprentissage automatique en quelques jours, grâce à la possibilité de partager facilement des notebooks et de lancer rapidement des expériences ensemble. Ce niveau de collaboration prenait des semaines avec les outils précédents.
La fonctionnalité d'auto-scalabilité a été un véritable sauveur. Je me souviens vivement des problèmes de performance lors du traitement de grands ensembles de données sur notre ancienne infrastructure. Maintenant, Databricks ajuste automatiquement les ressources en fonction de la charge de travail, donc nous n'avons jamais à nous soucier de la gestion de la puissance de calcul. Cela a considérablement réduit les temps de traitement. Par exemple, un travail de transformation de données qui prenait des heures se termine maintenant en une fraction du temps, nous permettant de livrer les projets plus rapidement.
Delta Lake a également été inestimable. Avant de commencer à l'utiliser, la cohérence et la qualité des données étaient des préoccupations constantes, surtout lorsqu'il s'agissait de sources de données grandes et variées. Maintenant, avec Delta Lake, nous pouvons être sûrs que nos données sont non seulement de haute qualité mais aussi facilement accessibles et interrogeables. Un exemple particulier a été lorsque nous avons dû reconstruire un pipeline de données complexe. Delta Lake nous a permis de travailler avec des mises à jour de données incrémentielles, rendant le processus beaucoup plus efficace et fiable.
En bref, Databricks a considérablement réduit le temps de développement et amélioré la qualité globale de nos livraisons. Cela m'a aidé à rationaliser des flux de travail complexes, à améliorer la collaboration entre les équipes, et surtout, à fournir des solutions basées sur les données plus rapidement et avec plus de confiance. Avis collecté par et hébergé sur G2.com.
Optimisation des coûts - Bien que j'apprécie les informations de facturation détaillées fournies, prédire les coûts pour de grands projets ou des environnements partagés peut encore sembler opaque. De nombreuses équipes ont du mal à contrôler les coûts incontrôlés des clusters inactifs ou des configurations sous-optimales. L'introduction d'une mise à l'échelle automatique plus intelligente et de recommandations adaptées à nos charges de travail serait inestimable. Par exemple, des alertes pour les "clusters inactifs" ou les "points chauds de coûts" dans notre environnement pourraient de manière proactive économiser des budgets et améliorer l'efficacité.
Gouvernance et sécurité simplifiées - Gérer l'accès à des niveaux fins peut être fastidieux. Par exemple, contrôler qui peut voir par rapport à qui peut exécuter un notebook ou un travail nécessite souvent des solutions de contournement. Les journaux d'audit sont excellents, mais les comprendre pour des informations exploitables ressemble parfois à résoudre un puzzle. Un contrôle d'accès basé sur les attributs (ABAC) amélioré et des contrôles plus intuitifs basés sur l'interface utilisateur pour la gestion des autorisations rationaliseraient grandement les opérations.
Expérience utilisateur - L'interface de notebook collaborative est l'une des caractéristiques remarquables de Databricks, mais il y a des domaines où elle pourrait être plus fluide. La collaboration est parfois entravée lorsque deux utilisateurs modifient le même notebook. Le contrôle de version semble basique par rapport aux systèmes basés sur Git. Le débogage dans les notebooks, en particulier pour les charges de travail non-Python, pourrait nécessiter une amélioration significative. Ajouter des commentaires en ligne, des outils de résolution de conflits et des fonctionnalités de débogage robustes porterait la plateforme au niveau supérieur. Un flux d'activité au niveau de l'espace de travail pour montrer ce qui se passe dans les projets partagés serait également extrêmement utile.
Automatisation des flux de travail - Inclure des insights pilotés par l'IA pour optimiser les flux de travail (par exemple, repérer les goulots d'étranglement ou les inefficacités). Faciliter l'intégration avec des outils d'automatisation de flux de travail externes. Avis collecté par et hébergé sur G2.com.
Nous sommes ravis d'apprendre que la plateforme Databricks Data Intelligence a transformé votre approche des projets d'ingénierie des données. Nous apprécions grandement vos commentaires positifs sur les notebooks collaboratifs, l'auto-scalabilité et les fonctionnalités de Delta Lake. Nous comprenons vos préoccupations concernant l'optimisation des coûts, la gouvernance et la sécurité, l'expérience utilisateur et l'automatisation des flux de travail, et nous les prendrons en compte alors que nous travaillons à améliorer notre plateforme. Merci sincèrement d'avoir pris le temps d'écrire des commentaires détaillés sur la plateforme—nous aimons que vous compreniez comment Databricks favorise une culture axée sur les données !
L'évaluateur a téléchargé une capture d'écran ou a soumis l'évaluation dans l'application pour les vérifier en tant qu'utilisateur actuel.
Validé via LinkedIn
Cet évaluateur s'est vu offrir une incitation nominale en guise de remerciement pour avoir complété cet avis.
Invitation de la part de G2 au nom d'un vendeur ou d'un affilié. Cet évaluateur s'est vu offrir une incitation nominale en guise de remerciement pour avoir complété cet avis.
Cet avis a été traduit de English à l'aide de l'IA.
