Avis et détails du produit Databricks

J'utilise Databricks dans mon environnement d'entreprise et mes projets pour ingérer des données de multiples sources, les transformer et les nettoyer à grande échelle, et préparer des ensembles de données fiables pour l'analyse et le reporting. Cela me permet de construire et de gérer des pipelines de données efficacement en utilisant Spark, SQL et des notebooks. J'adore avoir l'ingestion de données, le traitement à grande échelle, l'analyse et la collaboration tout en un seul endroit, ce qui rend mon flux de travail beaucoup plus rationalisé et efficace. J'apprécie vraiment la fiabilité et la confiance que je tire de fonctionnalités comme Delta Lake, qui rendent la versionnage des données, la récupération et la gestion des changements beaucoup plus sûrs, moins chers et plus faciles dans mes projets. Delta Lake est l'une des principales raisons pour lesquelles Databricks est si précieux pour moi car il répond directement aux problèmes de fiabilité et de confiance, qui sont des défis constants dans les projets de données réels. La capacité de revenir à une version précédente si quelque chose tourne mal me rend beaucoup plus confiant lors du développement, des tests ou du déploiement de changements dans les pipelines de production. De plus, la configuration initiale a été relativement simple car Databricks s'intègre bien avec notre infrastructure cloud existante. Avis collecté par et hébergé sur G2.com.

La courbe d'apprentissage peut être assez raide au début, surtout pour les utilisateurs qui sont nouveaux dans Spark ou les concepts de traitement de données à grande échelle. Déboguer des pipelines complexes ou des échecs de tâches peut parfois prendre du temps, lorsque les messages d'erreur ne sont pas très intuitifs. À mesure que les flux de travail et les environnements se développent, la gouvernance et la gestion de l'environnement peuvent nécessiter un effort supplémentaire pour garder tout bien organisé et cohérent. La gestion des coûts est un autre défi, car l'utilisation des ressources peut augmenter rapidement si les clusters et les tâches ne sont pas configurés ou surveillés avec soin. Avis collecté par et hébergé sur G2.com.

J'utilise Databricks pour mes projets de bureau, et j'aime vraiment sa capacité à unifier l'ensemble du flux de travail des données sur une seule plateforme. Il me permet de collaborer sans effort avec des data scientists et des analystes, ce qui facilite l'ingestion, le nettoyage, l'analyse et la modélisation des données. J'apprécie ses fonctionnalités de scalabilité et d'automatisation, qui me font gagner du temps et réduisent la complexité lors du travail avec de grands ensembles de données. J'aime aussi qu'il offre une solution de calcul et de stockage évolutive, réduisant ainsi la gestion des infrastructures. L'intégration de notebooks partagés et d'outils comme Databricks Genie aide à améliorer la collaboration et à accélérer le développement. Avis collecté par et hébergé sur G2.com.

Je n'ai pas rencontré de problèmes majeurs avec Databricks en soi, mais pendant ma phase initiale d'utilisation de la plateforme, il n'était pas très facile de se familiariser avec toutes les fonctionnalités, outils et configurations. Databricks évolue rapidement et au début, il était un peu difficile de suivre le rythme des mises à jour et de tirer pleinement parti de toutes ses capacités. La configuration initiale était modérément difficile. Bien que la plateforme soit bien documentée et conviviale, se familiariser avec toutes les fonctionnalités, configurer les clusters et l'intégrer à nos flux de travail existants a nécessité un peu d'apprentissage et d'expérimentation. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Databricks, c'est qu'il est intégrable avec d'autres plateformes. Je peux littéralement configurer un espace de travail Databricks en utilisant les services de données Azure depuis le portail Azure, et je peux également utiliser Databricks au sein d'AWS. Cela me donne l'opportunité d'intégrer mes notebooks Databricks dans d'autres environnements et outils d'orchestration ou outils ETL, comme Azure Data Factory. Avis collecté par et hébergé sur G2.com.

Pour l'instant, j'ai remarqué que lorsque j'utilise Azure Databricks, en particulier le cluster Azure Databricks, il se déconnecte souvent, et c'est un peu frustrant pour moi. La plupart du temps, quand je travaille, je vais simplement dans un autre onglet. Chaque fois que je reviens au bout d'une minute ou deux, il s'est déconnecté, et je dois me reconnecter. Cette expérience peut être frustrante. J'aimerais que cela soit examiné. Je ne sais pas si c'est un problème avec Databricks ou si c'est un problème du côté d'Azure concernant la partie authentification intraident. Avis collecté par et hébergé sur G2.com.

La capacité de converger l'ingénierie des données, la science des données et l'analytique sur une seule plateforme sans compromettre la gouvernance, la performance ou la flexibilité est encore rare dans l'industrie. Databricks exécute cela de manière exceptionnelle. Avis collecté par et hébergé sur G2.com.

Réduire le temps de rotation des clusters polyvalents et des clusters de tâches. Ce serait plus utile et pratique s'il démarrait aussi rapidement que sans serveur. Avis collecté par et hébergé sur G2.com.

Je trouve que Databricks est une solution tout-en-un car elle intègre diverses fonctionnalités telles que l'orchestration de pipelines. Il dispose également d'une IA intégrée appelée Genie, qui aide à créer des tâches et d'autres tâches liées à l'IA. J'apprécie que, comparé à d'autres fournisseurs comme AWS et Azure, Databricks offre des fonctionnalités spécifiques qui leur manquent, me permettant d'utiliser la base de données simplement et d'accéder à tout en un seul endroit. La configuration initiale a été assez facile car je pouvais utiliser un seul point pour implémenter et mettre à jour directement les tables en utilisant le data lakehouse, ce qui est plus simple par rapport aux autres. Avis collecté par et hébergé sur G2.com.

Je pense que Databricks pourrait s'améliorer sur la partie orchestration. Bien qu'il ait des capacités d'orchestration pour les pipelines et les tâches, il lui manque la facilité d'accès qu'offre quelque chose comme Airflow, qui est spécifiquement conçu pour l'orchestration. Il serait utile que Databricks adopte un modèle similaire à celui d'Airflow pour une meilleure orchestration et un meilleur lien entre les tâches. Je pense aussi que la partie Genie pourrait être améliorée. Bien que le Genie fonctionne bien, la durée de sortie peut être longue, prenant généralement plus de cinq à dix minutes pour effectuer certaines tâches. Donc, j'aimerais voir des améliorations dans ce domaine également. Avis collecté par et hébergé sur G2.com.

Je pense que la partie la plus utile de Databricks est son architecture unique où vous pouvez tout avoir, comme une base de données et un tableau de bord, le tout en un. Comparé à d'autres fournisseurs comme Azure ou AWS, où j'aurais besoin de plusieurs services, Databricks offre tout dans un seul service. Cela simplifie mon travail car je n'ai pas à gérer l'intégration ou les détails au niveau du réseau entre différents services. La commodité d'avoir tout à l'intérieur de Databricks signifie que je peux éviter de multiples mises à jour réseau lors de la connexion avec des outils comme Power BI, ce qui en fait une caractéristique remarquable pour moi. De plus, la configuration initiale après la migration depuis Snowflake a été assez facile puisque Databricks nous permet de gérer l'accès et la sécurité au sein d'un seul service. Avis collecté par et hébergé sur G2.com.

Oui, donc une chose qui doit être mise à jour est le code Genie. Si je le regarde, le code Genie est utile pour générer du code, mais lorsqu'il le fait en arrière-plan, il consomme beaucoup de mémoire. Par exemple, si j'ouvre Databricks dans Chrome, cela va prendre au moins un ou deux Go de mémoire en arrière-plan, et cela prend aussi beaucoup de temps pour générer la réponse. Donc, si nous pouvions réduire cela, ce serait génial. Aussi, concernant les pipelines, par exemple, si vous prenez Airflow, Airflow est spécifiquement conçu pour notre position. Nous utilisons Airflow et je peux voir, par exemple, si j'ai des milliers de tâches, je peux voir chaque tâche et ce qui se passe. Mais avec Databricks, c'est un travail difficile pour moi de voir les succès et les échecs et de gérer les graphiques. Nous avons plusieurs options pour le surveiller dans Databricks, mais c'est difficile comparé à Airflow. Avis collecté par et hébergé sur G2.com.

Databricks se distingue car il offre une plateforme unifiée qui combine de manière transparente l'ingénierie des données, l'apprentissage automatique et l'analytique, facilitant ainsi la collaboration entre les équipes. J'apprécie particulièrement la façon dont il simplifie le travail avec les big data en s'intégrant avec des outils populaires comme Apache Spark, offrant une évolutivité et permettant une expérimentation plus rapide. Les notebooks collaboratifs, le fort support pour plusieurs langages de programmation et les fonctionnalités de sécurité intégrées le rendent à la fois puissant et convivial. Dans l'ensemble, il aide à accélérer l'innovation en réduisant la complexité et en améliorant la productivité tout au long du cycle de vie des données. Avis collecté par et hébergé sur G2.com.

Un inconvénient de Databricks est qu'il peut sembler accablant pour les nouveaux utilisateurs en raison de sa complexité et de sa courbe d'apprentissage abrupte. La plateforme offre une large gamme de fonctionnalités puissantes, mais les naviguer efficacement nécessite souvent une expertise technique significative. De plus, les coûts peuvent augmenter rapidement si les clusters ne sont pas gérés avec soin, et l'optimisation des performances exige parfois une connaissance approfondie des internals de Spark. L'intégration avec certains outils externes peut également être moins fluide par rapport à d'autres plateformes. Avis collecté par et hébergé sur G2.com.

Architecture unifiée de lakehouse : Databricks me permet de traiter mon lac de données plus comme un « lakehouse », en combinant la flexibilité du lac de données avec des fonctionnalités similaires à celles d'un entrepôt de données, telles que les transactions ACID, l'application de schémas et le voyage dans le temps sur les tables Delta. En conséquence, je peux gérer ETL, des analyses ad hoc et le ML sur une seule pile, plutôt que de jongler avec des entrepôts, des lacs et des clusters Spark séparés. Avis collecté par et hébergé sur G2.com.

La plateforme peut sembler lourde et est parfois lente, surtout lorsqu'on travaille avec de grands carnets ou qu'on exécute des tâches longues. Databricks peut également être coûteux à exploiter, en particulier si les clusters sont laissés inactifs ou ne sont pas bien optimisés. Avis collecté par et hébergé sur G2.com.

J'aime les fonctionnalités de Genie, en particulier le nouveau code junior, qui permet d'obtenir des scripts prêts pour SQL simplement en discutant en langage naturel. C'est fascinant, surtout avec la couche de gouvernance par-dessus avec Unity. Cela accélère le travail des analystes et des ingénieurs en aidant à construire des rapports et à les préparer efficacement, d'autant plus qu'il a accès à la plupart des métadonnées. La documentation est également utile, suggérant du code SQL qui peut être provisionné à la volée. Associer Genie avec des fonctions d'IA telles que l'ai_query en fait un superpouvoir. Avis collecté par et hébergé sur G2.com.

Honnêtement, il y a beaucoup de fonctionnalités qui peuvent être améliorées, notamment la connectivité avec d'autres outils, tels que les outils cloud, en particulier comme Azure. En tant qu'employé de Microsoft, je fais la promotion de Databricks, mais beaucoup de nos clients utilisent largement les solutions Microsoft. Parfois, ces outils semblent isolés du reste de la suite. Il y a encore beaucoup de travail à faire pour connecter les modèles provisionnés dans Azure et des éléments comme les catalogues d'unité ou la gouvernance qui peuvent se situer en dehors de Databricks et de la suite Microsoft. Cela ressemble à une déconnexion, surtout dans les environnements hautement réglementés où les éléments sur site doivent interagir avec les capacités de Databricks. Avis collecté par et hébergé sur G2.com.

La plateforme d'intelligence des données de Databricks aide à accueillir toutes nos données professionnelles et officielles et à les partager avec différents départements d'équipe afin qu'ils puissent les analyser et créer une analyse détaillée des performances passées, ainsi qu'apporter les modifications nécessaires pour la croissance future. Avis collecté par et hébergé sur G2.com.

L'un des principaux défis auxquels nous sommes confrontés lors de l'utilisation de la plateforme d'intelligence des données Databricks est que vous ne pouvez pas utiliser cet outil avec un seul data scientist ; vous devrez maintenir une équipe de professionnels capables de gérer de grandes quantités de données et de créer plusieurs graphiques et analyses en fonction des informations disponibles, et cette activité complète implique un investissement financier important. Avis collecté par et hébergé sur G2.com.