Avis et détails du produit dbt

J'ai lancé des téraoctets sur DBT et je m'attendais à ce que l'infrastructure échoue, mais DBT a exécuté l'exécution distribuée de manière autonome sans intervention de ma part. La capacité à exécuter l'apprentissage automatique directement dans SQL est étrange mais préférable à l'exportation vers vertex.ai et à la gestion des clusters par moi-même. Je n'ai pas non plus à m'inquiéter de la gestion des clusters car je peux simplement écrire la requête et attendre les résultats, ce qui, à mon avis, est une chose très simple à faire. Avis collecté par et hébergé sur G2.com.

La facturation est un piège, et si vous exécutez une requête générique sans filtre, les coûts augmentent immédiatement, ce qui peut être très agaçant. J'ai dû réécrire toutes mes procédures stockées parce que la syntaxe n'est pas tout à fait comme pl/sql. Et je n'aime vraiment pas lire les journaux lorsque un modèle échoue et/ou des erreurs se produisent. Avis collecté par et hébergé sur G2.com.

J'utilise dbt tous les jours pour transformer les données brutes de notre entrepôt en tables prêtes pour l'analyse, et mon flux de travail commence généralement dans VS Code, où j'écris des modèles SQL, puis je les pousse vers Git pour le contrôle de version et je les exécute via dbt Cloud. Dans l'ensemble, cela a également facilité la collaboration entre les membres de notre équipe car dbt rend le processus beaucoup plus simple. Avis collecté par et hébergé sur G2.com.

C'est difficile lorsqu'un seul changement perturbe complètement une exécution et que les messages d'erreur sont au mieux vagues. Je ressens également le besoin de défendre le travail de mon contributeur à dbt cloud. J'ai aussi rencontré la structure trop détendue et les configurations de commande et d'environnement spécifiques qui en résultent, chaotiques. Avis collecté par et hébergé sur G2.com.

J'utilise dbt quotidiennement pour gérer et transformer les modèles de données dans notre entrepôt. Il est également devenu l'épine dorsale de notre flux de travail analytique, versionné, transparent et facile à déboguer. J'apprécie particulièrement la facilité avec laquelle il est possible de modulariser les transformations SQL et de documenter tout en ligne afin que l'équipe sache pourquoi chaque modèle fait ce qu'il fait et d'où proviennent ces données. Avis collecté par et hébergé sur G2.com.

Il peut être un peu déroutant de configurer les environnements, surtout lorsque vous travaillez sur plusieurs projets ou entrepôts. À mesure que vos modèles se développent et que cette couche de framework s'approfondit, votre temps de compilation peut commencer à ralentir et il n'est pas toujours simple d'identifier le goulot d'étranglement. De plus, tester des macros non conventionnelles semble un peu maladroit par rapport à l'écriture de tests pour des modèles linéaires. Avis collecté par et hébergé sur G2.com.

Grâce à dbt, je n'ai plus besoin de dépendre de l'équipe d'ingénierie pour gérer et transformer les données SQL dans notre entrepôt. C'est la première étape pour moi dans l'organisation, le test et la documentation de l'ensemble de nos modèles de données. J'apprécie que toutes ces informations soient regroupées en un seul endroit dans le contrôle de version. Je peux suivre tous les changements effectués et les détails entourant chacun d'eux. Avis collecté par et hébergé sur G2.com.

Dépanner des dépendances complexes et des erreurs de construction peut être une tâche ardue. Il y a des occasions où un modèle échoue et il n'est pas clair quel changement en amont pourrait en être la cause. Bien que la documentation soit vraiment bonne, j'ai trouvé que creuser dans un fil de discussion sur Stack Overflow ou Slack est la réponse pour certains des problèmes les plus obscurs. Je trouve également que la visualisation de la lignée dans dbt Cloud est encombrante. Avis collecté par et hébergé sur G2.com.

Le plus grand avantage de dbt pour moi est qu'il apporte une structure au travail de données. Je l'utilise régulièrement avec BigQuery et les outils de contrôle de version. L'intégration est confortable et le travail d'équipe est facilité. Cela n'a pas ajouté de retard lors de la mise en œuvre et l'ensemble des fonctionnalités permet de réutiliser la logique plutôt que de la réécrire. Cela a minimisé le nombre d'erreurs et m'a fait gagner du temps sur la révision et les mises à jour. Avis collecté par et hébergé sur G2.com.

Le côté négatif de dbt est qu'il devient rigide lorsque les projets s'étendent. Des modifications mineures nécessitent parfois plus de réajustements que prévu, ce qui me ralentit. Les problèmes de débogage des échecs ne sont pas toujours évidents, en particulier pour les membres de l'équipe moins expérimentés, et cela a un impact sur la rapidité de livraison. Des données sources propres sont également utilisées dans la mise en œuvre et donc lorsque les entrées sont désordonnées, cela ne fait qu'ajouter plus de charge de travail au lieu de faciliter les choses. Avis collecté par et hébergé sur G2.com.

Ce que j'ai le plus apprécié, c'est l'élimination du code dupliqué qui était auparavant dispersé dans divers scripts. Ce changement a considérablement amélioré la fiabilité des données et me permet désormais d'implémenter la logique métier directement en SQL pur. J'apprécie également à quel point cela accélère le développement, et je trouve l'orchestration et le déploiement avec DBT exceptionnellement simples. Avis collecté par et hébergé sur G2.com.

J'ai trouvé l'aspect gestion de projet difficile lorsque je devais gérer des centaines de modèles, car l'interface peut parfois être assez compliquée. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez dbt, c'est qu'il apporte les meilleures pratiques de l'ingénierie logicielle aux transformations de données basées sur SQL, rendant notre base de code SQL maintenable à grande échelle. Il a une structure de modèle claire comme les couches de staging, intermédiaire et de reporting. Il fournit des macros et des macros de référence qui rendent la logique réutilisable, et les dépendances sont vraiment faciles à comprendre. J'apprécie sa bonne collaboration avec Git et son intégration avec le contrôle de version. Dbt a un solide fondement documentaire, fournissant un site de documentation auto-généré, de sorte que tout le monde est au courant de ce qui se passe dans le projet. La configuration initiale de dbt est vraiment facile grâce à sa grande documentation, et il est disponible pour presque tous les principaux entrepôts de données. Avis collecté par et hébergé sur G2.com.

L'un des points douloureux est le débogage et le dépannage des erreurs. Les messages d'erreur peuvent vraiment être vagues, ce qui rend difficile de déterminer quelle partie du noyau a causé l'échec. De plus, les grands modèles sont pénibles à déboguer. La visibilité du plan de requête à l'intérieur de dbt serait vraiment utile. Une exécution pas à pas pour les modèles échoués serait également utile. Avis collecté par et hébergé sur G2.com.

Chaque jour, j'utilise dbt pour convertir des données brutes afin qu'elles soient prêtes pour l'analyse et j'apprécie particulièrement que tout cela implique uniquement SQL et le contrôle de version—plus de scripts désordonnés. J'aime la sensation d'écrire des requêtes simples et, en même temps, j'apprécie la modularité supplémentaire et la documentation automatique. Les tests et mes transformations s'exécutant simultanément me donnent une réelle confiance dans les ensembles de données que je fournis. Avis collecté par et hébergé sur G2.com.

En ce qui concerne dbt, la courbe d'apprentissage est assez difficile et il m'a fallu un certain temps pour comprendre comment configurer les macros et organiser les modèles de manière ordonnée. La tâche de débogage est également assez fastidieuse et comme certains messages d'erreur manquent de clarté, je finis par passer beaucoup de temps sur les journaux. De plus, pour les grands projets, le temps d'exécution peut être assez long, ce qui peut entraver le flux de développement. Avis collecté par et hébergé sur G2.com.

dbt fonctionne bien sur Redshift, car c'est ce qui a été mentionné à maintes reprises dans les notes ; cependant, dbt se contente de compiler le SQL et c'est l'entrepôt de données lui-même qui gère le gros du travail. Utiliser Git et le contrôle de version pour les modèles de données est agréable car cela empêche le modèle de données d'exploser. dbt s'intègre également à notre infrastructure AWS sans nécessiter de larmes. La vitesse est suffisante, car il transmet simplement le travail à la base de données ; bien que, avoir la logique de transformation en un seul endroit soit utile. Avis collecté par et hébergé sur G2.com.

Le coût devient de plus en plus cher et étant donné que dbt est essentiellement un compilateur SQL sophistiqué. dbt a également de mauvaises performances lorsqu'il s'agit de données non structurées (bien que cela puisse être dû à Redshift) ; je ne suis pas sûr, tout semble se mélanger. De plus, la courbe d'apprentissage est très raide si vous n'êtes pas familier avec Jinja et la configuration correcte des fichiers YAML. Avis collecté par et hébergé sur G2.com.

Le fait intéressant à propos de dbt est qu'il simplifie le processus de gestion des pipelines de données. Il a été mis en œuvre avec succès et j'en dépends quotidiennement, d'où ma fréquence d'utilisation élevée. Le nombre de fonctionnalités telles que les tests de modèles, la documentation et le contrôle de version est particulièrement apprécié par moi. Il a minimisé les erreurs dans nos processus de conversion et a beaucoup simplifié le travail d'équipe, aidant ainsi l'équipe à maintenir des pipelines uniformes et structurés à travers les projets. Avis collecté par et hébergé sur G2.com.

Ce que je n'aime pas avec dbt, c'est qu'il peut être difficile de résoudre les erreurs de modèle. Les fonctionnalités sont bonnes, mais les messages d'erreur ne sont pas toujours utiles pour révéler le problème. Une utilisation fréquente implique que de tels moments ont la capacité de perturber les flux de travail puisque je l'utilise souvent. Il y a un support client réactif, mais les correctifs pour les cas particuliers ne sont pas toujours immédiatement disponibles, donc l'équipe doit parfois vérifier les résultats avant de continuer. Avis collecté par et hébergé sur G2.com.