Recensioni e Dettagli del Prodotto Databricks

We use Databricks daily as our core data platform for building and running pipelines across a medallion architecture, from extracting data out of SAP and Arkieva all the way to reporting-ready datasets. The notebook experience is intuitive, the feature set is massive, and Asset Bundles have made our CI/CD story with Azure DevOps really solid. Integration with cloud services was smooth, and once things are set up they just work. The learning curve can be steep for newer team members, especially around things like Unity Catalog and DABs, and costs can creep up if you're not staying on top of cluster configurations. Support is decent and the docs are strong enough that we rarely need to open a ticket. Overall, it's a powerful platform that does a lot under one roof, and it's hard to imagine our data engineering workflow without it. Recensione raccolta e ospitata su G2.com.

The cost can creep up fast if you're not careful with cluster sizing and job configurations, so it takes some effort to keep things optimized. Also, the learning curve for newer team members can be steep, especially around things like Asset Bundles, Unity Catalog, and getting the CI/CD pieces wired up properly. Recensione raccolta e ospitata su G2.com.

What I like most about Databricks is how it streamlines the entire data workflow by bringing processing, analysis, and machine learning into one platform. The collaborative notebook environment makes it easy to share code, context, and reasoning with teammates, which helps everyone stay aligned. It also performs strongly on large datasets while abstracting away most of the cluster management, so I can focus on solving the problem rather than dealing with infrastructure. On top of that, centralized access control and clear visibility into data usage support responsible data governance, offering a solid balance between power and ease of use. Recensione raccolta e ospitata su G2.com.

Databricks has a few downsides, although many of them feel more like trade-offs than outright negatives. My biggest concern is cost: if clusters aren’t managed carefully, expenses can climb quickly, even though the platform can scale very efficiently when it’s tuned properly. There’s also a real learning curve with Spark and distributed computing concepts, and debugging or performance tuning can be more involved than with simpler tools. Lastly, because it’s a managed service, you give up some low-level control compared with self-hosted systems, but the upside is that it takes a lot of the operational and infrastructure work off your plate. Recensione raccolta e ospitata su G2.com.

Unity Catalog è stato il singolo valore aggiunto più grande per la nostra migrazione aziendale. Siamo passati da un'architettura Hive Metastore a Unity Catalog e abbiamo ottenuto governance centralizzata, tracciamento della lineage e controllo degli accessi dettagliato su tutti i nostri asset di dati senza dover integrare strumenti di terze parti. Per un'organizzazione multi-dominio (finanza, produzione, catena di approvvigionamento, approvvigionamento), avere un unico catalogo che applica una denominazione e permessi coerenti attraverso i livelli bronzo, argento, oro e platino ci ha risparmiato settimane di lavoro manuale sulle policy.

UI/UX: L'esperienza del notebook con Spark SQL e PySpark inline, combinata con il browser dei file del workspace, rende semplice per il nostro team sviluppare e testare trasformazioni in modo iterativo. L'editor SQL per query ad-hoc contro le tabelle di Unity Catalog è pulito e reattivo.

Integrazioni: Il supporto nativo per Delta Lake significa che non gestiamo conversioni di formato. L'integrazione con Azure Key Vault tramite secret scopes (dbutils.secrets.get) mantiene le credenziali fuori dal codice. L'integrazione ADF per l'orchestrazione nel nostro ambiente V1 è stata senza problemi, e i Databricks Asset Bundles (DAB) per il deployment V2 ci offrono un percorso CI/CD pulito con configurazioni databricks.yml mirate a dev/qa/prod senza scripting personalizzato.

Prestazioni: Passare a CTE rispetto a viste temporanee nei nostri notebook Gold ha ridotto notevolmente la pressione sulla memoria del cluster. La possibilità di dimensionare correttamente i cluster per ambiente (1 worker per dev, 3 per produzione) con nodi Standard_D4ds_v5 mantiene i costi prevedibili pur mantenendo le prestazioni per i nostri carichi di lavoro ETL batch.

Prezzi/ROI: Il modello di calcolo pay-as-you-go abbinato a cluster in modalità di sicurezza per singolo utente significa che non stiamo sovrapponendo le risorse. Consolidare il nostro livello ETL, di governance e di BI in un'unica piattaforma ha eliminato le licenze per strumenti separati di catalogazione, orchestrazione e qualità dei dati.

AI/Intelligenza (Genie): Genie Spaces è stata una vittoria inaspettata. I nostri analisti aziendali in finanza e catena di approvvigionamento possono porre domande in linguaggio naturale contro tabelle Gold/Platinum curate senza scrivere SQL. Ha ridotto il numero di richieste di report ad-hoc che arrivano al team dei dati, offrendo agli utenti di dominio un percorso self-service che rispetta comunque i permessi di Unity Catalog.

Supporto/Onboarding: La documentazione è completa e l'approccio basato sulle competenze per l'apprendimento (bundle, Unity Catalog, lavori, SQL) si adatta bene a come il nostro team lavora effettivamente. L'onboarding di nuovi ingegneri all'architettura V2 ha richiesto circa la metà del tempo rispetto a V1 perché le convenzioni della piattaforma (architettura medaglione, asset bundle, denominazione del catalogo) sono ben documentate e coerenti. Recensione raccolta e ospitata su G2.com.

UI/UX: L'editor del notebook sembra ancora indietro rispetto agli IDE dedicati. Nessuna ricerca nativa su più file, supporto limitato per il refactoring e l'interfaccia utente dell'integrazione git è goffa per i team che gestiscono dozzine di notebook attraverso pacchetti di flussi di lavoro. Abbiamo finito per fare tutto lo sviluppo reale in VS Code e trattare lo spazio di lavoro Databricks come un obiettivo di distribuzione, il che aggiunge attrito. Il browser dei file dello spazio di lavoro non gestisce bene le strutture delle cartelle quando hai più di 50 notebook organizzati per dominio: non ci sono filtri, tag o preferiti.

Integrazioni: I Databricks Asset Bundles (DAB) sono un passo avanti, ma la documentazione presenta lacune per distribuzioni complesse multi-bundle. Gestiamo un bundle Global_Utilities condiviso da cui dipendono altri bundle di flussi di lavoro, e far funzionare in modo affidabile i riferimenti tra bundle attraverso gli obiettivi dev/qa/prod ha richiesto molti tentativi ed errori. L'integrazione ADF-to-Databricks funziona, ma il debug delle esecuzioni di pipeline fallite significa saltare tra l'interfaccia di monitoraggio ADF e le esecuzioni di job Databricks senza una vista unificata. Una stretta integrazione tra orchestrazione e monitoraggio del calcolo farebbe risparmiare ore di risoluzione dei problemi.

Prestazioni: I tempi di avvio a freddo dei cluster rimangono un punto dolente per i flussi di lavoro di sviluppo. Avviare un cluster a nodo singolo Standard_D4ds_v5 richiede 4-7 minuti, il che interrompe il flusso quando si sta iterando sulla logica del notebook. Il calcolo serverless aiuta ma non è ancora disponibile per tutti i tipi di carico di lavoro, e il premio di costo è difficile da giustificare per ambienti di sviluppo/test.

Prezzi/ROI: Il modello di prezzo DBU è opaco per la pianificazione della capacità. Stimare i costi mensili per un progetto con oltre 30 job programmati, cluster di sviluppo interattivi e query SQL warehouse richiede la costruzione di fogli di calcolo personalizzati perché gli strumenti di gestione dei costi integrati non forniscono una previsione chiara per flusso di lavoro o dominio. Siamo stati sorpresi da picchi di costo da job che sono durati più del previsto senza un modo semplice per impostare avvisi di budget per job.

Supporto/Onboarding: I tempi di risposta del supporto aziendale sono incoerenti. Problemi critici con i permessi di Unity Catalog durante la nostra migrazione hanno richiesto 3-5 giorni lavorativi per la triage iniziale, il che ha bloccato la nostra timeline di distribuzione. I forum della comunità sono utili per modelli comuni, ma per i casi limite di Unity Catalog (lineage cross-catalog, eredità complessa dei permessi), la base di conoscenza è scarsa.

AI/Intelligenza: Genie è promettente ma ancora grezzo per l'uso in produzione. Ha difficoltà con join su più di 3-4 tabelle, a volte genera SQL errato contro il nostro livello Gold, e non c'è un modo semplice per curare o correggere le sue risposte per migliorare l'accuratezza nel tempo. I nostri utenti aziendali si sono entusiasmati, l'hanno provato, hanno ottenuto risposte sbagliate su domande moderatamente complesse e hanno perso fiducia. Un ciclo di feedback in cui gli esperti di dominio possono segnalare e correggere gli output di Genie lo renderebbe veramente pronto per la produzione. Recensione raccolta e ospitata su G2.com.

As a data engineer, Databricks has become my go-to platform for end-to-end data work. The ease of use is outstanding notebooks, Delta Live Tables, and Genie all have intuitive interfaces that reduce rampup time significantly. Implementation was smooth thanks to excellent documentation and responsive customer support that actually resolves issues fast. I use it daily, and the sheer number of features from Unity Catalog to AI/BI Genie keeps growing. Integration with cloud storage, BI tools, and ML frameworks is seamless, making it a true unified platform. Recensione raccolta e ospitata su G2.com.

One challenge is the lack of cost transparency at a granular job level it's difficult to pinpoint exactly which pipeline or notebook is driving up DBU consumption without investing in custom monitoring. Auto scaling clusters, while powerful, can silently balloon costs overnight if not carefully configured with proper limits. Additionally, the SQL warehouse tiers can be confusing to choose from upfront, making budget planning tricky for teams. A built in cost allocation dashboard per job or user would be a huge improvement for day to day cost governance. Recensione raccolta e ospitata su G2.com.

Databricks si distingue per la sua capacità di gestire flussi di lavoro dati end-to-end senza la necessità di strumenti multipli. Posso ingerire dati grezzi, trasformarli e pubblicare dataset curati dallo stesso ambiente. Funzionalità come la pianificazione dei lavori, i cluster con scalabilità automatica e le tabelle Delta rendono le pipeline più stabili e facili da mantenere nel tempo. Mi piace anche come l'integrazione del controllo di versione mantenga lo sviluppo organizzato, specialmente quando più ingegneri lavorano sulle stesse pipeline. Recensione raccolta e ospitata su G2.com.

Una sfida è mantenere l'uso del calcolo sotto controllo, specialmente quando le pipeline si espandono o vengono eseguite più frequentemente. Senza un monitoraggio adeguato, i costi possono aumentare più rapidamente del previsto. Inoltre, il debug dei lavori falliti può a volte richiedere tempo, in particolare quando si affrontano dipendenze complesse o problemi a livello di Spark. La piattaforma è potente, ma richiede un certo livello di comprensione tecnica per essere ottimizzata completamente. Recensione raccolta e ospitata su G2.com.

Quello che mi piace di più di Databricks è come semplifica l'intero flusso di lavoro dei dati. Invece di passare tra diversi strumenti per l'elaborazione dei dati, l'analisi e il machine learning, tutto è disponibile in un unico posto. L'ambiente notebook rende la collaborazione davvero fluida, sembra naturale lavorare con i compagni di squadra, condividere codice e spiegare la logica senza sforzi extra.

Un'altra cosa che apprezzo è la performance. Lavorare con grandi set di dati può essere solitamente doloroso, ma Databricks lo gestisce in modo efficiente in background. Non devi preoccuparti troppo di gestire i cluster o ottimizzare tutto manualmente, funziona semplicemente la maggior parte delle volte, il che ti permette di concentrarti di più sulla risoluzione del problema reale piuttosto che sulla gestione dell'infrastruttura.

Quello che spicca anche è il modo in cui gestisce la governance e l'organizzazione dei dati. Con funzionalità come il controllo centralizzato degli accessi e una migliore visibilità sull'uso dei dati, diventa molto più facile gestire i dati in modo responsabile, specialmente nei progetti più grandi. Nel complesso, offre un buon equilibrio tra potenza e facilità d'uso, ed è per questo che mi piace lavorarci. Recensione raccolta e ospitata su G2.com.

Una cosa che non mi piace particolarmente di Databricks è che può diventare costoso piuttosto rapidamente, specialmente se i cluster non sono gestiti correttamente. Se dimentichi di terminare i cluster o esegui carichi di lavoro pesanti senza ottimizzazione, i costi possono aumentare senza molta visibilità all'inizio. Per i team che stanno ancora imparando o sperimentando, questo può diventare una preoccupazione.

Un altro svantaggio è che il debug può a volte sembrare un po' complicato, in particolare quando si lavora con lavori distribuiti. Gli errori non sono sempre chiari e rintracciare i problemi su più nodi può richiedere più tempo rispetto a lavorare in un ambiente locale più semplice. Richiede un certo livello di esperienza per comprendere rapidamente e risolvere i problemi.

Inoltre, sebbene la piattaforma sia potente, ha una certa curva di apprendimento per i principianti. Concetti come la configurazione dei cluster, la pianificazione dei lavori e la governance dei dati non sono sempre molto intuitivi all'inizio. Ci vuole un po' di tempo pratico prima di sentirsi completamente a proprio agio nel navigare e utilizzare tutto in modo efficiente. Recensione raccolta e ospitata su G2.com.

Databricks è particolarmente utile perché riunisce ingegneria dei dati, analisi e machine learning in un'unica piattaforma unificata, riducendo la necessità di gestire più strumenti separati. Costruito su Apache Spark, può elaborare rapidamente enormi set di dati e scalare senza problemi man mano che i carichi di lavoro crescono, rendendolo una scelta forte per i casi d'uso di big data. Supporta anche notebook collaborativi dove i team possono lavorare insieme in linguaggi come Python e SQL, il che facilita la collaborazione efficace tra data scientist e ingegneri.

Con la sua architettura lakehouse alimentata da Delta Lake, Databricks combina la flessibilità dei data lake con l'affidabilità dei data warehouse, contribuendo a garantire una migliore coerenza e prestazioni dei dati. Inoltre, si integra con strumenti come MLflow per semplificare il ciclo di vita del machine learning da un capo all'altro, dalla sperimentazione al deployment. In generale, Databricks semplifica i flussi di lavoro complessi dei dati, migliora le prestazioni e aiuta le organizzazioni a costruire soluzioni scalabili di dati e AI in modo più efficiente. Recensione raccolta e ospitata su G2.com.

Databricks ha alcune limitazioni, anche se molte di esse sembrano più compromessi che veri e propri aspetti negativi. Un inconveniente frequentemente citato è il costo: sebbene la piattaforma sia flessibile e scalabile, le spese possono aumentare rapidamente se i cluster non vengono gestiti con attenzione. Allo stesso tempo, quel costo spesso riflette la sua capacità di gestire carichi di lavoro molto grandi in modo efficiente quando è ottimizzato correttamente.

Un'altra considerazione è la curva di apprendimento, soprattutto per i principianti che non hanno familiarità con Apache Spark o i sistemi distribuiti. Quella complessità può essere impegnativa all'inizio, ma porta anche il vantaggio di potenti capacità una volta che ci si sente a proprio agio con essa. Alcuni utenti trovano anche che il debug e l'ottimizzazione delle prestazioni siano meno diretti rispetto a strumenti più semplici; tuttavia, Databricks offre funzionalità di monitoraggio e ottimizzazione dettagliate che possono rendere questi compiti più facili nel tempo.

Infine, poiché è una piattaforma gestita, può esserci una sensazione di controllo ridotto rispetto ai sistemi completamente autogestiti. In cambio, elimina gran parte dell'onere operativo che deriva dalla gestione dell'infrastruttura. Nel complesso, sebbene queste aree possano essere viste come gli aspetti "meno utili", sono spesso bilanciate dalla scalabilità, integrazione e guadagni di produttività della piattaforma. Recensione raccolta e ospitata su G2.com.

Quello che amo di più di Databricks è quanto tutto sia veloce e connesso. Rispetto ad altre piattaforme, gestisce pipeline di big data pesanti senza alcuna difficoltà. Ma la parte migliore è quanto sia facile utilizzare quei dati una volta elaborati. Che io debba costruire un rapido dashboard analitico o addestrare modelli di machine learning personalizzati specifici per i nostri dati, tutto si connette senza problemi. Elimina semplicemente il mal di testa di spostare i dati e ti permette di fare tutto in un unico posto. Recensione raccolta e ospitata su G2.com.

Se dovessi scegliere cosa non mi piace, si riduce principalmente al costo e a quanto possa essere complesso.

Innanzitutto, può diventare costoso molto rapidamente. Se non stai attento a gestire i tuoi cluster di calcolo e a spegnerli quando hai finito, le bollette possono aumentare senza che te ne accorga.

In secondo luogo, a volte può sembrare eccessivo per compiti più semplici. Poiché è costruito per gestire grandi quantità di dati, dover scavare tra complicati registri di errore quando qualcosa si rompe può essere un vero mal di testa rispetto all'uso di strumenti più leggeri. Recensione raccolta e ospitata su G2.com.

L'esperienza della piattaforma unificata è davvero difficile da battere: avere MLflow per il tracciamento degli esperimenti, Unity Catalog per la governance, la ricerca vettoriale e gli endpoint serverless tutti in un unico posto elimina gran parte dell'attrito infrastrutturale. Le pipeline di ingegneria delle caratteristiche e il deployment dei modelli sembrano coesi piuttosto che assemblati insieme. Il flusso di lavoro ibrido SQL warehouse + notebook rende anche facile il passaggio tra l'ingegneria dei dati e il lavoro di ML senza cambiare strumenti. Recensione raccolta e ospitata su G2.com.

Gli endpoint serverless presentano alcune difficoltà — l'inizializzazione del contesto Spark si comporta diversamente rispetto ai cluster interattivi, il che può causare errori silenziosi se non si presta attenzione a dove si inizializzano le cose. La latenza di avvio a freddo sui serverless è anche evidente per gli endpoint di produzione a basso traffico. La documentazione su alcune delle funzionalità più recenti (come le configurazioni degli indici di ricerca vettoriale) tende a essere in ritardo rispetto al comportamento effettivo del prodotto, quindi si finisce per fare molti tentativi ed errori. Recensione raccolta e ospitata su G2.com.

Usavamo ADF per ottenere dati da SQL Server e poi lavorarci su in Databricks prima di inserirli in Salesforce. L'intero processo richiedeva più di un'ora perché ADF aggiungeva lavoro extra.

Ora tutto avviene all'interno di Databricks. Trasformiamo i dati grezzi in Databricks e li inseriamo in Salesforce tutto in un unico posto. Questo ha reso l'intero processo molto più veloce, ora richiede 10 minuti. Questo è un miglioramento rispetto a quello che avevamo con ADF.

Delta Lake è stato anche davvero utile. Ci aiuta a tenere traccia dei cambiamenti e a tornare indietro se qualcosa va storto. Possiamo vedere cosa è successo prima. Correggere gli errori facilmente.

Delta Lake assicura anche che i dati siano buoni prima di entrare nel pipeline. Impedisce ai dati di entrare e causare problemi successivamente in Salesforce. Questo rende l'intero processo più affidabile e più facile da gestire. Recensione raccolta e ospitata su G2.com.

Databricks è davvero bravo in quello che fa.. A volte ci vuole un po' per avviare e far funzionare il cluster.. L'interfaccia utente è lenta a volte. Questo può essere fastidioso quando abbiamo fretta di fare le cose per Salesforce. I connettori Salesforce in Databricks possono essere un po' complicati da usare. Spesso devono essere configurati correttamente e non funzionano come ci aspettiamo. Questo significa che dobbiamo lavorare quando cerchiamo di risolvere i problemi o tenere d'occhio le pipeline, in Databricks per Salesforce. Recensione raccolta e ospitata su G2.com.