Con l'avvento dell'automazione, il volume, la dimensione e la velocità dei dati sono in continua evoluzione. La preoccupazione maggiore che i team di dati affrontano ora è la gestione di questa enorme quantità di dati. L'aumento dei dati comporta la necessità di immagazzinarli. Il processo di data warehousing consiste in tre passaggi fondamentali: estrarre, trasformare e caricare, generalmente eseguiti utilizzando strumenti ETL.

Gli strumenti ETL hanno numerosi usi aziendali. Tradizionalmente, i dati erano più statici e l'architettura del sistema era monolitica. L'ETL veniva eseguito in batch e il processo richiedeva da mezza giornata a un'intera giornata per essere completato. Uno dei primi casi d'uso dell'ETL era la creazione di report analitici. Recentemente, gli analisti di dati hanno scoperto che i dati sono operativi, come i dati ottenuti dalle transazioni quotidiane.

ETL vs. ELT vs. Reverse ETL

L'attuale architettura del data warehouse esegue il processo ETL in tre semplici passaggi. I dati presenti in varie forme come file flat, database e servizi web vengono estratti da più fonti e poi passati per la trasformazione o l'elaborazione. In questo passaggio, i dati vengono puliti ed elaborati, dopodiché vengono caricati nel magazzino. Il processo di ETL termina in un data mart che è presente nella parte superiore del data warehouse.

L'ELT, d'altra parte, coinvolge gli stessi processi ma in una sequenza diversa. I dati vengono estratti da varie fonti e poi caricati nel magazzino. I dati vengono quindi elaborati secondo i diversi usi aziendali prima di essere utilizzati.

Reverse ETL è un'inversione esatta del processo ETL. La necessità di una visibilità costante dei dati dei clienti su tutti i sistemi ha portato all'emergere del reverse ETL. Questo strumento viene utilizzato per inviare dati in tempo reale a vari sistemi SaaS. Ad esempio, inviare dati dal magazzino a Salesforce per tenere traccia dell'elenco di tutti i clienti di alto profilo.

Fonte: Deloitte

ETL/ELT e Reverse ETL sono due facce della stessa medaglia: uno è utilizzato per l'integrazione dei dati e l'altro per le operazioni sui dati.

L'ELT sta guadagnando popolarità

Tradizionalmente, l'approccio ai database è sempre stato schema on write: i punti dati dovevano essere dati un modello prima dell'archiviazione. Quando gli utenti volevano recuperare i dati, erano già in un formato gestibile. Questa pratica era per mantenere la coerenza. Tuttavia, con il tempo e la quantità di dati, è risultata restrittiva. Anche i dati leggermente non strutturati venivano rifiutati perché non si allineavano al modello. Gli strumenti ETL seguivano lo schema-on-write. Gli esperti IT hanno capito che i dati grezzi o meno strutturati erano anche preziosi per l'organizzazione. E per estrarre valore da essi, era necessario modificare l'approccio ai database. Così è nato lo schema on read.

Lo schema on read consente di memorizzare nel sistema sia dati non strutturati che strutturati e di formattarli ogni volta che vengono recuperati. Gli strumenti ELT seguono questo approccio per rendere i dati utili e sono più flessibili da usare. Inizialmente, i dati venivano memorizzati in server on-premises; quindi, l'archiviazione dei dati era molto più costosa di quanto non sia oggi. Molti strumenti ELT e ETL oggi lavorano a braccetto con i data warehouse cloud che si adattano automaticamente ai volumi di dati. Con l'ingresso dei data warehouse cloud, l'archiviazione dei dati è possibile a costi ridotti. Gli strumenti ETL e ELT sono mezzi di integrazione dei dati utilizzando approcci diversi.

Il reverse ETL sostituirà ETL/ELT?

Ora che sappiamo esattamente cosa fanno gli strumenti ETL e ELT, è tempo di approfondire il reverse ETL. Alcune persone potrebbero chiedersi, se ci sono già due approcci per memorizzare i dati nel magazzino, perché andare al contrario? È per sostituire ETL e ELT?

La risposta breve è no. Le aziende hanno carichi di dati che giacciono nel magazzino e rimangono inutilizzati. Devono essere resi visibili per sapere quale valore hanno da offrire e ulteriormente attivati. Mentre gli scienziati dei dati hanno costruito Piattaforme di Dati dei Clienti (CDP) che integrano tutti i dati dei clienti sotto un unico tetto, questa può essere solo una soluzione parziale per scoprire i dati nascosti. È qui che le aziende hanno bisogno del reverse ETL.

Mentre gli strumenti ETL e ELT forniscono alle funzioni aziendali dati puliti ed elaborati, è cruciale capire se possono effettivamente utilizzare questi dati per prendere decisioni. Ad esempio, mentre i team di marketing possono memorizzare i dati in Hubspot per le campagne, il reverse ETL aiuta questi team ad accedere ai dati relativi alle campagne per rendere il targeting più specifico. Allo stesso modo, un database di clienti in Salesforce aiuta i team di vendita a targetizzarli con messaggi specifici. Molti strumenti di reverse ETL spostano i dati dai data warehouse a vari CRM affinché le diverse funzioni aziendali possano accedere a questi dati e prendere decisioni. Il reverse ETL rende i dati più operativi e li arricchisce per renderli rilevanti per i clienti.

Gli strumenti di reverse ETL aiutano a rompere i silos e danno ai vari team visibilità sui dati richiesti, soddisfacendo l'attivazione dei dati. L'analitica operativa è un approccio emergente per utilizzare i dati; è esattamente ciò che fa il reverse ETL. Le aziende devono estrarre i dati dai silos centralizzati e metterli nelle varie funzioni aziendali.

La nuova categoria Reverse ETL su G2 è cresciuta in traffico dalla sua creazione. Gli acquirenti hanno mostrato interesse sia per gli strumenti ETL che per quelli di reverse ETL, come è evidente dal traffico su G2. Il traffico verso la categoria Reverse ETL su G2 ha visto una crescita di oltre il 100% dalla sua nascita. Il traffico verso la pagina della categoria ETL Tools su G2 sta crescendo costantemente: 32% da luglio 2022. È chiaro che le aziende sono interessate a provare la combinazione degli strumenti, che vediamo come una tendenza futura nello spazio ETL.

Il futuro degli strumenti ETL

Il processo ETL è stato utilizzato sin dai vecchi metodi di data warehousing, e questi sono cambiati nel tempo. L'ELT è l'approccio moderno per memorizzare i dati utilizzando risorse scalabili, mentre il reverse ETL arricchisce i sistemi esterni con dati puliti utilizzando ETL/ELT.

Una combinazione di ETL/ELT e reverse ETL può aiutare le organizzazioni a derivare migliori intuizioni dai dati che ottengono. I team centrati sulle operazioni possono accedere a questi dati puliti per eseguire nuove campagne di vendita e marketing e copiare i dati nelle applicazioni.

Modificato da Jigmee Bhutia