Che cos'è la pulizia dei dati? Perché dovresti preoccuparti dei dati sporchi

I dati sono la valuta del XXI secolo.

Sono al centro di quasi ogni decisione che prendi. I dati informano le tue strategie, ti permettono di valutare i progressi e il successo, e sono il fulcro di alcune delle tecnologie più avanzate e sofisticate del mondo.

Le aziende raccolgono molti dati sulle loro operazioni, ma non tutti sono utili. La maggior parte di questi dati è sporca, obsoleta o duplicata. Informazioni pulite e aggiornate ti danno il potere di prendere decisioni aziendali intelligenti. Con informazioni chiare e accurate, puoi creare campagne di marketing mirate, migliorare il tuo sito web e ottimizzare la tua strategia di e-commerce. Ma se i tuoi dati sono sporchi, tutto quel tempo, denaro e sforzo vanno sprecati.

Non è un segreto che le aziende con accesso a dataset di alta qualità prendano le migliori decisioni. Riconoscono il valore di avere dati affidabili a portata di mano.

La pulizia dei dati è il primo passo per pulire i tuoi dati per le applicazioni di business intelligence (BI) o di analisi. Utilizzare servizi e soluzioni di pulizia dei dati (come software di qualità dei dati) è necessario per garantire set di dati accurati e affidabili per l'analisi e il massimo valore.

La pulizia dei dati è una parte vitale del processo complessivo di gestione dei dati e uno dei componenti fondamentali del lavoro di preparazione dei dati che prepara i set di dati per l'uso nelle applicazioni di BI e data science. Gli analisti della qualità dei dati, gli ingegneri e i professionisti della gestione dei dati eseguono tipicamente la pulizia dei dati. Ma anche i data scientist, gli analisti BI e gli utenti aziendali possono pulire i dati o partecipare al processo per le loro applicazioni.

La pulizia dei dati rimuove discrepanze, corregge errori di sintassi e refusi, rettifica problemi come codici mancanti e campi vuoti, trova punti dati duplicati e normalizza i set di dati. Aiuta a creare risposte affidabili e semplifica il processo analitico come caratteristica fondamentale della data science.

La pulizia dei dati fornisce set di dati coerenti e di alta qualità per l'analisi dei dati e strumenti BI per accedere facilmente e percepire dati accurati per qualsiasi problema.

La maggior parte della pulizia dei dati è possibile con applicazioni software ma a volte viene eseguita manualmente. Sebbene la pulizia dei dati possa essere scoraggiante, è cruciale per la gestione dei dati organizzativi.

Perché la pulizia dei dati è importante?

Le aziende spesso memorizzano molte informazioni come dati aziendali, dei dipendenti e, in alcuni casi, dei clienti o dei clienti. Le aziende, a differenza degli individui, devono garantire la privacy e la sicurezza dei dati sia internamente che esternamente. La pulizia dei dati protegge questi dati sensibili da perdite e attori malintenzionati.

Le pratiche aziendali e il processo decisionale sono più guidati dai dati poiché le aziende cercano di sfruttare l'analisi dei dati per migliorare le prestazioni aziendali e ottenere un vantaggio competitivo. I dati puliti sono essenziali per i team di BI e big data, i leader aziendali, i responsabili marketing, i rappresentanti di vendita e i dipendenti operativi, specialmente nel retail, nei servizi finanziari e in altre aziende ad alta intensità di dati.

Una pulizia inadeguata dei record dei clienti e di altri dati aziendali porta a informazioni errate. Questo può risultare in giudizi aziendali errati, strategie improprie, opportunità perse e problemi operativi, tutti fattori che possono aumentare le spese e ridurre i ricavi e i profitti.

Componenti di dati di qualità

Determinare la qualità dei dati richiede la valutazione dei suoi attributi, seguita dalla ponderazione in termini di ciò che è più rilevante per la tua azienda e le tue applicazioni. I dati di alta qualità devono soddisfare vari requisiti di qualità. Alcuni di questi sono:

• Validità si riferisce a quanto bene i dati aderiscono a linee guida o vincoli aziendali predefiniti.
• Completezza è la misura in cui tutti i dati richiesti sono accessibili.
• Coerenza dei dati misura quanto i dati siano coerenti sia all'interno che tra i set di dati.
• Uniformità è il grado in cui le informazioni sono rappresentate utilizzando lo stesso sistema di misurazione.
• Accuratezza misura quanto i dati aziendali corrispondano ai valori effettivi.

I team di gestione dei dati sviluppano metriche di qualità dei dati per misurare questi attributi, i tassi di errore e il numero totale di difetti nei set di dati. Molti esperti valutano l'impatto aziendale dei problemi di qualità dei dati e il valore potenziale di affrontarli utilizzando sondaggi e interviste con i leader aziendali come parte del processo.

Che tipo di errori corregge la pulizia dei dati?

La pulizia dei dati gestisce molti problemi e difficoltà nei set di dati, come valori di dati incompleti, non validi, incoerenti e corrotti. Alcuni di questi errori si verificano a causa di errori umani durante il processo di inserimento dei dati, mentre altri derivano da strutture, formati e lingue di dati diversi in sistemi diversi.

Pulizia dei dati vs. trasformazione dei dati

I data warehouse aiutano con l'analisi dei dati, la reportistica, la visualizzazione dei dati e il processo decisionale informato. La trasformazione dei dati e la pulizia dei dati sono due strategie comuni di data warehousing. La pulizia dei dati è il processo di eliminazione dei dati dal tuo set di dati che non appartengono. La trasformazione dei dati è il processo di conversione dei dati da una struttura o formato a un altro.

Le tecniche di trasformazione dei dati, spesso note come data munging o data wrangling, traducono e mappano i dati da un formato di dati più "grezzo" a un formato adatto per l'elaborazione e l'archiviazione.

La pulizia dei dati è a volte confusa con la trasformazione dei dati. Questo perché la trasformazione dei dati comporta il cambiamento dei dati da un formato a un altro per adattarsi a un determinato modello. La differenza è che il data wrangling non elimina i dati che non fanno parte del set di dati target, ma il data scrubbing sì.

Passaggi e tecniche di pulizia dei dati

Sebbene le strategie di pulizia dei dati differiscano in base al tipo di dati, puoi utilizzare questi passaggi di base per creare un quadro standardizzato per la pulizia dei dati.

Passaggio 1: Ispeziona i set di dati

Per prima cosa, valuta e verifica i dati per determinarne la qualità e evidenziare i problemi che gli analisti devono rettificare. Questa fase include il data profiling, che identifica le relazioni tra i componenti dei dati, esamina la qualità dei dati e raccoglie statistiche sui set di dati per scoprire inesattezze, incoerenze e altri problemi.

Passaggio 2: Rimuovi le osservazioni irrilevanti

Il primo passo nella pulizia dei dati è eliminare le osservazioni indesiderate (o punti dati), inclusi dati non correlati e irrilevanti. Ad esempio, quando si esaminano i dati sui clienti millennial, se il tuo set di dati include osservazioni di generazioni precedenti, devi eliminare tali osservazioni. Questo migliora l'efficienza dell'analisi, riduce le distrazioni dal tuo obiettivo principale e fornisce un set di dati più accessibile e altamente funzionale.

Puoi anche rimuovere i dati duplicati in questa fase. I dati duplicati vengono generati tramite set di dati uniti da numerose fonti, dati di scraping o dati da clienti o dipartimenti diversi.

Passaggio 3: Correggi gli errori strutturali

Gli errori strutturali si verificano a causa di una gestione inadeguata dei dati, come la capitalizzazione irregolare, comune durante l'inserimento manuale dei dati. Queste discrepanze possono classificare erroneamente gruppi o classi.

Supponiamo di avere un set di dati con informazioni sulle caratteristiche di vari metalli. "Ferro" e "ferro" possono essere due classi distinte. Assicurarsi che la capitalizzazione sia corretta e coerente tra le fonti di dati pulisce i dati e li rende più facili da usare.

Inoltre, controlla le categorie etichettate in modo errato. Ad esempio, "Ferro" e "Fe" (il simbolo molecolare del ferro) possono essere classificati come classi diverse, nonostante siano lo stesso. Altri segnali di allarme sono l'uso di trattini bassi, trattini e altre punteggiature errate.

Passaggio 4: Standardizza i dati

Correggere gli errori strutturali aiuta a normalizzare i tuoi dati, ma va oltre. Correggere gli errori è cruciale, ma devi anche verificare che tutti i tipi di celle aderiscano allo stesso sistema di regole. Ad esempio, dovresti decidere se i tuoi valori sono tutti in minuscolo o tutti in maiuscolo e attenerti a questo in tutto il tuo set di dati.

La standardizzazione comporta anche l'uso dello stesso sistema di misurazione per cose come i dati numerici. Ad esempio, utilizzare sia miglia che chilometri nello stesso set di dati produrrà problemi.

Passaggio 5: Rimuovi eventuali outlier indesiderati

Gli outlier sono punti dati che si discostano significativamente dal resto del record. Possono creare problemi con alcuni modelli di dati e valutazioni. Sebbene gli outlier possano influenzare i risultati di uno studio, dovrebbero sempre essere rimossi con discrezione.

Se hai una causa valida per eliminare un outlier, come un inserimento dati errato, farlo migliorerà le prestazioni dei dati con cui stai lavorando. Tuttavia, la presenza di un outlier potrebbe occasionalmente confermare un'ipotesi.

Ricorda che l'esistenza di un outlier non implica che sia errato. Questo passaggio è necessario per determinare l'accuratezza dei punti dati. Considera di eliminare un outlier se sembra essere irrilevante per l'analisi o è un errore.

Passaggio 6: Affronta gli errori di dati contraddittori

Un altro problema tipico da tenere d'occhio sono gli errori di dati contraddittori o cross-set. Gli errori contraddittori si verificano quando un intero record ha dati contrastanti o incompatibili, come un registro dei tempi di gara degli atleti.

Un problema cross-set si verifica quando la colonna che mostra il tempo totale trascorso a correre non è uguale alla somma di ogni tempo di gara. Altri esempi includono il voto di uno studente abbinato a un campo che offre solo alternative "pass" o "fail" o le tasse di un dipendente che sono superiori alla loro retribuzione totale.

Passaggio 7: Correggi errori di conversione e sintassi

Dopo aver risolto eventuali errori rimanenti, il contenuto del tuo foglio di calcolo o set di dati potrebbe sembrare a posto. Tuttavia, devi anche assicurarti che tutto sia in linea dietro le quinte.

La conversione del tipo, o typecasting, si riferisce al trasferimento dei dati da un tipo di dati a un altro. Ad esempio, i numeri sono dati numerici, ma la valuta utilizza un valore di valuta. Devi garantire che i numeri siano registrati come dati numerici, il testo sia memorizzato come input di testo, le date siano memorizzate come oggetti e così via.

Passaggio 8: Gestisci i dati mancanti

Non puoi trascurare i dati mancanti perché molti algoritmi di machine learning non li riconosceranno. Ci sono diversi approcci per gestire i dati mancanti. La prima opzione è eliminare le voci relative ai dati mancanti. La seconda opzione è stimare i dati mancanti in base ad altri dati comparabili. Tuttavia, nella maggior parte dei casi, entrambe queste soluzioni hanno un'influenza negativa sul tuo set di dati in modi diversi.

La rimozione dei dati spesso comporta la perdita di altre informazioni critiche. L'indovinare i dati può rafforzare modelli stabiliti, che potrebbero essere errati. C'è anche il rischio di perdere l'integrità dei dati poiché agisci su ipotesi anziché su fatti.

La terza (e spesso migliore) opzione è contrassegnare i dati come mancanti. Per fare ciò, assicurati che tutti i campi vuoti abbiano lo stesso valore, come "mancante" o "0" (se è un campo numerico).

Passaggio 9: Verifica il tuo set di dati

L'ultimo passaggio è convalidare il tuo set di dati una volta che è stato pulito. Convalidare i dati significa assicurarsi che processi come la rettifica, la deduplicazione e la standardizzazione siano stati completati. Questo spesso comporta l'uso di script per determinare se il set di dati è conforme ai criteri di convalida stabiliti o "procedure di controllo". I team di dati possono anche eseguire la convalida rispetto a database "gold standard" esistenti.

Passaggio 10: Riporta i risultati

I risultati del processo di pulizia dei dati dovrebbero essere comunicati all'IT e all'amministrazione aziendale per evidenziare le tendenze e i progressi della qualità dei dati. Il rapporto può includere il numero di problemi rilevati e risolti e informazioni aggiornate sui livelli di qualità dei dati.

I dati puliti possono quindi essere inseriti negli altri passaggi di preparazione dei dati, a partire dalla struttura dei dati e dalla trasformazione dei dati, per prepararli ulteriormente per l'uso analitico.

Strumenti di pulizia dei dati

Un buon strumento di pulizia dei dati è un must per chiunque lavori con i dati. Quindi, quali strumenti potrebbero essere utili? La risposta dipende da fattori come i dati con cui lavori e i sistemi che utilizzi. Tuttavia, ecco alcuni strumenti essenziali per iniziare.

Microsoft Excel

Dalla sua introduzione nel 1985, Microsoft Excel è stato un pilastro del mondo informatico. Che ti piaccia o no, Excel è ancora uno strumento popolare per la pulizia dei dati.

La pulizia dei dati in Excel è possibile utilizzando molti metodi integrati per automatizzare la pulizia dei dati, che vanno dalla deduplicazione alla sostituzione di numeri e testo, alla modellazione di colonne e righe e all'integrazione dei dati da diverse celle. È anche ragionevolmente semplice da capire, rendendolo il primo punto di riferimento per la maggior parte degli analisti di dati principianti.

Linguaggi di programmazione

Eseguire l'elaborazione batch specializzata su set di dati massicci e complessi spesso richiede la creazione dei propri script. Questo viene realizzato utilizzando linguaggi di programmazione come Python, Ruby, SQL o R.

Mentre gli analisti di dati più esperti possono scrivere questi script da zero, sono disponibili diverse librerie pronte all'uso. Pandas e NumPy sono solo due dei molti moduli di pulizia dei dati di Python.

Visualizzazioni

Le visualizzazioni dei dati ti aiutano a trovare rapidamente inesattezze nel tuo set di dati. Un grafico a barre, ad esempio, mostra valori unici e può aiutare a identificare una categoria che è stata nominata in diversi modi. Allo stesso modo, i grafici a dispersione possono identificare outlier in modo da poterli studiare ulteriormente (e rimuoverli se necessario).

Software di pulizia dei dati

Il software di pulizia dei dati è una parte essenziale del software di qualità dei dati. Queste applicazioni software migliorano l'integrità, la rilevanza e il valore dei tuoi dati rimuovendo errori, riducendo le incoerenze e deduplicando i dati. Questo consente alle aziende di fidarsi dei loro dati, prendere decisioni aziendali ben informate e fornire esperienze migliori ai clienti.

Vantaggi della pulizia dei dati

L'analisi dei dati richiede dati accuratamente puliti per offrire risultati precisi e affidabili. Tuttavia, i dati puliti offrono diversi altri vantaggi:

• Miglior processo decisionale: Le applicazioni analitiche forniscono risultati migliori con dati più accurati. Questo aiuta le aziende a prendere decisioni più informate sulla strategia aziendale, le operazioni, l'assistenza medica e le iniziative governative.
• Miglior mappatura: Le organizzazioni stanno cercando sempre più di aggiornare le loro infrastrutture dati interne. Assumono analisti di dati per eseguire la modellazione dei dati e progettare nuove app per questo scopo. Un piano di igiene dei dati robusto è un approccio logico perché avere dati puliti fin dall'inizio rende significativamente più facile compilarli e mappare.
• Miglioramento delle prestazioni operative: Dati puliti e di alta qualità aiutano le aziende a evitare deficit di inventario, errori di consegna e altri problemi aziendali che portano a maggiori spese, profitti ridotti e relazioni con i clienti tese.
• Riduzione dei costi dei dati: La pulizia dei dati previene la propagazione di inesattezze e problemi dei dati nei sistemi e nelle applicazioni analitiche. Questo risparmia tempo e denaro a lungo termine poiché i team IT e di gestione dei dati non devono continuare a riparare gli stessi problemi del set di dati.

Le sfide della pulizia dei dati

Ci sono sempre sfide da affrontare quando si lavora con i dati. La pulizia dei dati è uno dei processi più dispendiosi in termini di tempo e noiosi da affrontare a causa dei molti errori in molti set di dati e della difficoltà nel determinare le fonti di incoerenze. Altre sfide tipiche includono le seguenti:

• Problemi nella gestione dei big data: Risolvere le sfide di qualità dei dati in grandi sistemi di dati, inclusa una combinazione di dati strutturati, semistrutturati e non strutturati, è tedioso e costoso.
• Dati incompleti: Gli analisti possono perdere intuizioni preziose a causa di dati inadeguati. Questo è abbastanza tipico quando le osservazioni mancanti e gli outlier vengono scartati.

Migliori pratiche per la pulizia dei dati

La pulizia dei dati è una parte essenziale di qualsiasi implementazione analitica. La tua strategia di pulizia dei dati deve affrontare i requisiti di consegna, qualità e struttura e generare una cultura di proprietà e controllo dei dati che favorisca la stewardship dei dati. Di seguito sono riportate alcune migliori pratiche da seguire.

• Crea un buon approccio e seguilo. Stabilisci un processo di pulizia dei dati appropriato per i tuoi dati, i tuoi obiettivi e gli strumenti che utilizzi per l'analisi. Questo è un processo iterativo, quindi devi aderire attentamente a loro per tutti i dati e le analisi successive dopo aver stabilito i tuoi metodi e metodologie appropriati.
• Utilizza gli strumenti. Esistono una varietà di soluzioni di pulizia dei dati disponibili che assistono nel processo, che vanno da gratuite e di base a complesse e migliorate dal machine learning. Fai alcune ricerche per valutare quali strumenti di pulizia dei dati sono ideali per te.
• Presta attenzione agli errori e annota da dove provengono i dati sporchi. Monitora e etichetta le sfide e i modelli comuni nel tuo set di dati, in modo da sapere quali tipi di tecniche di pulizia dei dati impiegare sui dati provenienti da varie fonti. Questo ti farà risparmiare molto tempo e renderà i tuoi dati ancora più puliti - specialmente quando combinato con strumenti analitici che usi frequentemente.
• Rimuovi i silos di dati non necessari. Eliminare con cura i dati alla fine del loro ciclo di vita è importante per conformarsi alle normative sui dati. Le aziende che hanno hardware obsoleto dovrebbero seguire i corretti processi di eliminazione prima di smaltire e vendere il dispositivo. Tuttavia, se questo non viene seguito, i dati di tali dispositivi possono finire nelle mani di individui non autorizzati. Utilizza software di distruzione dei dati per rimuovere completamente e irreversibilmente i dati dalle apparecchiature informatiche.

Mostrami i dati!

Agire d'istinto è eccellente. Tuttavia, le aziende che prendono decisioni basate su set di dati puliti performano meglio dei loro concorrenti. Quando sai cosa vogliono i tuoi clienti e quando lo vogliono, puoi soddisfare meglio le loro esigenze.

Le aziende non possono sottovalutare l'importanza della pulizia dei dati. La qualità dei dati è cruciale per le organizzazioni, in particolare nella mitigazione del rischio, nella conformità e nella riduzione dei costi. Vedere dove sono i potenziali profitti e risparmi ti aiuterà a crescere più velocemente, ridurre i tuoi rischi e massimizzare i tuoi rendimenti.

Dati, dati ovunque e non un byte da mangiare. Scopri come la distruzione dei dati può aiutarti a eliminare i dati che hanno esaurito il loro scopo.