Che cos'è il Data Mining? Come funziona, tecniche ed esempi

Brittany Kaiser, ex Direttore dello Sviluppo Commerciale per Cambridge Analytica, ha dichiarato nel documentario di Netflix The Great Hack che i dati sono ora più preziosi del petrolio.

E proprio come il petrolio, l'oro, il minerale e altre risorse naturali, c'è un valore nascosto nei dati che deve essere estratto e ricavato utilizzando software di apprendimento automatico. Questo processo è noto come data mining.

Il data mining utilizza la raccolta di dati, data warehouse e l'elaborazione informatica per scoprire modelli, tendenze e altre verità sui dati che non sono inizialmente visibili utilizzando apprendimento automatico, statistiche e sistemi di database.

Sebbene questo termine sia relativamente nuovo (coniato per la prima volta negli anni '90), sta diventando sempre più comune poiché le organizzazioni di tutti i settori lo utilizzano per ottenere ulteriori informazioni su come migliorare le loro attività.

Perché il data mining è utile?

Avere dati strutturati e non strutturati non ti fornisce necessariamente le intuizioni o le conoscenze di cui hai bisogno. È qui che entra in gioco il data mining, poiché ti consente di scoprire schemi e relazioni in grandi volumi di dati provenienti da più fonti.

Il data mining è utile perché ti permette di:

• Minimizzare il rumore caotico e ripetitivo che i tuoi dati contengono
• Scoprire punti dati rilevanti e utilizzarli per prevedere risultati probabili
• Accelerare il ritmo delle decisioni informate con intuizioni cruciali sui dati
• Utilizzare analisi predittiva per trovare modelli di dati storici e prevedere eventi futuri

Il data mining esplora i dati storici di un'azienda durante il processo di analisi dei dati per esaminare le prestazioni passate o le previsioni future. Questo porta a decisioni più rapide ed efficienti.

Ad esempio, attraverso il data mining, un'azienda potrebbe essere in grado di vedere quali clienti acquistano prodotti specifici in determinati periodi dell'anno. Queste informazioni possono quindi essere utilizzate per segmentare quei clienti. La segmentazione dei clienti è importante per mirare le campagne di vendita e marketing, il che può portare a profitti più elevati, ma anche indicare una o due tendenze potenziali.

Oltre al processo decisionale automatizzato, il data mining è anche uno strumento importante perché può prevedere e prevedere accuratamente le tendenze per la tua azienda basandosi su informazioni storiche e condizioni attuali. Ha anche la capacità di consentire un uso e un'allocazione più efficienti delle risorse in modo che le aziende possano pianificare e prendere decisioni automatizzate per massimizzare la riduzione dei costi.

Come funziona il data mining?

Il data mining comporta l'esplorazione e l'analisi di grandi quantità di informazioni per scoprire modelli e tendenze significative. È essenzialmente un processo in cinque fasi.

1. Un'organizzazione raccoglierà dati utilizzando software di estrazione dati e li caricherà in un data warehouse.
2. Questi dati verranno archiviati e gestiti su server interni o nel cloud. Gli strumenti di visualizzazione dei dati utilizzano questo passaggio per esplorare le proprietà dei dati per garantire che aiuteranno a raggiungere gli obiettivi dell'azienda.
3. Riunisci gli analisti aziendali, i team di gestione e i professionisti della tecnologia dell'informazione della tua organizzazione per accedere ai dati e determinare i modi in cui desiderano organizzarli.
4. Gli strumenti software applicativi ordineranno i dati in base ai risultati e utilizzeranno modelli di dati e modelli matematici per trovare schemi nei dati.
5. I dati verranno presentati in un formato leggibile e condivisibile, come un grafico o una tabella, creato utilizzando piattaforme di business intelligence e strumenti di analisi e condivisi nelle operazioni aziendali quotidiane come unica fonte di verità.

Seguire questo processo non aiuta nessuno se i dati che raccogli non vengono toccati. Il giusto strumento di business intelligence scompone i dati a un livello granulare, consentendo al tuo team di approfondire i dati per creare previsioni, strategie e intuizioni azionabili.

Tecniche di data mining

Il data mining utilizza diverse tecniche come regole di associazione, clustering, alberi decisionali, reti neurali, analisi predittiva e K-Nearest neighbor (KNN) per trovare intuizioni utili dai dati.

• Regole di associazione o analisi del carrello della spesa trovano relazioni tra variabili in un grande set di dati. Analizzare questa relazione aiuta le aziende a capire come diversi punti dati si influenzano a vicenda e l'effetto olistico che creano insieme. Ad esempio, le aziende di e-commerce possono utilizzare le regole di associazione per comprendere la relazione tra le vendite totali e i prodotti che i consumatori acquistano insieme. Possono utilizzare questa intuizione per posizionare i prodotti, vendere in modo incrociato e fare raccomandazioni personalizzate ai clienti.
• Classificazione è un'altra tecnica di data mining che utilizza classi predefinite per categorizzare i dati. Funziona descrivendo i fattori comuni tra diversi punti dati. Ad esempio, il rilevamento dello spam utilizza algoritmi di classificazione per prevedere se un nuovo messaggio è spam o meno basandosi sulla sua somiglianza con i messaggi di spam precedenti.
• Clustering crea cluster di punti dati simili basati sui loro attributi. Non richiede etichette predefinite come la classificazione. Invece, i modelli di clustering mirano a segmentare i dati in modo che ogni cluster contenga punti dati simili. Ad esempio, un modello di clustering raggrupperà termini come smartphone, cuffie e auricolari, e li metterà sotto un gruppo chiamato dispositivi intelligenti.
• Alberi decisionali scompongono i dati numerici e categorici in sottoinsiemi più piccoli basati su un elenco di criteri che imposti. Questa tecnica di data mining decide i sottoinsiemi in base al valore degli input e rappresenta i risultati utilizzando una struttura ad albero. Ogni nodo nell'albero rappresenta una decisione, mentre ogni ramo mostra un risultato di quella decisione.
• Algoritmo KNN segmenta i punti dati in base alla loro prossimità ad altri punti dati. Questa tecnica presume che i punti dati più vicini tra loro tendano ad essere più simili rispetto ai punti dati con una distanza significativa tra loro. L'algoritmo KNN è una tecnica di apprendimento supervisionato che le organizzazioni utilizzano per prevedere le caratteristiche di un gruppo basandosi su singoli punti dati.
• Reti neurali, note anche come reti neurali artificiali, utilizzano nodi o neuroni contenenti input, output e pesi per elaborare i dati. Ogni nodo genera un segnale di output dopo aver ricevuto ed elaborato segnali di input. Le connessioni tra i neuroni apprendono modelli e relazioni nei dati durante il processo di addestramento del modello.
• Analisi predittiva condivide risultati o eventi futuri basati sull'analisi dei dati storici. Le organizzazioni utilizzano questo metodo di data mining per superare la concorrenza, personalizzare le loro offerte, migliorare l'efficienza operativa e accelerare il processo decisionale informato.
  
• Modellazione prescrittiva fornisce una o più azioni raccomandate dopo aver analizzato, filtrato e trasformato dati non strutturati. Questa tecnica esamina sia le variabili interne che esterne per migliorare l'accuratezza delle previsioni.
• Text mining, o software di analisi del testo, è un'estensione del data mining che utilizza il natural language processing (NLP) per estrarre informazioni da dati non strutturati ricchi di testo. Questa strategia all'interno del data mining viene utilizzata dalle compagnie aeree per trovare bagagli smarriti, dai team finanziari all'interno del mercato azionario per monitorare le notizie di ultima ora e consentire ai professionisti sanitari di categorizzare le cartelle cliniche dei loro pazienti.

Ecco un esempio di come funziona il text mining:

I dati ricchi di testo dovranno prima essere raccolti e formattati in modo uniforme. Il testo viene estratto da tutto, dai file HTML e XML ai documenti di Word e ai file PDF utilizzando software di analisi del testo. Quindi i file di immagini incorporate verranno eliminati poiché non hanno valore per quanto riguarda il text mining.

Successivamente, tutto il testo considerato "rumore" verrà eliminato. Questo consiste in parole come "di", "un", "il" e così via.

Le parole che sono sinonimi verranno unificate. I valori numerici e le percentuali verranno estratti e formattati in modi propri. Anche le frasi, i termini chiave, le strutture delle frasi e altre sfumature del linguaggio umano verranno scomposte. Ora, tutto dovrebbe essere il più vicino possibile ai dati strutturati.

Processo di data mining

Il Cross-Industry Standard Process for Data Mining (CRISP-DM) ha progettato un flusso di lavoro flessibile in sei fasi che i team di dati possono utilizzare per accelerare le attività di data mining. Seguire queste fasi del data mining consente agli analisti di dati di avere una struttura per il loro lavoro e di aderire ai passaggi preparatori.

Di seguito sono riportate le sei fasi CRISP-DM che puoi seguire per il data mining.

1. Comprensione del business: Gli analisti devono iniziare comprendendo l'obiettivo e l'ambito del progetto prima di pulire, estrarre o analizzare i dati. Inizia ponendo domande come: quali sono gli obiettivi di questa attività di data mining? quali punti di forza, debolezze, opportunità e minacce rivela l'analisi SWOT? Qual è la situazione aziendale attuale e come appare il successo?

2. Comprensione dei dati comporta la raccolta di dati strutturati e non strutturati rilevanti da diverse fonti. Durante questa fase, dovrai anche determinare il risultato finale che desideri ottenere e come intendi archiviare i dati. Considera anche come la raccolta, l'archiviazione e la sicurezza dei dati possono influire sul processo di data mining. Alla fine, potresti voler condurre un'analisi esplorativa per scoprire modelli preliminari nei dati.

3. Preparazione dei dati: Questa fase del data mining comporta l'utilizzo di strumenti di preparazione dei dati per finalizzare il set di dati. Durante la preparazione dei dati, devi controllare il set di dati per outlier, errori di inserimento e altri errori. Idealmente, dovresti anche valutare se il set di dati è inutilmente sovradimensionato, il che potrebbe ostacolare il processo di calcolo.

4. Modellazione dei dati: Una volta che hai il set di dati finale, puoi iniziare a scegliere tecniche appropriate di modellazione e analisi dei dati. La tua scelta di un modello di dati dipende in gran parte dalle relazioni o dai modelli che desideri trovare. Gli analisti di dati possono tornare alla fase di preparazione dei dati nel caso decidano di utilizzare un modello che richiede più variabili di quelle attualmente disponibili.

5. Valutazione: Questa fase del processo di data mining comporta il test del modello che hai costruito e la misurazione se può fornire con successo ciò di cui hai bisogno. In base ai risultati dei test, potresti dover ottimizzare il modello. La fase di valutazione è un punto di controllo cruciale che ti aiuta a capire se stai andando nella giusta direzione per raggiungere gli obiettivi aziendali con il modello di dati.

6. Implementazione: La fase finale del processo di data mining comporta l'implementazione del modello all'interno o all'esterno dell'organizzazione. Idealmente, dovresti creare un piano di rollout per aiutare i diversi pubblici a comprendere l'obiettivo del modello di data mining, come funziona e come affronta i problemi aziendali.

Applicazioni del data mining

Le aziende di una varietà di settori si stanno rivolgendo al data mining per ottenere intuizioni in modi che una volta erano impossibili. Di seguito sono riportati alcuni esempi di come il data mining stia cambiando le aziende in meglio.

Data mining nel marketing

Le aziende nel settore del marketing utilizzano il data mining per analizzare grandi quantità di dati per migliorare la segmentazione del marketing. Ad esempio, quando si osservano parametri come età, sesso, posizione o altre informazioni demografiche dei clienti, il data mining rende possibile indovinare il comportamento dei loro clienti come correlazione diretta di questi parametri.

È anche possibile utilizzare il data mining nel marketing per prevedere quali dei tuoi utenti si disiscriveranno dalle tue campagne email o servizi, cosa li interessa in base alle loro ricerche sul sito e cosa dovrebbe includere la tua lista di distribuzione per ottenere un tasso di risposta più elevato.

Data mining nel retail

Pensa a come Amazon ti mostra una selezione di prodotti basata su ciò che hai cercato o acquistato in passato. Questo è il data mining al lavoro. Oppure pensa a un team di prodotto che sta per presentare un'idea per un nuovo paio di scarpe da corsa. Potrebbero dire che le scarpe da corsa da uomo vendono meglio con un packaging nero rispetto a uno blu. Per dimostrarlo, utilizzano uno strumento di data mining per mostrare il supporto storico della loro teoria.

Vediamo anche il data mining utilizzato nei supermercati. Grazie ai modelli di acquisto congiunto, i supermercati possono identificare le associazioni di prodotti per ottenere intuizioni su come posizionare determinati articoli nei corridoi e sugli scaffali (a livello degli occhi o sullo scaffale superiore, ad esempio). Possono anche utilizzare il data mining per capire quali offerte sono più apprezzate dai loro clienti per aumentare le vendite alla cassa.

Data mining nel settore bancario

Le banche applicano tecniche di data mining ai rating di credito e ai sistemi intelligenti anti-frode come modo per analizzare le transazioni, i modelli di acquisto e i dati finanziari dei loro clienti. Possono anche utilizzarlo per saperne di più sulle preferenze online o sulle abitudini dei loro clienti al fine di ottimizzare il ritorno delle campagne di marketing e studiare gli obblighi di conformità.

Un esempio di ciò sarebbe quando una banca utilizza il data mining per vedere che un cliente effettua la maggior parte dei suoi acquisti online. A causa di queste informazioni, la banca potrebbe decidere di aumentare il limite della carta di credito prima di una grande festività di shopping, come il Black Friday o il Memorial Day.

Data mining nel settore sanitario

Il settore medico è forse destinato a beneficiare maggiormente del data mining poiché lo utilizza per consentire diagnosi più accurate. Quando un medico o un professionista medico ha tutte le informazioni di un paziente, come cartelle cliniche, modelli di trattamento ed esami fisici, può prescrivere trattamenti più efficaci per le malattie.

Il data mining consente anche a coloro che operano nel campo medico un modo più efficace ed economico per gestire le risorse sanitarie poiché può identificare i rischi e prevedere meglio la durata dei ricoveri ospedalieri per i loro pazienti. Questo permetterebbe una migliore allocazione dei letti ospedalieri e di altre risorse vitali durante il soggiorno ospedaliero di un paziente.

Data mining nel settore assicurativo

Con una maggiore comprensione delle analisi, le compagnie assicurative sono in grado di utilizzare il data mining per risolvere problemi complessi che vanno di pari passo con frodi, conformità, gestione del rischio e abbandono dei clienti. Le compagnie assicurative possono anche utilizzare il data mining per valutare meglio e più accuratamente i prodotti attraverso le loro linee di business e la loro base di clienti esistente.

Data mining nel settore manifatturiero

Quando il data mining viene utilizzato nel settore manifatturiero, i piani di approvvigionamento possono essere meglio allineati con le previsioni della domanda e il rilevamento dei problemi viene utilizzato a loro vantaggio, che sono parti essenziali del settore. Inoltre, il data mining nel settore manifatturiero può prevedere l'usura delle risorse di produzione e prevedere la manutenzione, consentendo alle aziende di massimizzare il tempo di attività e mantenere la linea di produzione in programma.

Data mining nell'istruzione

Quando si tratta di istruzione e data mining, gli insegnanti possono prevedere le prestazioni degli studenti prima ancora che inizi la lezione. Consente agli istruttori di sviluppare strategie di intervento per garantire che gli studenti rimangano in corso. Quando gli educatori possono accedere ai dati degli studenti, prevedere i livelli di rendimento e individuare quali studenti necessitano di maggiore attenzione, tutti sono in grado di avere successo.

Pro e contro del data mining

È chiaro che il data mining è una tecnologia cruciale nel business generale. Le organizzazioni che utilizzano il data mining migliorano le operazioni, quantificano i problemi aziendali per trovare soluzioni e scoprono tendenze nascoste. Tuttavia, ci sono ancora alcune sfide e ostacoli che potresti incontrare durante il processo.

Vantaggi del data mining

Di seguito sono riportati i vantaggi che le organizzazioni sperimentano con il data mining.

• Migliorare la redditività e l'efficienza: Il data mining garantisce una raccolta e un'analisi dei dati efficienti utilizzando fonti di dati affidabili. Inoltre, il processo di data mining è ben strutturato, consentendo alle organizzazioni di identificare sistematicamente i problemi, raccogliere dati correlati e formulare soluzioni. Questo processo di costruzione di soluzioni incentrato sul processo aiuta le aziende a risolvere i problemi in modo efficiente e ad aumentare i profitti.
• Quantificare e risolvere i problemi aziendali: È vero che il data mining può apparire molto diverso, a seconda della maturità organizzativa e di altri fattori. Tuttavia, qualsiasi azienda, indipendentemente dalle sue dimensioni, può utilizzare il data mining con applicazioni nuove o legacy per identificare i problemi aziendali, creare prove quantificabili e risolverli.
• Scoprire tendenze nascoste: Il data mining consente alle organizzazioni di raccogliere, elaborare e analizzare dati grezzi da fonti disparate allo scopo di ottenere intuizioni utili. In altre parole, il data mining consente alle aziende di scoprire intuizioni che altrimenti non avrebbero notato.

Le sfide del data mining

Il data mining presenta anche delle sfide. Potresti incontrare dati di scarsa qualità, preoccupazioni per la privacy e altro ancora.

• Dati di scarsa qualità: La scarsa qualità dei dati spesso deriva da valori di dati errati o mal posizionati. La perdita di qualità dei dati può anche verificarsi a causa di errori umani o guasti del software.
• Dati ridondanti: Un altro problema comune è l'integrazione di dati ridondanti da fonti non contrassegnate. I dati ridondanti possono presentarsi in molte forme, inclusi dati numerici, file multimediali, geolocalizzazione e altro ancora.
• Preoccupazioni per la sicurezza e la privacy: Il data mining è anche suscettibile a preoccupazioni per la sicurezza e la privacy. Le organizzazioni private e governative spesso si trovano di fronte all'ostacolo di un data mining sicuro e protetto dalla privacy, poiché informazioni sensibili e private vengono spesso raccolte per profili dei clienti e comprensione del comportamento degli utenti.

Futuro del data mining

Il text mining è il presente, ma il futuro del data mining si concentrerà anche su altre forme di dati non strutturati. Ad esempio, i dati provenienti da immagini e video possono essere estratti per la scoperta della conoscenza. Esistono già alcuni framework che si concentrano sull'estrazione di immagini, video e audio, ma sono ancora nelle fasi iniziali. Questo è noto come Multimedia Data Mining.

Semantic Web Mining sarà anche più prevalente, consentendo ai ricercatori di trovare significati più profondi nascosti nei dati sul Web. Il Web semantico è essenzialmente un'estensione del World Wide Web in cui i dati sui siti web sono strutturati e taggati in modo che siano più facili da leggere per le macchine.

C'è anche il Ubiquitous Data Mining, che comporta l'estrazione di dati dai dispositivi mobili per ottenere informazioni sull'utente. Sebbene questo metodo sia ancora in fase di sviluppo e incontrerà sfide riguardanti la privacy e i costi, aprirà molte opportunità per una moltitudine di aziende per studiare come gli esseri umani interagiscono con i computer.

Altri elementi del data mining che vedremo in futuro sono il Geographical Data Mining, che comporta l'analisi delle informazioni provenienti da immagini scattate dallo spazio. Questo tipo di data mining viene principalmente utilizzato per mostrare aspetti come la distanza e la topografia per le applicazioni di navigazione. C'è anche il Time Series Data Mining, una strategia utilizzata per studiare tendenze cicliche e stagionali. Viene anche utilizzata dalle aziende al dettaglio per esaminare meglio i modelli di acquisto dei clienti e i loro comportamenti.

Nessuna quantità di dati è troppo vasta

Dall'intelligenza aziendale all'analisi dei big data, tutti i dati che le aziende raccolgono non servirebbero a nulla senza la scoperta della conoscenza.

Il data mining consente alle aziende di visualizzare modelli e tendenze di dati grezzi che potrebbero non essere inizialmente visibili. Qualunque intuizione venga rivelata porterà a decisioni più rapide e informate. Questo è vantaggioso sia per le aziende che per i clienti che servono.

Solo il tempo dirà come noi, come società, troveremo nuovi modi per estrarre dati e scoprire intuizioni azionabili che porteranno a nuovi modi di condurre affari.

Porta il tuo apprendimento un passo avanti quando scopri come puoi utilizzare l'analisi aziendale per avere successo.

Questo articolo è stato originariamente pubblicato nel 2020. È stato aggiornato con nuove informazioni.