McKinsey prevede che entro il 2025 quasi tutti i dipendenti dovranno utilizzare i dati come parte integrante del loro lavoro. Cosa sta facendo la vostra organizzazione per prepararsi a questo livello di richiesta di dati?
Iniziare con una pipeline di dati. La creazione di una pipeline di dati consente di collegare più fonti di dati e di spostarli tra loro, mantenendo i dati utilizzati dal team sempre disponibili, precisi, pertinenti e aggiornati.
Identificare le fonti di dati
Il primo passo nella costruzione di una pipeline di dati è l'identificazione delle fonti di dati. Quali dati devono essere inclusi nella pipeline? Dove si trovano attualmente questi dati? Identificare le fonti.
Elencare tutte le potenziali fonti di dati che potrebbero essere incluse nella pipeline. Queste fonti di dati possono essere database, API web e file piatti. Qualsiasi fonte di dati già utilizzata o che si prevede di utilizzare dovrebbe essere inclusa in questo elenco.
Esaminate quindi ogni fonte e valutatene l'accuratezza e il valore per la pipeline. Potrebbero esserci fonti utilizzate attualmente ma non necessarie una volta creata la pipeline, oppure fonti utilizzate negli ultimi anni ma non più rilevanti per gli obiettivi dell'organizzazione. Prendete nota di come ogni fonte di dati si inserisce negli obiettivi attuali e del prossimo futuro e rimuovete le fonti di dati che non sono necessarie.
Impostare un piano di elaborazione dei dati
Una volta identificate le fonti di dati, il passo successivo consiste nell'impostare un piano di elaborazione dei dati. Quali trasformazioni, pulizie e/o formattazioni sono necessarie per rendere i dati utilizzabili per i vostri obiettivi specifici? Il piano di elaborazione dei dati deve delineare tutte le fasi che i dati devono subire per essere utili.
A seconda delle fonti dei dati, il piano può richiedere diversi livelli di elaborazione e pulizia. Se i dati provengono da un database, potrebbero richiedere solo una pulizia minima, poiché i dati sono già strutturati. Se invece i dati provengono da un file piatto, potrebbero richiedere una maggiore elaborazione e pulizia per garantire che siano nel formato giusto e utilizzabili per il loro scopo.
Fasi di elaborazione dei dati:
- La deidentificazione è un processo di rimozione delle informazioni identificative dai dati, in modo che gli individui non possano essere riconosciuti sulla base di tali dati. Ciò potrebbe includere informazioni come numeri di telefono o indirizzi di casa.
- La trasformazione dei dati trasforma i dati grezzi in un formato e in una struttura più utili per l'analisi e il reporting (ad esempio, aggregando i dati, unendo insiemi di dati o convertendo i tipi di dati).
- La pulizia dei dati comporta la rimozione o la modifica dei dati non corretti, incompleti, irrilevanti o duplicati (ad esempio, la rimozione dei valori erratici, l'integrazione dei valori mancanti o la normalizzazione dei dati).
- La convalida dei dati verifica che i dati siano accurati e completi (ad esempio, gli indirizzi e-mail sono reali o i numeri di telefono sono completi).
- L'arricchimento dei dati aggiunge dati supplementari a set di dati esistenti per renderli più utili (ad esempio, arricchendo il file di un potenziale cliente con informazioni aggiuntive, come le dimensioni della sua organizzazione).
- La sicurezza dei dati protegge i dati da accessi non autorizzati (ad esempio, può includere funzioni come la crittografia, il mascheramento dei dati o la verifica).
Impostazione dell'uscita
Una volta definito il piano di elaborazione dei dati, è necessario capire come sarà l'output. I dati confluiranno in un data warehouse, in un data lake o in qualcos'altro (come una lakehouse)?
Il data warehouse è un archivio di dati strutturati che viene utilizzato per l'analisi e la reportistica. Un data lake è un archivio di dati non strutturati e semi-strutturati che viene utilizzato per il data mining, il machine learning e altri tipi di attività analitiche.
A seconda del caso d'uso, come output della pipeline di dati si utilizza solitamente un warehouse o un lago, ma non sempre.
Progettare l'architettura del sistema
È qui che si collegano tutti i pezzi. Una volta che si sa come i dati devono essere utilizzati e dove devono andare, si può decidere come costruire al meglio la pipeline. Quali servizi e applicazioni sono necessari per elaborare e utilizzare i dati? Questa fase è cruciale nella costruzione di una pipeline di dati e richiede un'attenta pianificazione.
L'architettura deve tenere conto delle fonti di dati, del piano di elaborazione, dell'output e di qualsiasi scenario imprevisto, come ad esempio picchi imprevisti di carico dei dati o di traffico.
L'architettura della vostra pipeline comprenderà probabilmente
- Strumenti di integrazione dei dati per collegare più fonti di dati e spostare i dati da un sistema all'altro (ad esempio, gateway API, strumenti ETL o di messaggistica).
- Strumenti di elaborazione dei dati che aiutano a elaborare e pulire i dati per l'analisi (ad esempio, strumenti di pulizia, convalida o wrangling dei dati).
- Strumenti di analisi dei dati per analizzare i dati e produrre approfondimenti significativi (ad esempio, analisi predittiva, apprendimento automatico o strumenti di visualizzazione che aiutano a dare un senso alle informazioni).
- Strumenti di archiviazione dei dati per memorizzarli, gestirli e proteggerli (ad esempio, data lake, data warehouse o close storage).
Stabilire la governance dei dati
Essenziale in qualsiasi pipeline, la governance dei dati è il piano per la gestione e la manutenzione della pipeline di dati. Chi avrà accesso ai dati? Come saranno protetti i dati? Quali politiche saranno messe in atto per garantire la privacy dei dati?
Le esigenze di governance di ogni organizzazione dipendono da una serie di fattori, come le normative regionali sulla raccolta e l'utilizzo dei dati e gli obiettivi organizzativi. In genere, però, le organizzazioni possono aspettarsi di dover impostare quanto segue:
- Politiche di controllo degli accessi che definiscono chi può e chi non può accedere ai dati e per quale scopo.
- Politiche di crittografia dei dati per mantenere la sicurezza dei dati in transito e a riposo
- Politiche di conservazione dei dati che definiscono per quanto tempo i dati vengono conservati e quando vengono cancellati.
- Politiche sulla privacy dei dati che definiscono le modalità di utilizzo e condivisione dei dati.
- Politiche di sicurezza dei dati che definiscono le misure adottate per proteggere i dati da accessi non autorizzati.
- Politiche di audit che definiscono le modalità di monitoraggio e tracciamento dei dati.
Scegliere una piattaforma di integrazione
Una volta definite l'architettura e la governance, la pipeline di dati può essere configurata e testata. Al termine dei test, la pipeline di dati può essere rilasciata e monitorata per individuare eventuali problemi. Ma se volete implementare una pipeline più velocemente e con meno lavoro, prendete in considerazione l'utilizzo di una piattaforma di integrazione per la creazione effettiva della pipeline.
Le piattaforme di integrazione come iPaaS di SnapLogic guidano il processo e fanno da tramite per ogni fase della pipeline di dati. Una pipeline di dati può essere impostata in modo rapido ed efficiente, perché non è necessaria la codifica manuale. SnapLogic utilizza un'interfaccia drag-and-drop, in modo che chiunque possa iniziare, indipendentemente dalla capacità di codifica o dall'esperienza nella creazione di pipeline. La piattaforma di integrazione offre anche informazioni in tempo reale sul processo di configurazione della pipeline di dati, in modo che i team possano identificare rapidamente i problemi e risolverli.
Scoprite cosa può fare iPaaS per la vostra pipeline di dati.
