Avete deciso di spostare il vostro data warehouse su cloud e volete iniziare. Ottimo! È facile capire il perché: oltre ai vantaggi principali di cui ho scritto nell'ultimo post del blog, ci sono molti altri vantaggi associati al data warehousing su cloud : elaborazione incredibilmente veloce, rapidità di implementazione, tolleranza ai guasti e disaster recovery integrati e, a seconda del provider cloud , sicurezza e governance forti.
Un controllo della realtà in sei fasi
Ma prima di entusiasmarvi troppo, è il momento di fare un controllo della realtà: spostare un data warehouse esistente su cloud non è veloce e non è facile. Non è affatto semplice esportare i dati da una piattaforma e caricarli su un'altra. I dati sono solo uno dei sei componenti del magazzino da migrare.
Dal punto di vista tattico e tecnico, la migrazione del data warehouse è un processo iterativo e richiede molti passaggi per migrare tutti i componenti, come illustrato di seguito. Ecco tutto ciò che dovete considerare per migrare il vostro data warehouse su cloud.
1) Migrazione dello schema: Prima di spostare i dati del magazzino, è necessario migrare le strutture e le specifiche delle tabelle. Potrebbe essere necessario apportare modifiche strutturali nell'ambito della migrazione, tra cui l'indicizzazione o il partizionamento: è necessario ripensarli?
Processo di migrazione del data warehouse
2) Migrazione dei dati: Lo spostamento di volumi di dati molto grandi richiede un'intensa attività di processo, di rete e di tempo. Dovrete stabilire quanto tempo ci vorrà per la migrazione e se è possibile accelerare il processo. Potrebbe essere necessario ristrutturare come parte della migrazione dello schema e trasformare i dati come parte della migrazione dei dati? In alternativa, è possibile trasformare in-stream o è necessario pre-processare e poi migrare?
3) Migrazione dell'ETL: lo spostamento dei dati può essere la parte più semplice rispetto alla migrazione dei processi ETL. Potrebbe essere necessario modificare la base di codice per ottimizzare le prestazioni della piattaforma e cambiare le trasformazioni dei dati per sincronizzarle con la ristrutturazione dei dati. Dovrete stabilire se i flussi di dati devono rimanere intatti o essere riorganizzati. Nell'ambito della migrazione, potrebbe essere necessario ridurre la latenza dei dati e fornire dati quasi in tempo reale. In questo caso, avrebbe senso migrare anche l'elaborazione ETL su cloud? Esiste un'utilità per convertire il codice ETL?
4) Ricostruzione delle pipeline di dati: In caso di modifiche sostanziali al flusso o alla trasformazione dei dati, la ricostruzione delle pipeline di dati può essere una scelta migliore rispetto alla migrazione dell'ETL esistente. È possibile isolare le singole trasformazioni dei dati e confezionarle come moduli eseguibili. È necessario comprendere le dipendenze tra le trasformazioni dei dati per costruire un flusso di lavoro ottimale e i vantaggi che si possono ottenere (prestazioni, agilità, riutilizzabilità e manutenibilità) ricostruendo l'ETL come pipeline di dati modulari utilizzando una tecnologia moderna e compatibile con cloud.
5) Migrazione dei metadati: I metadati da origine a destinazione sono una parte cruciale della gestione di un data warehouse; conoscere il percorso dei dati, il tracciamento e la risoluzione dei problemi è fondamentale quando si verificano problemi. Quanto facilmente questi metadati saranno trasferiti a una nuova piattaforma cloud ? Tutte le mappature, la logica di trasformazione, il flusso di dati e il workflow sono bloccati in strumenti proprietari o sepolti nel codice SQL? Dovrete stabilire se sarete in grado di esportare e importare i metadati tramite reverse engineering o ricostruendoli da zero.
6) Migrazione di utenti e applicazioni: La fase finale del processo consiste nella migrazione di utenti e applicazioni al nuovo data warehouse cloud , senza interrompere le operazioni aziendali. Potrebbe essere necessario creare o modificare le autorizzazioni di sicurezza e di accesso e collegare gli strumenti di BI e di analisi. A tal fine, quali comunicazioni sono necessarie e con chi?
Non cercate di fare tutto in una volta
Un tipico data warehouse aziendale contiene una grande quantità di dati che descrivono molte aree tematiche aziendali. La migrazione di un intero data warehouse in un unico passaggio non è generalmente realistica. La migrazione incrementale è l'approccio intelligente quando la migrazione "big bang" non è praticabile. La migrazione incrementale è d'obbligo quando si intraprendono modifiche significative alla progettazione come parte dello sforzo.
Tuttavia, la migrazione incrementale comporta nuove considerazioni. La posizione dei dati deve essere trasparente dal punto di vista dell'utente per tutto il periodo in cui alcuni dati risiedono nel data warehouse legacy e altri nel nuovo data warehouse cloud . Considerate un livello virtuale come punto di accesso per disaccoppiare le query dalla posizione di memorizzazione dei dati.
Una strategia ibrida è un'altra opzione praticabile. Con un approccio ibrido, il data warehouse on-premises può rimanere in funzione mentre il data warehouse cloud viene messo online. Durante questa fase di transizione, sarà necessario sincronizzare i dati tra il vecchio data warehouse on-premises e quello nuovo che si trova su cloud.
Cloud strumenti di migrazione in soccorso
La buona notizia è che esistono molti strumenti e servizi che possono essere preziosi durante la migrazione del data warehouse legacy a cloud. Nel prossimo post, il terzo e ultimo di questa serie, esplorerò gli strumenti per l'integrazione dei dati, l'automazione del data warehouse e la virtualizzazione dei dati, nonché le risorse dei system integrator che possono accelerare e rendere meno rischioso il processo.
Guardate il webcast, "Traditional Data Warehousing is Dead: How digital enterprises are scaling their data to infinity and beyond in the Cloud", con Dave Wells, Data Management Practice Lead, Eckerson Group, che mette in evidenza i vantaggi tangibili per il business che la vostra organizzazione può ottenere spostando i vostri dati su cloud. Imparerete:
-
-
- Migliori pratiche, tecnologie chiave da considerare e casi di studio per iniziare.
- Le potenziali insidie delle soluzioni di integrazione dei dati legacy "lavate" dacloud
- Cloud tendenze del mercato del data warehousing
- Come l'Enterprise Integration di SnapLogic Cloud offre un miglioramento fino a 10 volte della velocità e della facilità di integrazione dei dati
-
