L'avvento dei data warehouse cloud (CDW) ha trasformato il modo in cui i dati vengono preparati per l'analisi. I CDW hanno ridotto in modo significativo le barriere all'ingresso per prendere decisioni aziendali basate sui dati, anche per le organizzazioni più piccole. Con l'aumento dell'adozione dei CDW, l'IT e i team aziendali sono alla ricerca di modi per caricare rapidamente i dati nei data warehouse cloud e accelerare le analisi. L'architettura Extract Load Transform (ELT) risponde a questa esigenza del mercato.
I caricatori di dati risolvono le prime due parti dell'architettura del PFU. I caricatori di dati "estraggono" i dati dalle applicazioni e dalle fonti di dati e poi li "caricano" nel data warehouse cloud . I caricatori di dati contribuiscono a far entrare rapidamente i dati nel CDW, in modo che siano disponibili prima per le trasformazioni all'interno del data warehouse e per le analisi a valle.
Sul mercato esistono diversi strumenti in grado di caricare i dati in un CDW. Per individuare il caricatore di dati più adatto alle vostre esigenze, ecco un utile elenco di 7 elementi chiave da considerare.
- Può caricare i dati nel vostro CDW preferito, sia esso Snowflake o Redshift?
Si tratta di una domanda ovvia, ma è un punto di partenza naturale. Il caricatore di dati può caricare i dati nel vostro CDW preferito? In caso contrario, si tratta di un punto di rottura.
- Quanto velocemente è possibile caricare l'intero database di origine nel data warehouse di cloud ?
Quanto è veloce il caricatore di dati? Carica 500 GB / 5 TB di tabelle nel CDW in poche ore? O ci vogliono giorni? Le prestazioni della piattaforma di caricamento dati determineranno la frequenza di sincronizzazione di set di dati completi, come ad esempio i dati provenienti dalle filiali, dai magazzini regionali, dai negozi in franchising, ecc.
- È in grado di gestire efficacemente le modifiche allo schema di origine?
Gli schemi (definizioni di tabelle e colonne) o i campi oggetto dei sistemi di origine cambiano frequentemente. Il data loader è in grado di gestire automaticamente tali modifiche o richiede ogni volta l'intervento umano? Uno strumento in grado di gestire automaticamente le modifiche allo schema ridurrà significativamente i tempi di manutenzione e migliorerà la robustezza della pipeline.
- Il caricatore di dati fornisce un supporto integrato per l'acquisizione di dati storici (SCD2)?
Il caricatore di dati fornisce un supporto integrato per i casi in cui i dati delle colonne cambiano? Ad esempio, se state caricando le informazioni sui clienti su CDW e se c'è stato un cambiamento negli Account Executive che gestiscono un conto cliente, il caricatore di dati conserva automaticamente i dati storici o li elimina? Uno strumento che storicizza automaticamente i dati consente di ottenere approfondimenti che altrimenti andrebbero persi a causa della modifica dei dati.
- Il caricatore di dati rispetta la varietà dei tipi di dati (data, numerico, valuta, ecc.)?
Il caricatore di dati rispetta tutti i diversi tipi di dati del sistema di origine? Oppure converte ogni tipo di dati in un VARCHAR? La capacità di mantenere l'integrità dei tipi di dati in uno schema è importante per evitare qualsiasi lavoro manuale una volta che i dati sono nel CDW.
- È necessario conoscere la codifica o addirittura l'SQL per caricare i dati nel data warehouse?
A volte i dati di origine devono essere modificati prima di essere caricati nel CDW, ad esempio per tracciare le dimensioni che cambiano. Il caricatore di dati fornisce uno strumento efficace per fare tutto questo senza scrivere codice o SQL? Con uno strumento senza codice per il caricamento dei dati, anche gli utenti aziendali possono utilizzare il caricatore di dati e ridurre l'onere per i team IT sovraccarichi.
- Il caricatore di dati offre prezzi prevedibili?
Alcuni caricatori di dati sono molto interessanti perché si può iniziare con una sola carta di credito. Inizialmente, questa potrebbe sembrare un'opzione conveniente perché si tratta di spostare piccole quantità di dati. Ma siete in grado di prevedere la spesa tra sei mesi o un anno, quando i vostri carichi di dati saranno cresciuti di 10 o 50 volte? Quanto costerà allora? Vi sentirete a vostro agio con quel livello di spesa per quel caricatore di dati? Saprete se il budget che avete stanziato per il data loader sarà sufficiente? Se prevedete che la quantità di dati che analizzerete crescerà in modo esponenziale, avete bisogno di un data loader in grado di scalare e di essere ancora conveniente per i volumi di dati più elevati.
Un caricatore di dati rapido ed efficace è un fattore chiave per ottenere informazioni guidate dai dati a livello aziendale. Mentre valutate le vostre opzioni, tenete a portata di mano questa lista di controllo scaricandola qui qui.
