Di Prasad Kona
Le organizzazioni si stanno orientando sempre più verso l'adozione di cloud piattaforme di dati e di cloud analisi come Microsoft Azure. In questo primo di una serie di post sulla piattaforma di dati di Azure, vi mostrerò come semplificare l'adozione delle piattaforme cloud e l'integrazione dei dati.
In questo post, mi concentro sull'inserimento dei dati in Azure Cloud Data Platform e dimostro come leggere e scrivere i dati in Microsoft Azure Storage utilizzando SnapLogic.
Per chi vuole immergersi subito, il mio video passo-passo di 4 minuti "Building a simple pipeline to read and write data to Azure Blob storage" mostra come fare ciò che si desidera, senza scrivere alcun codice.
Che cos'è Azure Storage?
Azure Storage consente di archiviare terabyte di dati per supportare casi d'uso di piccoli e grandi dati. È altamente scalabile, altamente disponibile e può gestire in media milioni di richieste al secondo. Azure Blob Storage è uno dei tipi di servizi forniti da Azure Storage.
Azure offre due tipi chiave di archiviazione per i dati non strutturati: Azure Blob Storage e Azure Data Lake Store.
Archiviazione Blob di Azure
Azure Blob Storage memorizza i dati non strutturati degli oggetti. Un blob può essere un qualsiasi tipo di testo o di dati binari, come un documento o un file multimediale. L'archiviazione dei blob viene anche chiamata archiviazione di oggetti.
Azure Data Lake Store
Azure Data Lake Store offre ciò che le aziende cercano oggi nello storage e lo fa:
- Offre ulteriori funzioni di sicurezza di livello aziendale, come la crittografia, e utilizza Azure Active Directory per l'autenticazione e l'autorizzazione.
- È compatibile con Hadoop Distributed File System (HDFS) e funziona con l'ecosistema Hadoop, compreso Azure HDInsight.
- Include cluster Azure HDInsight, che possono essere forniti e configurati per accedere direttamente ai dati archiviati in Data Lake Store.
- Consente di analizzare facilmente i dati archiviati nel Data Lake Store utilizzando framework analitici Hadoop come MapReduce, Spark o Hive.
Come si spostano i dati su Azure Data Platform?
Vediamo come leggere e scrivere su Azure Data Platform utilizzando SnapLogic.
Per gli snap SnapLogic che supportano gli account Azure, è possibile scegliere uno degli account Azure Storage o Azure Data Lake Store:
La configurazione dell'account di archiviazione Azure in SnapLogic può essere eseguita come mostrato di seguito, utilizzando il nome dell'account di archiviazione Azure e la chiave di accesso ottenuta dal portale Azure:
La configurazione dell'Azure Data Lake Store Account in SnapLogic, come illustrato di seguito, utilizza l'Azure Tenant ID, l'Access ID e la Secret Key ottenuti dal portale Azure:
Insieme, si ottiene una semplice pipeline che illustra come leggere e scrivere su Azure Blob Storage:
Ecco di nuovo il video passo-passo: Creazione di una semplice pipeline per leggere e scrivere dati sullo storage BLOG di Azure
Nel prossimo post del blog, descriverò gli approcci per spostare i dati dai database on-prem a Azure SQL Database.
Prasad Kona è un architetto d'impresa presso SnapLogic. Potete seguirlo su LinkedIn o su Twitter @prasadkona.
