Per connettere più velocemente dati, app, API e Internet of Things (IOT), liberate la potenza di Spark su Hadooplex di SnapLogic.
L'afflusso di dati da numerose fonti, dai log dei server web ai dati trasmessi dai dispositivi IOT, riempie il data lake. Le aziende si trovano di fronte alla sfida di elaborare in modo ottimale questo enorme volume di dati nel loro data lake per ricavarne informazioni per scopi quali la raccomandazione di prodotti, la pubblicità, l'acquisizione e il coinvolgimento dei clienti, il rilevamento delle frodi, l'ottimizzazione dei costi e molti altri. L'offerta Spark di SnapLogic consente di sfruttare la potenza di Spark per trasformare l'enorme volume di dati con prestazioni elevate.
Hadooplex è un motore di elaborazione dati della Elastic Integration Platform di SnapLogic distribuito su un cluster Hadoop. È uno Snaplex installato su un cluster Hadoop. Un Hadooplex può eseguire pipeline in modalità standard e in modalità Spark.
Il nucleo di Hadooplex è costituito dal processo Yarn Application Master (Hadooplex Master). Hadooplex Master è responsabile della negoziazione delle risorse da Yarn Resource Manager e comunica con i NodeManager per eseguire e monitorare i container e il loro consumo di risorse.
Un Hadooplex può essere configurato per abilitare il supporto Spark, che consente la creazione di una pipeline Spark per l'esecuzione con il motore Spark. Le pipeline Spark consentono agli utenti di SnapLogic di costruire una logica dataflow utilizzando il paradigma Snap e pipeline che verrebbe eseguita come un programma Spark. Quando le pipeline Spark vengono eseguite su un Hadooplex, quest'ultimo richiede al gestore delle risorse YARN di programmare il driver SnapLogic Spark per l'esecuzione. Ogni istanza del driver SnapLogic Spark gestisce un'esecuzione della pipeline Spark.
I dettagli relativi all'architettura di alto livello, ai prerequisiti e all'avvio di Hadooplex con Spark sono disponibili nella pagina di documentazione di SnapLogic.
Il prossimo blog di questa serie vi illustrerà i vari snap disponibili per costruire la pipeline Spark e sfruttare la potenza di Spark. Nel frattempo, imparate a costruire ed eseguire pipeline Spark su HDInsight, guardate una demo della costruzione di pipeline Spark su Elastic Integration Platform di SnapLogic o contattateci se desiderate maggiori informazioni sulle soluzioni SnapLogic per Spark.
