Recentemente ho scritto di come Hadooplex di SnapLogic raggiunga la scalabilità elastica, funzionando come applicazione YARN nativa in un cluster Hadoop. Come ho notato nel post:
"Quando il carico di lavoro aumenta, il master dell'applicazione chiede al ResourceManager di YARN di attivare altri nodi Hadooplex uno alla volta, come mostrato nel diagramma seguente. Questo ridimensionamento avviene dinamicamente fino a quando il carico di lavoro non inizia a diminuire o fino a quando non viene raggiunto il numero massimo di nodi Hadooplex consentito.
Quando il carico di lavoro diminuisce, i nodi iniziano a girare a vuoto. In questo modo SnapLogic ottiene una scalatura elastica in base ai volumi del carico di lavoro all'interno di un cluster Hadoop utilizzando il ResourceManager YARN. Questo è possibile solo se l'applicazione è nativa YARN".
Ho voluto approfondire l'argomento mostrando come si presenta in un file Piattaforma di integrazione elastica SnapLogic dimostrazione. In questa dimostrazione è possibile vedere come Hadooplex, che è il motore di esecuzione in tempo reale, scala elasticamente a seconda del carico di lavoro.
Per saperne di più sulle piattaforme di elaborazione dei big data SnapLogic, leggete questo documento e guardate altre dimostrazioni di SnapLogic qui. Non dimenticate di visitare il nostro prossimo webinar con Mark Madsen, che si concentrerà sulla nuova architettura di riferimento per il data lake aziendale.
