Mentre ci prepariamo per l'Hadoop Summit di San Jose questa settimana, Greg Benson di SnapLogic ha scritto un post sul blog dell'ecosistema Hortonworks Hadoop in merito al nostro recente annuncio di SnapReduce 2.0. Ringraziamo i nostri amici di Hortonworks per l'opportunità di pubblicare un post. Assicuratevi di seguire #HadoopSummit per le notizie sui big data di questa settimana e contattateci se desiderate partecipare al programma di accesso anticipato a SnapReduce 2.0.
Ho rebloggato il post di Greg qui sotto.
---
Giovanni Kreisa, Hortonworks:
Sempre più fornitori di soluzioni si stanno integrando con Hortonworks Data Platform per fornire ai propri clienti Hadoop aziendale.
Nell'ambito della nostra serie sulla certificazione HDP 2.1, vorrei presentarvi Greg Benson, Chief Scientist di SnapLogic. In questo blog, Greg fornisce alcuni spunti sul valore di ottenere la certificazione HDP 2.1 e sui vantaggi della piattaforma di integrazione come servizio (iPaaS).
SnapLogic 2.0 sfrutta YARN per portare iPaaS in Hadoop, di Greg Benson
SnapLogic offre un servizio basato su cloud per eseguire un'ampia gamma di attività di integrazione di dati e applicazioni. Di recente abbiamo presentato SnapReduce 2.0, che combina la piattaforma di integrazione elastica come servizio(iPaaS) di SnapLogic con cluster Hadoop sia on-premises che basati su cloud. SnapReduce 2.0 è conforme a YARN e ha ottenuto la certificazione Hortonworks Data Platform (HDP) 2.1.
SnapReduce 2.0 permette ai clienti di sfruttare ulteriormente i loro investimenti in Hadoop, consentendo loro di utilizzare le risorse Hadoop per le attività di integrazione dei dati oltre che per altre applicazioni Hadoop. Le attività di integrazione di applicazioni e dati possono ora scalare in base alla capacità del cluster Hadoop, secondo le necessità. Inoltre, SnapReduce 2.0 semplifica l'acquisizione e la distribuzione dei dati Hadoop utilizzando un Designer grafico e la connettività Snap a un'ampia gamma di applicazioni e data store.
L'iPaaS elastico di SnapLogic supporta l'integrazione delle applicazioni, l'integrazione delle API e anche i casi d'uso convenzionali di estrazione, trasformazione e caricamento (ETL). Inoltre, fondamentale per SnapLogic è il supporto nativo per i documenti gerarchici. Questo supporto nativo può essere utilizzato per creare facilmente file di dati JSON in HDFS e record orientati alle righe, a seconda delle necessità. Il moderno Designer di SnapLogic, basato su HTML5, consente di acquisire e fornire facilmente i dati Hadoop senza dover programmare. Ciò è particolarmente utile per gli utenti di database e i data scientist che desiderano utilizzare i dati Hadoop ma non sono programmatori esperti.
YARN è il centro architettonico di Hadoop che controlla l'accesso alle risorse critiche di Hadoop e trasforma Hadoop in una piattaforma multi-applicazione. SnapLogic ottiene l'utilizzo dei cluster Hadoop attraverso il nostro Snaplex basato su YARN. Uno Snaplex è un insieme di contenitori in grado di eseguire le pipeline di flusso di dati SnapLogic. Il controllo della progettazione e dell'esecuzione delle pipeline risiede nel piano di controllo basato su cloud. Tuttavia, il nostro Snaplex basato su YARN si coordina sia con il gestore delle risorse YARN sia con il nostro controllo cloud . In questo modo possiamo applicare i nostri algoritmi di scale-out e scale-in ai nodi Snaplex in esecuzione in Hadoop. L'approccio di SnapLogic elimina anche la necessità di aggiornare il software, perché i nostri connettori, chiamati Snaps, vengono scaricati dinamicamente e messi in cache quando necessario. Anche il contenitore Snaplex si aggiorna automaticamente, se lo si desidera. In sostanza, il cliente può facilmente estendere le proprie risorse Hadoop per l'integrazione dei dati secondo le proprie necessità.
In termini di prestazioni, la co-locazione di Snaplex all'interno di Hadoop e con la destinazione o l'origine dei dati consente alle pipeline Snaplogic di trasmettere in modo efficiente i dati in HDFS da più fonti, sia all'interno di cloud che in sede. Allo stesso modo, le pipeline Snaplogic possono essere utilizzate per fornire dati HDFS ad applicazioni e data store esterni.
La crescente adozione di Hadoop e le limitazioni degli strumenti di gestione dei dati tradizionali hanno creato la necessità di un nuovo approccio all'acquisizione e alla distribuzione dei dati. La buona notizia è che, mentre sempre più organizzazioni IT lottano per far entrare e uscire i dati da Hadoop con strumenti di estrazione, trasformazione e caricamento (ETL) complicati e limitati dal punto di vista funzionale, è emersa una nuova tipologia di tecnologia di integrazione costruita per affrontare le attuali esigenze di social, mobile, cloud e big data.
SnapReduce 2.0 porta l'iPaaS di SnapLogic all'elaborazione su scala Hadoop.
Per saperne di più su SnapLogic SnapReduce 2.0, visitare il sito: https://www.snaplogic.com/products.
