Oggi SnapLogic ha annunciato SnapReduce 2.0, che mira a rendere elastici i big data.
Come siamo arrivati qui:
Sebbene Hadoop prometta un enorme valore in termini di approfondimenti sui dati aziendali precedentemente non raccolti, non tutte le organizzazioni sono state in grado di raggiungere la terra promessa:
-
La maggior parte dei clienti non è in grado di accedere e incorporare tutti i dati necessari per ottenere approfondimenti analitici completi. Grazie alle capacità di elaborazione massicciamente parallela di Hadoop, più dati si incorporano, più intelligenti sono gli algoritmi e migliori sono gli approfondimenti. Gli strumenti per gli sviluppatori, come Sqoop, sono difficili da usare e possono diventare molto ingombranti da mantenere con poco riutilizzo. Inoltre, questi strumenti sono ottimi per incanalare i dati dai sistemi on-premise, ma ottengono dati da applicazioni e fonti cloud come Salesforce e Workday, nonché da applicazioni personalizzate in esecuzione su cloud pubblici come Amazon Web Services (AWS) e Microsoft Azure.
-
MapReduce, il principale motore di elaborazione dei dati in Hadoop, è anche uno strumento molto incentrato sugli sviluppatori. Per eseguire analisi, i data scientist devono scrivere lavori MapReduce e ci si aspetta che siano codificatori di alto livello, oltre a conoscere i dati e le statistiche. L'aggiunta di una risorsa di sviluppo a disposizione del data scientist non fa altro che rallentarlo, poiché ogni piccola modifica diventa una richiesta di cambiamento.
La comunità di Hadoop ha riconosciuto queste lacune e ha reso Hadoop più estensibile introducendo Yet Another Resource Negotiator (YARN). YARN, noto anche come MapReduce 2.0, consente agli utenti di Hadoop di eseguire qualsiasi lavoro arbitrario nel framework Hadoop.
SnapReduce 2.0
Con SnapReduce 2.0, SnapLogic mette a disposizione degli utenti Hadoop la sua intera Elastic Integration Platform. Rendendola gestita da YARN, gli utenti possono ora rendere elastici i loro big data. Ecco come fare:
-
Scala elastica: Gli utenti possono eseguire le loro integrazioni elastiche su scala Hadoop eseguendo le integrazioni SnapLogic in modo nativo su Hadoop come risorse gestite da YARN. Ciò è possibile grazie alla tecnologia SnapLogic Integrazione definita dal software architettura in cui i piani dati sono puramente esecutori di istruzioni inviate dal sistema di gestione dei dati. piano di controllo. Questi piani dati, chiamati Snaplex, possono essere eseguiti su qualsiasi piattaforma che supporti Java, tra cui Hadoop. -
Dati più ricchi in Hadoop: Oltre all'integrazione di base dei dati, i data scientist possono incorporare i dati da oltre 160 fonti di dati, sia on-premises che in cloud, senza alcuna codifica. La ricca interfaccia utente drag-and-drop di SnapLogic non richiede competenze specialistiche di integrazione per i data scientist. Inoltre, le pipeline di integrazione senza schemi di SnapLogic (weakly-typed vs strongly-typed) diventano altamente resilienti e riutilizzabili nel mondo dei big data.
-
Preparazione dei dati: Con SnapReduce e SnapLogic, i data scientist possono trasformare e arricchire graficamente i dati senza dover ricorrere alla codifica. Operazioni comuni ma complesse come le unioni e i join diventano una questione di trascinamento, rilascio e configurazione.
-
Consegna elastica: SnapReduce 2.0 consente inoltre di distribuire in modo elastico i risultati delle analisi attraverso diversi canali di distribuzione: file, API o tecniche di visualizzazione come Tableau. I data scientist possono creare pipeline che leggono i loro set di risultati da Hadoop e li consegnano agli analisti aziendali come file CSV, file in formato Tableau o ai tradizionali data warehouse e strumenti di BI in formato relazionale per un'esperienza analitica altamente ottimizzata.
Con il consolidamento dello storage, dell'elaborazione e ora dell'integrazione dei big data nella piattaforma Hadoop, questa diventa un'unica piattaforma di gestione dei dati per i clienti. Questo li aiuta a razionalizzare il loro stack di gestione dei dati su Hadoop e a ottimizzare i loro investimenti nei big data. I clienti SnapLogic esistenti si affidano a noi per essere aiutati nelle loro iniziative sui big data. In genere si tratta di clienti che si sono già affidati alla SnapLogic Elastic Integration Platform per le loro esigenze di integrazione di applicazioni, API o ETL/ELT classico e che vorrebbero estendere le capacità di SnapLogic ai big data e all'analisi per standardizzarsi su un'unica piattaforma per tutte le loro esigenze di integrazione aziendale.
Ecco cosa ha detto il nostro partner Cloudera in merito all'annuncio di oggi:
I nostri clienti stanno riconoscendo il valore della creazione di un hub di dati aziendali e le moderne tecnologie di raccolta e trasformazione dei dati sono essenziali per ottenere i massimi benefici operativi e analitici. Siamo lieti di collaborare con SnapLogic per l'introduzione sul mercato di SnapReduce 2.0, che consente ai clienti di sfruttare le capacità di elaborazione parallela di Cloudera Enterprise per le loro iniziative di integrazione dei big data. per le loro iniziative di integrazione dei big data.
Prossimi passi:
- Iscriviti al programma di accesso anticipato a SnapReduce 2.0
- Guarda uno dei nostri video su SnapTV
- Contattateci per maggiori informazioni
