Um Ihre Daten, Anwendungen, APIs und das Internet der Dinge (IOT) schneller zu verbinden, entfesseln Sie die Leistung von Spark auf dem Hadooplex von SnapLogic.
Es gibt einen massiven Zustrom von Daten aus zahlreichen Quellen, von Webserver-Protokollen bis hin zu Daten, die von IOT-Geräten übermittelt werden und den Data Lake füllen. Unternehmen stehen vor der Herausforderung, diese riesigen Datenmengen in ihrem Data Lake optimal zu verarbeiten, um Erkenntnisse für Zwecke wie Produktempfehlungen, Werbung, Kundengewinnung und -bindung, Betrugserkennung, Kostenoptimierung und vieles mehr zu gewinnen. Mit dem Spark-Angebot von SnapLogic können Sie die Leistung von Spark nutzen, um die riesigen Datenmengen mit hoher Leistung zu verarbeiten.
Hadooplex ist ein Datenverarbeitungsmodul der Elastic Integration Platform von SnapLogic, das auf einem Hadoop-Cluster eingesetzt wird. Es handelt sich um einen Snaplex, der auf einem Hadoop-Cluster installiert ist. Ein Hadooplex kann Pipelines im Standardmodus und im Spark-Modus ausführen.
Hadooplex besteht im Kern aus dem Yarn Application Master (Hadooplex Master) Prozess. Der Hadooplex-Master ist für das Aushandeln von Ressourcen vom Yarn Resource Manager verantwortlich und kommuniziert mit dem/den NodeManager(n), um die Container und deren Ressourcenverbrauch auszuführen und zu überwachen.
Ein Hadooplex kann so konfiguriert werden, dass die Spark-Unterstützung aktiviert wird, was die Erstellung einer Spark-Pipeline zur Ausführung mit der Spark-Engine ermöglicht. Mit Spark-Pipelines können SnapLogic-Benutzer Datenflusslogik unter Verwendung des Snap- und Pipeline-Paradigmas erstellen, die als Spark-Programm ausgeführt wird. Wenn Spark-Pipelines auf einem Hadooplex ausgeführt werden, fordert der Hadooplex den YARN Resource Manager auf, den SnapLogic Spark-Treiber für die Ausführung zu planen. Jede SnapLogic Spark-Treiberinstanz verarbeitet eine Spark-Pipeline-Ausführung.
Details zur High-Level-Architektur, den Voraussetzungen und dem Start von Spark-fähigem Hadooplex finden Sie auf der SnapLogic-Dokumentationsseite.
Der nächste Blog in dieser Reihe wird Sie durch die verschiedenen Snaps führen, die zum Aufbau der Spark-Pipeline verfügbar sind, um die Leistung von Spark zu nutzen. In der Zwischenzeit erfahren Sie, wie Sie Spark-Pipelines auf HDInsight erstellen und ausführen können, sehen Sie sich eine Demo zum Aufbau von Spark-Pipelines auf der Elastic Integration Platform von SnapLogic an oder kontaktieren Sie uns, wenn Sie weitere Informationen zu den Lösungen von SnapLogic für Spark wünschen.
