YARN, eine wichtige Weiterentwicklung von Hadoop 2.0, ist ein Ressourcenmanager, der die Ausführungs- und Verarbeitungsverwaltung von den Ressourcenverwaltungsfunktionen von MapReduce trennt. Wie ein Betriebssystem auf einem Server ist YARN so konzipiert, dass mehrere, unterschiedliche Benutzeranwendungen auf einer mandantenfähigen Plattform ausgeführt werden können.
Entwickler sind nicht mehr darauf beschränkt, MapReduce-Programme mit mehreren Durchläufen zu schreiben, die Nachteile wie hohe Latenzzeiten haben, wenn eine bessere Option mit einem gerichteten azyklischen Grafikansatz (DAG) modelliert werden kann.
Jede Anwendung, einschließlich Spark, kann auf einem bestehenden Hadoop-Cluster bereitgestellt werden und YARN für die Planung und Ressourcenzuweisung nutzen. Dies ist auch der Grundbestandteil eines Hadooplex in SnapLogic - um eine elastische Skalierung für Integrationsaufgaben zu erreichen.
Der anwendungsspezifische ApplicationMaster ist in der Tat ein Framework, eine Bibliothek, und hat die Aufgabe, Ressourcen vom ResourceManager auszuhandeln und mit dem/den NodeManager(n) zusammenzuarbeiten, um Aufgaben auszuführen und zu überwachen.
Der Anwendungsmaster von SnapLogic ist für die Aushandlung von Ressourcen mit dem ResourceManager zuständig. Die Steuerebene in SnapLogic ist das Gehirn (lesen Sie diesen Beitrag über softwaredefinierte Integration), in dem alle wichtigen Informationen gespeichert sind und das dabei hilft, logische Entscheidungen für Scale-out und Scale-in zu treffen. Die Hadooplex ist die eigentliche Anwendung, die die Arbeitslast ausführt.
In diesem Diagramm können Sie sehen, dass der Hadooplex seine Lastinformationen in regelmäßigen Abständen an die Steuerungsebene meldet. Der Anwendungsmaster erhält die Lastinformationen von der Steuerungsebene, ebenfalls in regelmäßigen Abständen.
Wenn die Arbeitslast steigt, fordert der Anwendungsmaster den YARN ResourceManager auf, nach und nach weitere Hadooplex-Knoten hochzufahren, wie im folgenden Diagramm dargestellt. Diese Skalierung erfolgt dynamisch, bis entweder die Arbeitslast zu sinken beginnt oder die maximal zulässige Anzahl von Hadooplex-Knoten erreicht ist.
Wenn die Arbeitslast abnimmt, werden die Knoten heruntergefahren. Auf diese Weise erreicht SnapLogic mit dem YARN ResourceManager eine elastische Skalierung auf der Grundlage des Arbeitslastvolumens innerhalb eines Hadoop-Clusters. Dies ist nur möglich, wenn eine Anwendung eine native YARN-Anwendung ist. (Lesen Sie hier mehr über die Bedeutung von YARN-Native).
Nächste Schritte:
- Erfahren Sie hier mehr darüber, wie Kunden SnapLogic für die Big Data-Integration mit Hadoop einsetzen.
- Sehen Sie sich eine Demonstration unserer neuen Spark-Funktionen an.
- Lesen Sie mehr über die Datenverarbeitungsplattformen von SnapLogic
Dieser Beitrag erschien ursprünglich auf LinkedIn.
