In meinem letzten Beitrag dieser Serie über SnapLogic Ultra Pipelines werde ich die drei Säulen für eine erfolgreiche Implementierung und Verwaltung von Datenpipelines behandeln: Leistung, Skalierung und Hochverfügbarkeit.
- Leistung: Die Leistung einer Ultra Pipeline hängt weitgehend von den Antwortzeiten der Endsystemanwendungen ab, mit denen die Aufgabe verbunden ist. Bei einer Ultra Pipeline mit einer großen Anzahl von Endpunkt-Snaps mit hoher Latenzzeit kann es zu einem Stau von Dokumenten kommen, der sich über die vorgelagerten Snaps bis zum Feedmaster aufbaut, bis die Feedmaster-Warteschlange die Nachrichten nicht mehr aufnehmen kann. Dies kann vermieden werden, indem entweder mehrere Instanzen der Ultra-Pipeline-Aufgabe erstellt oder der Router-Snap verwendet wird, um die Dokumentenlast zu verteilen. Mehrere Instanzen einer Ultra Pipeline stellen sicher, dass, selbst wenn eine Instanz langsam ist, andere zur Verfügung stehen, um Dokumente zu verbrauchen und die Feedmaster-Warteschlange im Fluss zu halten. Ebenso kann in jeder Instanz der Pipeline ein Router-Snap verwendet werden, um die Dokumente auf mehrere Endpunkt-Snaps zu verteilen, um die Leistung zu verbessern und einer Instanz die Fähigkeit zur Parallelverarbeitung hinzuzufügen. Dies geschieht zusätzlich zur eingebauten parallelen Berechnungsfähigkeit einer Pipeline, was bedeutet, dass zu einem bestimmten Zeitpunkt jeder Snap in einer Pipeline ein anderes Dokument verarbeitet.
- Skalierung: Die Skalierung kann durch Erhöhung der Anzahl der Instanzen in einer Ultra Pipeline-Aufgabe erreicht werden. Die Gesamtzahl der für eine Ultra Pipeline-Aufgabe erforderlichen Instanzen ist eine direkte Funktion der erwarteten Antwortzeit, der Ressourcenauslastung des Knotens, wenn eine einzelne Instanz der Aufgabe ausgeführt wird, und der funktionalen Belastung des Snaplex durch andere Pipeline-Läufe. Wenn die Ausführungsknoten stark ausgelastet sind, können durch Hinzufügen weiterer Ausführungsknoten die Instanzen der Aufgabe horizontal verteilt und über den Snaplex skaliert werden.
- Hohe Verfügbarkeit: Um Dienstunterbrechungen zu vermeiden und eine hohe Verfügbarkeit zu ermöglichen, wird dringend empfohlen, einen Load Balancer mit zwei Feedmastern und zwei Ausführungsknoten als Mindestarchitektur für die Einrichtung von Ultra Pipeline zu verwenden. Eine solche Architektur kann auch verwendet werden, um den Ausfall eines einzelnen Feedmasters oder Ausführungsknotens zu vermeiden.
Manager
Jede Ultra Pipeline-Aufgabe wird im Menü Manager/Projekt/Aufgabe aufgeführt. Um die Anzahl der von jeder Instanz der Aufgabe empfangenen oder verarbeiteten Dokumente anzuzeigen, kann ein Dropdown-Menü mit den Details der Aufgabe verwendet werden:
Verwenden Sie den Link Details einer Aufgabe, um die Pipeline-Ausführungsstatistiken anzuzeigen und die von jedem Snap in der Ultra Pipeline-Instanz empfangenen Dokumente zu überwachen.
Da die detaillierte Ansicht nur die Dokumente auflistet, die von dieser Instanz des Tasks empfangen wurden, ist im Falle mehrerer Instanzen möglicherweise eine erweiterte Überwachung erforderlich, um einen Überblick über die Dokumente, Warteschlangen und Abonnenten zu erhalten. Ich habe mit SnapLogic-Kunden an dieser Art von Initiative unter Verwendung unserer APIs gearbeitet und hatte gute Ergebnisse.
Nächste Schritte:
- Sehen Sie sich meine Serie von Beiträgen über SnapLogic Ultra Pipelines an und lassen Sie mich wissen, wenn Sie Fragen oder Kommentare haben. Entwurf von Ultra Pipelines, Arten von Ansichten, Fehler- und Ausnahmebehandlung)
- Sehen Sie sich unsere Videos und die nächste SnapLogic Live-Sitzung an
- Erfahren Sie mehr über unser Angebot an professionellen Dienstleistungen
