Nell'ultimo post di questa serie su SnapLogic Ultra Pipelines tratterò i tre pilastri per il successo dell'implementazione e della gestione delle pipeline di dati: prestazioni, scalabilità e alta disponibilità.
- Prestazioni: Le prestazioni di una Ultra Pipeline dipendono in larga misura dai tempi di risposta delle applicazioni del sistema finale a cui il task si connette. Una pipeline Ultra contenente un gran numero di snap endpoint ad alta latenza può osservare una congestione di documenti, che si sviluppa attraverso gli snap a monte fino al feedmaster, fino a quando la coda del feedmaster non riesce più a contenere i messaggi. Questo può essere evitato creando istanze multiple del task Ultra Pipeline o utilizzando lo snap router per distribuire il carico di documenti. Istanze multiple di una Ultra Pipeline assicurano che anche se un'istanza è lenta, le altre sono disponibili per consumare i documenti e mantenere la coda del feedmaster in movimento. Allo stesso modo, è possibile utilizzare un Router Snap in ogni istanza della pipeline per distribuire i documenti su più endpoint Snap, per migliorare le prestazioni e aggiungere capacità di elaborazione parallela a un'istanza. Questo si aggiunge alla capacità di calcolo parallelo incorporata di una pipeline, che implica che in un dato momento, ogni Snap di una pipeline sta elaborando un documento diverso.
- Scalabilità: La scalabilità può essere ottenuta aumentando il numero di istanze di un task Ultra Pipeline. Il numero totale di istanze necessarie per un task Ultra Pipeline è una funzione diretta del tempo di risposta previsto, dell'utilizzo delle risorse del nodo quando è in esecuzione una singola istanza del task e del carico funzionale su Snaplex derivante da altre esecuzioni della pipeline. Quando i nodi di esecuzione sono molto utilizzati, l'aggiunta di altri nodi di esecuzione consente di distribuire orizzontalmente le istanze del task e di scalare su tutto lo Snaplex.
- Alta disponibilità: Per evitare interruzioni del servizio e consentire un'elevata disponibilità, si raccomanda vivamente di utilizzare un bilanciatore di carico con due feedmaster e due nodi di esecuzione come architettura minima per la configurazione di Ultra Pipeline. Tale architettura può essere utilizzata anche per evitare un singolo punto di guasto da parte di un feedmaster o di un nodo di esecuzione.
Direttore
Ogni attività di Ultra Pipeline è elencata nel menu Gestione/progetto/attività. Per visualizzare il numero di documenti ricevuti o elaborati da ciascuna istanza dell'attività, è possibile utilizzare un menu a discesa che elenca i dettagli dell'attività:
Utilizzare il link Dettagli di un'attività per visualizzare le statistiche di esecuzione della pipeline e monitorare i documenti ricevuti da ogni snap nell'istanza di Ultra Pipeline.
Poiché la vista dettagliata elenca solo i documenti ricevuti da quell'istanza dell'attività, in caso di istanze multiple potrebbe essere necessario un monitoraggio più avanzato per ottenere una panoramica dei documenti, delle code e dei sottoscrittori. Ho lavorato con clienti SnapLogic su questo tipo di iniziativa utilizzando le nostre API e ho ottenuto buoni risultati.
Prossimi passi:
- Date un'occhiata alla mia serie di post su SnapLogic Ultra Pipelines e fatemi sapere se avete domande o commenti. Progettazione di pipeline Ultra, tipi di viste, gestione degli errori e delle eccezioni)
- Scoprite i nostri video e la prossima sessione SnapLogic Live
- Per saperne di più sulle nostre offerte di servizi professionali
