Nel mio ultimo post sul blog, ci siamo concentrati sui miglioramenti delle prestazioni associati a Google BigQuery Snaps nella release 4.11. Questa settimana, continuando a dare un'occhiata ai dettagli delle novità della release Autunno 2017, ci concentriamo su ulteriori miglioramenti delle prestazioni della release 4.11. Non stiamo parlando solo dei soliti aggiornamenti, ma di velocità.
Due dei nostri snap di trasformazione, Sort e In-Memory Lookup, hanno ricevuto miglioramenti significativi delle prestazioni nella versione 4.11. Il team di sviluppo di SnapLogic era in missione per eliminare la latenza non necessaria che potrebbe passare inosservata in caso di carichi lievi, ma che è più evidente con volumi di dati maggiori. L'aumento dell'efficienza di elaborazione e delle dimensioni dei set di dati che possono essere gestiti in memoria era una grande priorità.
Il risultato è un'elaborazione molto più veloce con una maggiore resilienza per i grandi volumi di dati. Nel caso in cui pensiate che questo post sia solo una metafora, consideriamo i numeri (allacciate le cinture!):
I risultati variano ovviamente in base al profilo hardware del nodo Snaplex, agli elementi dei dati, alle dimensioni dei dati e così via, ma il grafico qui sopra mostra un miglioramento molto consistente e significativo delle prestazioni dell'ordinamento. Lo snap di ordinamento si trova nel 10 percento degli snap più utilizzati (su oltre 400), quindi è probabile che abbiate già sperimentato i vantaggi di questo particolare miglioramento delle prestazioni.
Inoltre, se nella pipeline sono presenti snap di trasformazione a valle, come Join, Aggregate, In-Memory Lookup e così via, l'ordinamento dei dati per primo garantisce maggiori prestazioni complessive.
Per quanto riguarda l'In-Memory Lookup Snap, anche questo ha ottenuto un aumento delle prestazioni. Lo snap di ricerca in memoria non solo è più veloce, ma può gestire più dati in memoria. Si consideri la seguente prova:
Anche in questo caso, valgono le stesse indicazioni di cui sopra* (*i vostri risultati varieranno in base alla configurazione hardware e ai dati), ma i test di SnapLogic mostrati nel grafico precedente mostrano chiaramente un miglioramento costante e significativo delle prestazioni, rispetto alla stessa configurazione hardware e allo stesso set di dati. Il risultato? La capacità di gestire insiemi di dati molto più grandi con In-Memory Lookup Snap.
Continueremo a concentrarci sui miglioramenti delle prestazioni, grandi e piccoli, ora e nelle prossime release. Dopo tutto, ogni millisecondo conta su scala.
Fate un giro con il vostro nuovo compressore e fateci sapere cosa ne pensate.
