Una prospettiva di integrazione cloud
Ho avuto l'opportunità di partecipare allo Snowflake Summit (3-6 giugno) con il team di SnapLogic. Snowflake è stata una delle due piattaforme di magazzino cloud dominanti sul mercato insieme ad Amazon Redshift, e l'evento ha messo in evidenza questa posizione dominante. Ho visto un gruppo eterogeneo di clienti e potenziali clienti di Snowflake, dalla vendita al dettaglio alle bioscienze, dalle aziende Fortune 100 alle piccole startup. Anche l'intero ecosistema Snowflake era in mostra alla conferenza. Il piano espositivo - il "Basecamp" - era pieno di stand di numerosi partner di Snowflake, tra cui SnapLamp. partner di Snowflake, tra cui SnapLogic.
Nel corso dell'evento, Snowflake ha annunciato alcune interessanti novità, come le Snowflake Materialized Views e la replica e il failover del database su più regioni o su cloud service provider. Per saperne di più su queste funzionalità qui. Ma le mie più grandi intuizioni sono venute dalle varie sessioni di breakout allo Snowflake Summit. Ho imparato a conoscere le sfide che i clienti Snowflake stanno affrontando e le strategie che stanno adottando per affrontarle.
Ecco alcune sfide comuni che i team IT hanno dovuto affrontare prima di adottare Snowflake.
- Problemi di prestazioni il lunedì mattina, quando tutti tornano al lavoro e premono il tasto "refresh" sui loro dashboard.
- Costi elevati dovuti al provisioning dei calcoli per i picchi di carico con altri data warehouse; mancanza di auto-elasticità
- Esplosione dei dati; essere costretti a buttare via dati come quelli del clickstream, della logistica dei vettori e del CRM a causa dello storage limitato delle appliance on-premises
- La gestione di data center e server impedisce alle organizzazioni di adattarsi ai cambiamenti del mercato e soffoca l'innovazione.
- Gli strumenti ETL/ELT sotto forma di script sono fragili e difficili da mantenere.
Ecco tre temi principali delle soluzioni adottate dai clienti per affrontare le sfide di cui sopra:
1. Strategia multi-strumento
La maggior parte delle aziende adotta una strategia multi-tool quando si tratta di integrazione dei dati. Il modello di consumo software as a service (SaaS) consente questa strategia. Con il modello SaaS, le aziende possono valutare più prodotti software in un breve periodo di tempo e poi costruire un processo/flusso di lavoro per collegare tutti questi strumenti. È facile adottare più strumenti, purché la dispersione sia gestibile.
Tuttavia, man mano che le esigenze aziendali si evolvono e l'ecosistema degli strumenti cambia, è necessario valutare periodicamente, ogni 1,5-2 anni, l'insieme degli strumenti in uso. Ho notato che mentre alcune organizzazioni rivalutavano costantemente i loro set di strumenti, altre continuavano a utilizzare strumenti non ottimali. Ogni organizzazione ha un'inerzia quando si tratta di applicazioni aziendali e processi di business. Pertanto, è importante scegliere uno strumento basato non solo sulle esigenze attuali, ma anche su quelle future.
2. Time-to-value più rapido
Le startup sono sempre sottoposte a una forte pressione per rimanere competitive, essere rilevanti e far crescere la propria base di clienti. Se da un lato le startup vogliono utilizzare strumenti che diano loro un vantaggio, dall'altro non possono permettersi lunghi cicli di valutazione quando scelgono un nuovo fornitore di software. Sono alla ricerca di strumenti che li rendano produttivi e che siano anche facili da valutare.
Alcuni clienti Snowflake hanno scelto uno strumento per il loro ecosistema Snowflake per risolvere un'esigenza specifica, come il carico e la replica dei dati. Uno strumento point-to-point come questo soddisfa le loro esigenze immediate, pur rimanendo all'interno dei loro budget limitati.
Quindi, per attrarre le startup, è importante che un prodotto SaaS fornisca:
- Una prova gratuita, eventualmente con risorse per una POC autogestita
- Un processo di onboarding senza soluzione di continuità per i nuovi utenti
- Supporto e una comunità di utenti per gli utenti in prova, in modo che possano trovare rapidamente le risposte.
- Soluzioni di avvio rapido su piattaforme pubbliche cloud
3. Affidamento allo scripting
Lo scripting SQL o Python è ancora uno strumento dominante per i team di data warehouse. In effetti, alcuni team hanno uno standard SQL in cui gli analisti scrivono le query in SQL e possiedono la logica di trasformazione dei dati.
Molte applicazioni SaaS nel campo dell'integrazione e dell'analisi si sono orientate a consentire agli utenti aziendali di disporre di una piattaforma a basso contenuto di codice per la creazione di integrazioni o per la preparazione dei dati per la creazione di dashboard. Tuttavia, quando si tratta di preparare e caricare i dati in un data warehouse come Snowflake, gli ingegneri dei dati sono ancora al comando.
Si affidano molto alle loro capacità di codifica e scripting. Detto questo, ho visto anche segnali che indicano l'adozione di strumenti automatizzati e di connettori precostituiti che consentiranno loro di concentrarsi su un lavoro più strategico: assicurarsi che l'esperienza dell'utente finale sia ottimale, che la logica di trasformazione dei dati sia accurata, che i flussi di lavoro siano performanti, ecc.
Poiché un numero sempre maggiore di organizzazioni si adopera per raccogliere dati e ricavarne informazioni, l'importanza degli strumenti di data warehouse, data engineering e data integration continuerà a crescere. SnapLogic Intelligent Integration Platform, una soluzione unificata che consente a ingegneri dei dati, analisti aziendali e specialisti dell'integrazione di creare un'integrazione end-to-end di dati e applicazioni, è ben posizionata per cogliere questa opportunità di crescita.
