Nel primo articolo di questa serie in due parti, ho evidenziato tre delle cinque funzionalità per rendere più moderna la vostra architettura di dati. Ma non solo più moderna, anche meno complessa.
Riassumendo le tre capacità (riassunte nella parte 1) da ricercare:
1. Integrazioni di dati e integrazioni tra applicazioni combinate
L'invio di dati cloud (ELT o ETL) a un data warehouse cloud come BigQuery, Redshift, Snowflake o altri (con strumenti come Fivetran, Matillion, Informatica, ecc.) è ottimo per le analisi e gli approfondimenti post-produzione e rappresenta un caso d'uso dominante. Tuttavia, l'integrazione dei dati di per sé è potenzialmente limitante. Una capacità più moderna è quella di avere, all'interno dello stesso strumento, la flessibilità di integrare i dati tra le applicazioni per i carichi di lavoro operativi, soprattutto quando sono necessarie prestazioni in tempo reale. Inoltre, rispetto all'accesso ai dati tramite un data warehouse, l'esperienza dei dati in-app può essere più rapida e semplice per una base più ampia di utenti.
2. Modelli di caricamento bidirezionale (ETL, ELT ed ETL inverso) - Non complicato
Oltre all'estensione alle integrazioni tra applicazioni, la combinazione di ETL e ELT con modelli di reverse ETL, sempre in un'unica soluzione, rappresenta un approccio più moderno che offre la flessibilità (rispetto a strumenti come Census, Hightouch, Hevo, ecc.) di selezionare un modello di caricamento più adatto al vostro caso d'uso specifico. Il vantaggio aggiuntivo è il consolidamento degli strumenti, semplificando così l'architettura dei dati.
3. Gestire sia i dati on-premises che quelli residenti su Cloud senza sacrificare la sicurezza
Cloud-I dati residenti sono la tendenza attuale, ma per alcune aziende sensibili alla sicurezza o alla privacy, i dati in sede non si avvicinano a cloud (per qualsiasi motivo). Una soluzione più moderna separa l'esecuzione dei dati dal controllo dei dati, consentendo ai dati o alle integrazioni app-to-app di essere eseguiti su qualsiasi infrastruttura, situata ovunque, anche dietro un firewall on-premises, mantenendo un controllo agile e flessibile su cloud .
Passiamo ora alle altre due funzionalità, più moderne:
4. Dati + integrazioni da app ad app + API per un'esperienza Dev/Ops dei servizi dati più moderna
I prodotti e i servizi di dati sono di gran moda in questi giorni. Ma considerando ancora una volta (come già detto nella prima parte) l'attenzione che la rete di dati e i principi della rete di dati (dati di proprietà del dominio, dati come prodotto, architettura di dati self-service e governance computazionale federata) hanno suscitato, è necessario intersecare molte tecnologie, tra cui l'integrazione e la gestione delle API, per realizzare la rete di dati. Poi c'è la fornitura di servizi di dati, che in genere richiede lo sviluppo, la distribuzione e la gestione di API.
La cultura API-driven (con soluzioni come Apigee, Kong, ecc.) è una realtà da tempo, dal punto di vista dello sviluppo di applicazioni e software. Dal punto di vista dell'architettura dei dati, tuttavia, sia che i dati rimangano sul posto sia che si costruiscano pipeline per far fluire i dati, i prodotti, i servizi e le pipeline di dati hanno processi di sviluppo propri. Per questo motivo, lo sviluppo di prodotti, servizi e pipeline di dati trarrebbe vantaggio dallo sviluppo di applicazioni, in particolare dalle best practice dev-ops di integrazione continua e consegna continua (CI/CD).
Quindi, se l'integrazione, la proprietà del dominio, i prodotti di dati dev/ops, la fornitura di servizi di dati e le API costituiscono un'intersezione importante, la combinazione di tutte queste funzionalità in un'unica soluzione di piattaforma, che sia anche orientata al self-service, produrrà vantaggi di consolidamento e semplificazione. Inoltre, gli utenti, tecnici e non, sperimenteranno un'esperienza di sviluppo più moderna e integrata.
"Sfruttando SnapLogic per costruire la nostra piattaforma AI-embedded, possiamo abilitare la nostra azienda e dare ai dipendenti l'accesso ai dati di cui hanno bisogno a portata di mano. Oltre il 95% di tutte le nostre API sono orchestrate da SnapLogic, consentendo ai nostri dipendenti di creare facilmente applicazioni sulla nostra piattaforma di dati Marko", ha dichiarato Brian Murphy, vicepresidente dei dati presso l'azienda di servizi alimentari Aramark.
5. Un'architettura di integrazione scalabile dalla A alla Z
Inoltre, se si dispone di un ambiente che deve supportare più di un dominio, ad esempio più filiali, diverse unità aziendali, più team funzionali e così via, la spina dorsale di integrazione che riunisce il tutto deve essere scalabile per accogliere nuovi domini.
Tecnicamente, ovviamente, è possibile implementare una nuova architettura di dati per ogni nuovo dominio, ma ciò creerebbe confini rigidi e ulteriore complessità. Sebbene in alcuni casi ciò sia necessario, se si ha la possibilità di scegliere, l'alternativa migliore è evitare di aggiungere complessità. Pertanto, un approccio più moderno consiste nel creare flessibilità e possibilità di scelta nell'architettura con una spina dorsale di integrazione che può scalare orizzontalmente (asse X) aggiungendo altri nodi di potenza di calcolo, verticalmente (asse Y) aumentando le dimensioni di un nodo di calcolo o ampiamente (asse Z) aggiungendo altri domini (Figura 1). Tutti i domini verrebbero accoppiati in modo non vincolante all'interno dello stesso ambiente di integrazione.
Inoltre, ogni dominio avrebbe le proprie risorse, mentre il controllo e la gestione dell'intero ambiente integrato potrebbero essere di proprietà del gruppo aziendale o dell'IT. La flessibilità è la chiave, dato che le aziende collocano sempre più spesso tecnologi di tipo informatico all'interno dei gruppi aziendali. In un ambiente così distribuito, sarebbe ideale raccogliere i metadati delle attività in tutto l'ambiente per favorire la governance e applicare le politiche di sicurezza. I metadati e la governance sono un argomento a sé stante per un prossimo articolo. Restate sintonizzati.
Più moderno + meno complesso = vita più semplice con i dati
Con questa serie di articoli in due parti, ho riassunto come l'integrazione dei dati (fonti di dati consolidate in un data warehouse cloud ) tenda a essere al centro della maggior parte delle discussioni sulla moderna architettura dei dati e sul moderno data stack. Tuttavia, quando ho il privilegio di confrontarmi con i responsabili tecnologici dei gruppi IT e aziendali, con gli architetti aziendali e con i responsabili delle piattaforme dati, un punto comune di preoccupazione spesso espresso è che le architetture dei dati sono troppo complesse e troppo tecnologiche per consentire alle persone al di fuori dell'IT di integrare e lavorare con i dati.
Un fattore importante è la presenza di strumenti multipli e sovrapposti per svolgere attività più ampie sui dati, che compensano gli strumenti incentrati solo sull'ELT o sull'ETL, o solo sull'ETL inverso.
L'integrazione dei dati (ELT, ETL e reverse ETL), l'integrazione tra app e app e la gestione dell'intero ciclo di vita delle API, se consolidate all'interno di un'unica piattaforma di integrazione, renderanno l'architettura complessiva dei dati più moderna (e più funzionale), ma anche meno complessa e più semplice per una più ampia gamma di proprietari e utenti dei dati. Questo include anche gli utenti al di fuori dell'IT. Una soluzione consolidata e unificata consente inoltre di separare il controllo di cloud dall'esecuzione on-premise (dietro un firewall) e di scalare verticalmente, orizzontalmente o ampiamente per soddisfare le richieste di prestazioni e aggiungere domini.
