Ho avuto il privilegio di lavorare per due delle aziende tecnologiche di maggior successo nel settore dei dati: Snowflake Computing [data warehousing as a service (DWaaS)] e SnapLogic [integration platform as a service (iPaaS)]. Queste esperienze sono state davvero preziose per formarmi come professionista dei dati. Dopo aver lavorato per queste grandi aziende, ora rido dell'idea che l'implementazione di un'iniziativa data-driven sia difficile e costosa.
Snowflake: Un concentrato di prestazioni e risparmi
La separazione tra elaborazione e archiviazione e la fatturazione basata sull'uso di Snowflake offrono una potenza di prestazioni e risparmi sui costi. Da un lato, permette agli ingegneri dei dati e agli utenti finali di operare armoniosamente sui loro dati senza lottare per le risorse di calcolo. Un utente può facilmente interrogare terabyte (TB) di dati mentre un altro sta caricando la stessa quantità di dati sulla stessa tabella. Tuttavia, nessuno di questi utenti noterà un calo delle prestazioni: il caricamento e la lettura degli stessi dati non sono più un problema. Gli utenti possono aumentare istantaneamente la potenza di calcolo per terminare il loro lavoro senza dover fornire nuovo hardware o attivare e disattivare diverse macchine virtuali (VM). Basta un clic e Snowflake si occuperà di tutto il resto. La parte migliore è che gli utenti pagano solo per quello che usano - niente di più, niente di meno.
Con uno strumento così potente, per sfruttarne appieno il potenziale è necessaria una piattaforma di integrazione dei dati altrettanto potente. Ciò è particolarmente vero se il progetto richiede fonti multiple e un mix di tipi di dati strutturati e semi-strutturati. Inoltre, le grandi aziende hanno in genere bisogno di integrare sia le risorse on-premises che quelle di cloud . Ho visto molti strumenti di integrazione cedere di fronte a questo serraglio di requisiti. Fortunatamente, è qui che SnapLogic brilla.
SnapLogic: Una sola piattaforma per tutte le integrazioni di applicazioni e dati
SnapLogic Intelligent Integration Platform (IIP) consente di connettersi a qualsiasi tipo di dati, in qualsiasi momento, a qualsiasi velocità, ovunque in un'unica piattaforma. Si concentra sui dati in movimento attraverso un'architettura basata sullo streaming e una semplice interfaccia utente che fornisce dati da più fonti contemporaneamente. I singoli connettori precostituiti, chiamati Snaps (simili a pezzi di Lego per l'integrazione), consentono agli utenti di abbozzare, testare e produrre il proprio flusso di lavoro in pochi minuti. Poiché la piattaforma utilizza un tipo di dati semi-strutturati nel suo nucleo, gli utenti possono plasmare e modellare rapidamente qualsiasi tipo di struttura di dati dalla sorgente alla destinazione, indipendentemente dal tipo di sorgente, mantenendo l'integrità dei dati.
Snowflake è più potente con SnapLogic
Lo Snowflake Snap Pack di SnapLogic è stato sviluppato con attenzione e considerazione. Completa i punti di forza di Snowflake e si adatta alle sue sfumature. Gli snap Bulk Load sfruttano il comando COPY di Snowflake, mettendo automaticamente in scena i dati in arrivo in stadi interni o esterni. Lo snap Multi Execute rispetta la natura di auto-commit di Snowflake, dando agli utenti un controllo più fine nella gestione delle transazioni. Lo snap SCD tipo 2 estende la capacità di cattura dei dati di modifica di Snowflake.
SnapLogic estende ulteriormente lo Snowflake Snap Pack consentendo connessioni da database on-premises come MySQL, PostgreSQL, MS SQL, Oracle DB, Teradata e Netezza. Allo stesso tempo, è possibile estrarre i dati da applicazioni on-premises o cloud , risorse REST o SOAP, o file system - sto parlando di tutto in una volta, in modo simultaneo, senza scrivere una sola riga di codice! Inoltre, il livello di gestione dei flussi di lavoro di SnapLogic consente di distribuire, monitorare e risolvere rapidamente i flussi di lavoro in un'unica vista. I livelli nativi di gestione delle API REST possono trasformare tutte le integrazioni in endpoint REST per il consumo da parte di altre applicazioni. Si tratta di una vera e propria piattaforma unificata per tutte le esigenze di integrazione.
Casi d'uso popolari per SnapLogic e Snowflake
Recentemente ho analizzato casi d'uso unici che coinvolgono SnapLogic e Snowflake. Ho creato una serie di video che mostrano le possibilità uniche di combinare i due strumenti. Sentitevi liberi di guardarli.
- Migrazione Snowflake di Teradata
- Fiocco di neve SCD 2
- Fiocco di neve LZO Compression
- Snowflake Controllo versione DDL
SnapLogic è strettamente integrato con Snowflake. Elimina la complessità della gestione dei connettori Snowflake e arricchisce l'esperienza dell'utente con l'insieme più versatile di operazioni ETL e ELT disponibili. Ottenete più rapidamente informazioni sul vostro business fornendo dati a Snowflake con SnapLogic. Gli utenti di Snowflake possono accedere facilmente a SnapLogic tramite il portale Snowflake Partner Connect. Visitate subito il portale per accedere a tutti gli Snowflake e agli altri Snap Pack di SnapLogic!
