Ich hatte das Privileg, für zwei der erfolgreichsten Technologieunternehmen im Datenbereich zu arbeiten - Snowflake Computing [Data Warehousing as a Service (DWaaS)] und SnapLogic [Integration Platform as a Service (iPaaS)]. Diese Erfahrungen waren sehr wertvoll für meine Entwicklung als Datenexperte. Als Ergebnis meiner Arbeit für diese großartigen Unternehmen lache ich jetzt über die Vorstellung, dass die Implementierung einer datengesteuerten Initiative schwierig und teuer ist.
Snowflake: Ein Kraftpaket aus Leistung und Kosteneinsparungen
Die Trennung von Rechen- und Speicherleistung und die nutzungsabhängige Abrechnung in Snowflake sorgen für eine enorme Leistungssteigerung und Kosteneinsparungen. Einerseits können Dateningenieure und Endbenutzer harmonisch mit ihren Daten arbeiten, ohne sich um Rechenressourcen streiten zu müssen. Ein Benutzer kann leicht Terabytes (TB) an Daten abfragen, während ein anderer die gleiche Menge an Daten in dieselbe Tabelle lädt. Dennoch wird keiner dieser Benutzer einen Leistungsabfall feststellen - das Laden und Lesen von Daten über dieselben Daten ist kein Problem mehr. Die Benutzer können die Rechenleistung sofort erhöhen, um ihre Arbeit abzuschließen, ohne neue Hardware bereitstellen oder verschiedene virtuelle Maschinen (VMs) hoch- und runterfahren zu müssen. Es genügt ein Mausklick, und Snowflake kümmert sich um den Rest. Das Beste daran ist, dass die Benutzer nur für das bezahlen, was sie nutzen - nicht mehr und nicht weniger.
Um das Potenzial eines so leistungsstarken Tools voll ausschöpfen zu können, ist eine ebenso leistungsstarke Datenintegrationsplattform erforderlich. Dies gilt insbesondere, wenn das Projekt mehrere Quellen und eine Mischung aus strukturierten und halbstrukturierten Datentypen erfordert. Außerdem müssen große Unternehmen in der Regel sowohl lokale als auch Cloud-Ressourcen integrieren. Ich habe schon viele Integrationstools gesehen, die angesichts dieser Vielzahl von Anforderungen in die Knie gegangen sind. Glücklicherweise ist dies der Punkt, an dem SnapLogic glänzt.
SnapLogic: Eine Plattform für alle Ihre Anwendungen und Datenintegrationen
Die SnapLogic Intelligent Integration Platform (IIP) ermöglicht Ihnen die Verbindung zu jedem Datentyp, zu jeder Zeit, mit jeder Geschwindigkeit, überall auf einer einzigen Plattform. Der Schwerpunkt liegt auf Daten in Bewegung über eine Streaming-basierte Architektur und eine einfache Benutzeroberfläche, die Daten aus mehreren Quellen auf einmal liefert. Einzelne vorgefertigte Konnektoren, so genannte Snaps (ähnlich wie Legosteine für die Integration), ermöglichen es den Nutzern, ihre Arbeitsabläufe innerhalb weniger Minuten zu skizzieren, zu testen und produktiv zu machen. Da die Plattform in ihrem Kern einen halbstrukturierten Datentyp verwendet, können Benutzer schnell jede Art von Datenstruktur von der Quelle bis zum Ziel formen und gestalten, unabhängig vom Quellentyp, wobei die Datenintegrität erhalten bleibt.
Snowflake ist mit SnapLogic noch leistungsfähiger
Das Snowflake Snap Pack von SnapLogic wurde mit Bedacht und Sorgfalt entwickelt. Es ergänzt die Stärken von Snowflake und passt sich an dessen Feinheiten an. Die Bulk-Load-Snaps nutzen den COPY-Befehl von Snowflake, indem sie eingehende Daten automatisch entweder in internen oder externen Phasen bereitstellen. Der Multi Execute Snap respektiert die Auto-Commit-Funktion von Snowflake, indem er den Benutzern eine feinere Kontrolle bei der Verwaltung von Transaktionen ermöglicht. Der SCD Type 2 Snap erweitert die Fähigkeit von Snowflake, Änderungsdaten zu erfassen.
SnapLogic erweitert das Snowflake Snap Pack sogar noch weiter, indem es Verbindungen von lokalen Datenbanken wie MySQL, PostgreSQL, MS SQL, Oracle DB, Teradata und Netezza ermöglicht. Gleichzeitig können Sie Daten von On-Premises- oder Cloud-Anwendungen, REST- oder SOAP-Ressourcen oder Dateisystemen abrufen - und das alles gleichzeitig, ohne eine einzige Zeile Code zu schreiben! Darüber hinaus ermöglicht die Workflow-Management-Ebene von SnapLogic die schnelle Bereitstellung, Überwachung und Fehlerbehebung von Workflows in einer einzigen Ansicht. Die nativen REST-API-Verwaltungsschichten können alle Ihre Integrationen in REST-Endpunkte verwandeln, die von anderen Anwendungen genutzt werden können. Es handelt sich um eine echte, einheitliche Plattform für alle Ihre Integrationsanforderungen.
Beliebte Anwendungsfälle für SnapLogic und Snowflake
In letzter Zeit habe ich einzigartige Anwendungsfälle mit SnapLogic und Snowflake durchgespielt. Ich habe eine Reihe von Videos erstellt, die einzigartige Möglichkeiten für die Kombination beider Tools zeigen. Sie können sich sie anzuschauen.
- Snowflake Teradata-Migration
- Schneeflocke SCD 2
- Schneeflocke LZO Kompression
- Snowflake DDL-Versionskontrolle
SnapLogic ist eng mit Snowflake integriert. Es macht die Verwaltung von Snowflake-Konnektoren weniger komplex und bereichert die Benutzererfahrung mit den vielseitigsten ETL- und ELT-Vorgängen, die es gibt. Gewinnen Sie schneller Einblick in Ihr Unternehmen, indem Sie Daten mit SnapLogic an Snowflake liefern. Snowflake-Benutzer können über das Snowflake Partner Connect-Portal problemlos auf SnapLogic zugreifen. Besuchen Sie das Portal jetzt, um auf alle Snowflake- und anderen Snap Packs von SnapLogic zuzugreifen!
