Eine Perspektive der Cloud-Integration
Ich hatte die Gelegenheit, zusammen mit dem SnapLogic-Team am Snowflake Summit (3.-6. Juni) teilzunehmen. Snowflake ist neben Amazon Redshift eine der beiden dominierenden Cloud-Warehouse-Plattformen auf dem Markt, und die Veranstaltung hat diese Dominanz deutlich gemacht. Ich sah eine Vielzahl von Snowflake-Kunden und Interessenten, vom Einzelhandel bis zu Biowissenschaften, von Fortune-100-Unternehmen bis zu kleinen Start-ups. Auch das gesamte Snowflake-Ökosystem war auf der Konferenz zu sehen. Die Ausstellungsfläche - 'Basecamp' - war mit Ständen von einer Reihe von Snowflake-Partnern, darunter SnapLogic.
Auf der Veranstaltung kündigte Snowflake einige interessante neue Funktionen an, wie z. B. Snowflake Materialized Views und Datenbankreplikation und Failover über mehrere Regionen oder Cloud Service Provider hinweg. Mehr über diese Funktionen können Sie hier. Die größten Erkenntnisse habe ich jedoch aus den verschiedenen Breakout-Sitzungen auf dem Snowflake Summit gewonnen. Ich erfuhr, mit welchen Herausforderungen Snowflake-Kunden konfrontiert sind und welche Strategien sie anwenden, um diese Herausforderungen zu meistern.
Hier sind einige der häufigsten Herausforderungen, denen IT-Teams vor der Einführung von Snowflake gegenüberstanden.
- Leistungsprobleme am Montagmorgen, wenn alle zur Arbeit zurückkehren und ihre Dashboards auffrischen
- Hohe Kosten aufgrund der Bereitstellung von Rechenleistung für die Spitzenlasten mit anderen Data Warehouses; fehlende Auto-Elastizität
- Datenexplosion; aufgrund der begrenzten Speicherkapazität von On-Premises-basierten Anwendungen sind wir gezwungen, Daten wie Clickstream-Daten, Carrier-Logistikdaten und CRM-Daten zu verwerfen
- Die Verwaltung von Rechenzentren und Servern hindert Unternehmen daran, sich an Marktveränderungen anzupassen und hemmt Innovationen.
- ETL/ELT-Tools in Form von Skripten sind anfällig und schwer zu pflegen
Hier sind drei Hauptthemen der Lösungen, die die Kunden zur Bewältigung der oben genannten Herausforderungen gewählt haben:
1. Multi-Tool-Strategie
Die meisten Unternehmen verfolgen bei der Datenintegration eine Multi-Tool-Strategie. Das Software-as-a-Service (SaaS)-Nutzungsmodell ermöglicht eine solche Strategie. Mit dem SaaS-Modell können Unternehmen in kurzer Zeit mehrere Softwareprodukte testen und dann einen Prozess/Workflow aufbauen, um all diese Tools miteinander zu verbinden. Es ist einfach, mehrere Tools zu übernehmen, solange die Ausbreitung überschaubar ist.
Da sich jedoch die geschäftlichen Anforderungen weiterentwickeln und sich Ihr Tool-Ökosystem verändert, müssen Sie regelmäßig - etwa alle 1,5 bis 2 Jahre - die von Ihnen verwendeten Tools bewerten. Ich habe festgestellt, dass einige Unternehmen ihre Tools ständig neu bewerten, während andere weiterhin suboptimale Tools verwenden. Jede Organisation hat eine gewisse Trägheit, wenn es um Unternehmensanwendungen und Geschäftsprozesse geht. Daher ist es wichtig, bei der Auswahl eines Tools nicht nur den aktuellen, sondern auch den künftigen Bedarf zu berücksichtigen.
2. Schnelleres Time-to-Value
Start-ups stehen immer unter großem Druck, wettbewerbsfähig zu bleiben, relevant zu bleiben und ihren Kundenstamm zu vergrößern. Während Startups Tools nutzen wollen, die ihnen einen Vorteil verschaffen, können sie es sich nicht leisten, bei der Auswahl eines neuen Softwareanbieters lange Evaluierungszyklen zu durchlaufen. Sie sind auf der Suche nach Tools, die sie produktiv machen und gleichzeitig einfach zu evaluieren sind.
Eine Reihe von Snowflake-Kunden hat sich für ein Tool für ihr Snowflake-Ökosystem entschieden, um einen bestimmten Bedarf zu decken, z. B. für das Laden von Daten und die Datenreplikation. Ein Punkt-zu-Punkt-Tool wie dieses erfüllt ihren unmittelbaren Bedarf und bleibt dabei im Rahmen ihres begrenzten Budgets.
Um für Start-ups attraktiv zu sein, ist es wichtig, dass ein SaaS-Produkt dies bietet:
- Eine kostenlose Testversion, möglicherweise mit Ressourcen für einen selbstgesteuerten POC
- Ein nahtloser Onboarding-Prozess für neue Nutzer
- Support und eine Benutzer-Community für Testnutzer, damit sie schnell Antworten finden können
- Schnellstartlösungen auf öffentlichen Cloud-Plattformen
3. Abhängigkeit von der Skripterstellung
SQL- oder Python-Skripte sind immer noch das vorherrschende Werkzeug für Data-Warehouse-Teams. Einige Teams haben sogar einen SQL-Standard, bei dem die Analysten Abfragen in SQL schreiben und die Datenumwandlungslogik besitzen.
Viele SaaS-Anwendungen im Bereich Integration und Analyse sind dazu übergegangen, Geschäftsanwendern eine Plattform mit wenig bis gar keinem Code für die Erstellung von Integrationen oder für die Aufbereitung von Daten für die Erstellung von Dashboards zur Verfügung zu stellen. Wenn es jedoch um die Vorbereitung und das Laden von Daten in ein Data Warehouse wie Snowflake geht, haben Dateningenieure immer noch das Sagen.
Sie verlassen sich in hohem Maße auf ihre Programmier- und Skripting-Fähigkeiten. Allerdings habe ich auch Anzeichen dafür gesehen, dass sie automatisierte Tools und vorgefertigte Konnektoren einsetzen werden, die es ihnen ermöglichen, sich auf strategischere Aufgaben zu konzentrieren - sicherzustellen, dass die Endnutzererfahrung optimal ist, die Datenumwandlungslogik korrekt ist, die Workflows performant sind usw.
Da immer mehr Unternehmen Maßnahmen ergreifen, um Daten zu sammeln und Erkenntnisse aus diesen Daten zu gewinnen, wird die Bedeutung von Data Warehouse-, Data Engineering- und Datenintegrations-Tools weiter zunehmen. Die SnapLogic Intelligent Integration Platform - eine einheitliche Lösung, die Dateningenieure, Geschäftsanalysten und Integrationsspezialisten in die Lage versetzt, End-to-End-Daten und Application Integration zu erstellen - ist gut positioniert, um diese Wachstumschancen zu nutzen.
