In der heutigen wettbewerbsorientierten Welt verstehen Unternehmen die Bedeutung von Innovation und Modernisierung und wissen, wie die Migration in die Cloud ihnen helfen kann, diese Ziele zu erreichen und erfolgreich zu sein. Viele Unternehmen suchen nach optimalen Möglichkeiten für die Aufnahme und Migration ihrer Daten aus verschiedenen Quellen, einschließlich älterer lokaler Systeme, in AWS.
Replatforming-Projekte gehören zu den kompliziertesten Projekten, denn anders als bei Initiativen zum Aufbau von etwas Neuem müssen Sie etwas in Betrieb halten, das bereits für die Benutzer funktioniert und das Unternehmen unterstützt, während Sie hinter den Kulissen ziemlich umfangreiche Arbeiten durchführen.
SnapLogic hat mit einer Reihe von Kunden zusammengearbeitet, um sie bei diesen Migrationen zu unterstützen, und zwar in enger Zusammenarbeit mit AWS. An diesem Punkt steht die Cloud-Computing-Technologie nicht in Frage: Sie hat sich immer wieder in der Produktion und in großem Maßstab bewährt. Große Unternehmen verlassen sich tagtäglich auf die Cloud. SnapLogics eigene Steuerungsebene - die für die Existenz unseres Unternehmens von entscheidender Bedeutung ist, ganz zu schweigen von den Tausenden von Nutzern, die sich täglich bei ihr anmelden - wird in AWS gehostet, wobei wir die Vorteile der integrierten Ausfallsicherheit über verschiedene Verfügbarkeitszonen in einer Region und über verschiedene Regionen hinweg nutzen, damit wir und unsere Kunden sich auf die Führung unserer Geschäfte konzentrieren können.
Anwendungsfall: Migration von Daten aus alten lokalen Systemen in Apache Iceberg-Tabellen in Amazon S3
Kürzlich arbeiteten die Teams von SnapLogic und AWS zusammen, um ein globales Agrartechnologieunternehmen zu unterstützen, das es sich zur Aufgabe gemacht hat, Millionen von Landwirten auf der ganzen Welt dabei zu helfen, sichere und nahrhafte Lebensmittel anzubauen und gleichzeitig den Planeten zu schützen. Als Teil der Unterstützung dieser Mission hatte das Unternehmen einen ehrgeizigen Plan, um von seinen alten On-Premises-Systemen zu einem neuen, moderneren und weniger entwicklungs- und wartungsintensiven Ansatz für seine unternehmensweiten zentralen Datenanalysefunktionen zu wechseln.
Geschäftliche Herausforderung
Die Herausforderung bestand darin, dass die Zentralisierung der Datenanalyse den Zugriff auf eine sehr heterogene und komplexe IT-Landschaft erfordern würde, die aus Cloud-Diensten, lokalen Anwendungen und Datenbanken verschiedenster Art sowie aus alten, individuell programmierten Anwendungen besteht. Diese Situation ist für viele etablierte Unternehmen typisch, die im Laufe der Jahre Systeme und Datenspeicher für viele verschiedene Zwecke aufgebaut haben und nun vor schwierigen Entscheidungen stehen.
Der Dateneingabeprozess dieses Unternehmens war aufgrund verschiedener, historisch gewachsener Integrationsansätze und -technologien, deren Wartung immer schwieriger und teurer wurde, komplex und kostenintensiv geworden. Die Dateningenieure verbrachten bis zu 50 % ihrer Zeit mit der Entwicklung und Wartung von Datenintegrationen, anstatt sich auf produktivere Aufgaben konzentrieren zu können.
Viele Cloud-Migrationsprojekte wie dieses sind im Laufe der Jahre gescheitert, weil man das Potenzial der neuen Plattformen und Technologien nicht erkannt hat. Die ersten Versuche des Unternehmens in dieser Richtung waren enttäuschend, da Hunderte von Cloud-Aufträgen erforderlich waren, nur um den Status zu erhalten. Schlimmer noch: Das neue System war unflexibel und unterstützte keine granularen Datenoperationen, so dass die Benutzer die Daten bei jedem neuen Zeitraum überschreiben mussten.
Dieses Integrationsprojekt beschränkte sich nicht nur auf einfache Konnektivität, sondern musste auch einen Durchsatz und eine Leistung gewährleisten, die dem globalen Umfang und den geschäftlichen Ambitionen des Kunden entsprachen. Einige der größten Tabellen in den wichtigsten Geschäftssystemen, die für integrierte Analysen zugänglich gemacht werden mussten, umfassten mehrere zehn Milliarden Zeilen. Einige der APIs lieferten bei einer einzigen Abfrage mehrere Millionen Objekte zurück, so dass die SnapLogic-Integrationsschicht die Anfragen bündeln musste, um eine vollständige Bereitstellung und Geschäftstransparenz zu gewährleisten. Darüber hinaus waren in einigen Spalten sensible Daten enthalten, die verschlüsselt werden mussten.
Überblick über die Lösung
Die KI-gestützte, codefreie iPaaS-Plattform von SnapLogic konnte dank der über 750 nativen Konnektoren zu einer Vielzahl von Anwendungen Daten aus verschiedenen Systemen problemlos in Apache Iceberg-Tabellen in Amazon S3 integrieren, transformieren und laden. SnapLogic unterstützt sowohl ETL- als auch ELT-Methoden, was bedeutet, dass die Datentransformationen entweder auf der SnapLogic-Plattform oder auf dem Zielsystem durchgeführt werden können, auf dem die Daten für die weitere Analyse gespeichert werden.
Ein wichtiger Teil des Erfolgs dieser Integration war die Zusammenarbeit mit einer ganzen Reihe von Technologien und Partnern.
Eine besonders wichtige Technologie, um die Anforderungen des Unternehmens zu erfüllen, war Apache Iceberg, die einen transaktionalen Datenspeicher ermöglicht. SnapLogic verwendete Amazon Athena, um Daten in Iceberg-Tabellen auf Amazon S3 zu laden und zu bearbeiten. Auf Iceberg-Tabellen konnte außerdem für Datenanalysen und maschinelles Lernen über AWS-Services wie Amazon Athena, Amazon Quicksight, Amazon Redshift oder andere BI-, Visualisierungs- und Dashboard-Tools zugegriffen werden.
Wesentliche Merkmale
- Der Encrypt Snap ermöglicht die Verschlüsselung sensibler Daten.
- Die Unterstützung für verschachtelte Pipelines über die Pipeline Execute-Funktion von SnapLogic wurde genutzt, um Effizienz und Modularität zu erreichen.
- Die Unterstützung von SnapLogic für Parameter erweitert diese Flexibilität noch. So können beispielsweise übergeordnete Pipelines iterativ verschiedene Parameterwerte an untergeordnete Pipelines weitergeben.
- Mehrere parallele Pipelines erfassten und verarbeiteten die Daten in separaten Paketen, um die Erfassung großer Datenmengen aus mehreren Quellsystemen zu beschleunigen.
- Die Datenumwandlung während des Fluges erfolgte über Mapper, die die aus den Quellsystemen übernommenen Daten umwandeln.
- Die Flexibilität der SnapLogic-Plattform zeigt sich in unserer Verwendung des Generic JDBC Execute Snap für die Verbindung zu Amazon Athena.
Vorteile
Die mit SnapLogic und AWS-Services erstellte Lösung konnte den Aufwand für Design, Entwicklung, Tests und Wartung von Integrations- und Dateneingabepipelines erheblich reduzieren. Geschäftsanalysten haben jetzt einen beispiellosen Einblick in ihr eigenes Geschäft und die ihm zugrunde liegenden Daten. Alle diese Daten waren bereits vorhanden und wurden mit erheblichem Aufwand von Mitarbeitern, Partnern und sogar Kunden gesammelt. Es war einfach zu schwierig, zeitnah und nahtlos darauf zuzugreifen. Mit dieser Lösung konnten verschiedene Beteiligte auf Kundenseite die Vorteile fortschrittlicher Iceberg-Funktionen nutzen, wie z. B. Zeitreiseabfragen, die es den Benutzern ermöglichen, Analysen auf der Grundlage des Datenstandes zu einem bestimmten Datum durchzuführen. Der Kunde verfügt nun über eine moderne Transaktionsdatenbank als einzige Quelle der Wahrheit für alle seine Organisationen.
Durch die Nutzung der nativen Unterstützung für jede der vorhandenen Technologieplattformen konnten wir den Zeitaufwand für die Entwicklung und Pflege von Integrationen um bis zu 70 % reduzieren, was dazu führte, dass mehr als 17 Mitarbeiter für neue Projekte und schnellere Innovationen freigesetzt wurden.
Schlussfolgerung
Die KI-fähige Low-Code/No-Code-Plattform von SnapLogic ist der Schlüssel zur Erschließung des maximalen Werts vergangener und zukünftiger Investitionen in Daten. Die enge Integration mit AWS-Services sorgt für eine schnelle Markteinführung und stellt sicher, dass die prognostizierten Vorteile nicht theoretisch bleiben, sondern schnell in der Praxis nachgewiesen werden.
Mit SnapLogic und AWS verfügt dieses Agrartechnikunternehmen nun über eine moderne und nachhaltige Datenplattform, die sowohl die bestehenden lokalen Systeme als auch die Cloud-Systeme umfasst, auf denen das Unternehmen seine Zukunft aufbaut.
Hier finden Sie einige Ressourcen, um mehr über SnapLogic und seine Funktionen zu erfahren:
- Registrieren Sie sich für das kommende gemeinsame Webinar von AWS und SnapLogic
- Besuchen Sie die SnapLogic-Website und buchen Sie eine Demo
- Informieren Sie sich über kommende SnapLogic-Veranstaltungen und Webinare
- Anmeldung zu SnapLogic-Schulungsworkshops
- Abonnieren Sie eine kostenlose 30-Tage-Testversion von SnapLogic
