Legacy-ETL-Systeme (Extrahieren, Transformieren und Laden) werden seit über einem Jahrzehnt eingesetzt, um Daten aus verschiedenen Quellen zu sammeln, zu standardisieren und in einem einzigen zentralen Repository zu speichern. Studien zufolge geben jedoch neun von zehn IT-Entscheidungsträgern an, dass Legacy-Systeme sie daran hindern, die digitalen Technologien zu nutzen, die sie benötigen, um effizienter zu werden und ihr Geschäft auszubauen.
Untersuchungen zeigen, dass moderne Unternehmen bis zu 400 Anwendungen haben können, darunter auch solche, die große Datenmengen erzeugen, wie soziale Medien oder mobile Plattformen. Das Gebot der Stunde ist es, solche großen und wachsenden Datenmengen in unterschiedlichen Formaten und mit wechselnden Arbeitslasten in Echtzeit zu verwalten. Daher gibt es eine Verschiebung hin zu modernen ETL-Prozessen, die Punkt-zu-Punkt-Integrationen von disparaten Daten überflüssig machen und eine hohe Skalierbarkeit und Leistung bieten. Im Gegensatz zu 72 Prozent der Application Integration , die vor einigen Jahren vor Ort durchgeführt wurden, liegt die Zahl heute laut Studien nur noch bei 42 Prozent, was auf eine zunehmende Akzeptanz der Cloud-basierten ETL-Verarbeitung hinweist.
Obwohl dies wahr sein mag, zögern viele Unternehmen immer noch, sich von ihren alten Systemen zu trennen. Nachdem sie viel Zeit, Mühe und Ressourcen in die Einrichtung ihrer lokalen Systeme investiert haben, bedeutet die Umstellung auf moderne Prozesse für diese Unternehmen ein Umdenken und eine komplette Überarbeitung der Supply Chain. Darüber hinaus scheitern laut Gartner 83 % der Datenmigrationsprojekte oder überschreiten ihre Budgets und Zeitpläne. Dies ist in erster Linie auf die Komplexität der eigentlichen Migration zurückzuführen, die u. a. Folgendes umfasst:
- Befreiung von gefangenen Unternehmensdaten aus veralteten Datensätzen
- Validierung der Daten
- Übertragung von ETL-Code, einschließlich Umstrukturierung oder Optimierung
- Anpassung an die neue Plattform
- Identifizierung der richtigen Werkzeuge
- Einrichtung der Datensynchronisation zwischen Systemen oder Anwendungen
- Sicherstellung, dass die Kommunikation mit anderen, von Legacy-Anwendungen abhängigen Anwendungen nicht beeinträchtigt wird
Sag Hallo zu SNAPAHEAD
Um Unternehmen dabei zu helfen, den Übergang von Legacy zu moderner ETL einfacher und schneller zu gestalten, hat Agilisium gemeinsam mit SnapLogic SNAPAHEAD entwickelt. SNAPAHEAD ist ein Migrationsbeschleuniger für die Integration von Legacy-Daten in die Cloud, der hauptsächlich mit der AWS-Plattform verwendet wird. Mit SnapLogic als Datenintegrationsplattform können Unternehmen schnell und einfach ihr gesamtes Ökosystem aus Anwendungen, APIs, Datenbanken, Big Data, Data Warehouses, Maschinen und Geräten mit anderen Remote-Services verbinden, um ihre Cloud-Datengrundlage zu schaffen und Geschäftseinblicke zu gewinnen.
SNAPAHEAD automatisiert die Konvertierung von Legacy-ETL-Code in SnapLogic-konforme Pipelines mit einem einzigen Klick. Agilisium verwendet eine Kombination aus Lift-and-Shift und Refactoring, um alle Legacy-ETL-Pipelines auf SnapLogic zu migrieren. SNAPAHEAD reduziert den Implementierungsaufwand um 25 % und kann leicht zu Kosteneinsparungen von bis zu 30 % führen.
Wie funktioniert SNAPAHEAD?
SNAPAHEAD nimmt die vom Legacy-Setup erzeugte XML-Datei als Eingabe. Das Tool versteht den Datenfluss von der Quelle zum Ziel und dekodiert jede Datentransformation. SNAPAHEAD ordnet dann die Transformationen den entsprechenden Snaps in SnapLogic zu, bei denen es sich um vorgefertigte intelligente Konnektoren handelt, die die eigentliche Integration durchführen. Die Snaps bilden dann zusammen die endgültige Datenpipeline.
Die Architektur von SNAPAHEAD lässt sich in vier große Bereiche unterteilen:
- Snap-Map: Dieser Abschnitt enthält eine wörterbuchartige Struktur, die die ETL-Logik auf Snaps in SnapLogic abbildet. Sie hat die Aufgabe, die beiden Teile der Funktionalität, die logisch gleichwertig sind, zusammenzubringen.
- Link Map: Die durch die Snap Map zusammengeführten Strukturen werden durch die Link Map miteinander verknüpft. Diese entscheidet über die weiteren Schritte in der Pipeline und steuert damit den Datenfluss.
- Eigenschaftskarte: Jeder Legacy-ETL-Code hat seinen eigenen Satz von Konfigurationen und Merkmalen oder Feldern, wie z. B. Tabellenpositionen oder Matrixeigenschaften, um nur einige zu nennen. Der Property Mapper identifiziert solche Parameter und definiert sie in den entsprechenden Snaps.
- Render Map: Die Snaps, die an SnapLogic geliefert werden, können als eine Kette von Funktionen betrachtet werden, die die Pipeline bilden. Die Benutzeroberfläche enthält eine klar definierte Anordnung, um festzulegen, wie diese Pipeline auf dem Bildschirm platziert werden soll. Die Render Map automatisiert dieses Aussehen für tool-gerenderte Pipelines.
SNAPAHEAD verwendet Amazon S3-Speicher-Buckets zum Speichern von Dateien mit Legacy-Eingabecode und SnapLogic-Ausgabepipelines. AWS Lambda, eine ereignisgesteuerte und serverlose Computing-Plattform, bildet das Rückgrat des Beschleunigers. AWS Lambda kümmert sich um Berechnungsprozesse, führt Code als Reaktion auf Ereignisse aus und verwaltet Ressourcen automatisch entsprechend den Anforderungen.
Erste Schritte mit SNAPAHEAD
Aus Sicht des Benutzers ist die Bereitstellung von SNAPAHEAD unkompliziert. Der Benutzer interagiert mit SNAPAHEAD über eine intuitive Benutzeroberfläche (UI), und das Tool generiert eine SnapLogic-kompatible Pipeline.
Sehen Sie sich das kurze Demo-Video unten an, um zu erfahren, wie Sie mit SNAPAHEAD beginnen können:
Wie Sie im Video sehen können, kann die Zuordnung von Legacy zu Snaps in wenigen einfachen Schritten durchgeführt werden:
Schritt 1: Zugriff auf den S3-Bucket über die SnapLogic-Benutzeroberfläche
Schritt 2: Hochladen der XML-Datei mit Legacy-ETL-Code-Mappings in den S3-Bucket
Schritt 3: Sobald die Datei hochgeladen ist, klicken Sie auf SNAPAHEAD
Schritt 4: Wenn der Benutzer auf SNAPAHEAD klickt, wird der ereignisbasierte Auslöser in AWS Lambda benachrichtigt. AWS Lambda löst dann automatisch den SNAPAHEAD-Beschleuniger aus
Schritt 5: Der Beschleuniger liest die Datei und führt Pipeline-Konvertierungen durch
Schritt 6: Die ausgegebenen Snaps werden in eine JSON-Datei gerendert
Schritt 7: SNAPAHEAD sendet die JSON-Datei zurück an den S3-Bucket
Schritt 8: Herunterladen der JSON-Datei
Schritt 9: Laden Sie die JSON-Datei in SnapLogic hoch. Die SnapLogic-Datenpipeline ist bereit für weitere Aktionen
Laut Gartner werden bis 2022 mindestens 65 % der großen Unternehmen eine hybride Integrationsplattform zur Unterstützung ihrer digitalen Transformation implementiert haben. SnapLogic ist Ihr erster Schritt!
Holen. Setzen. SNAPAHEAD!
