ETL und EAI: Eine SnapLogic-Pipeline, mehrere Integrationslösungen

"Dies ist nicht der ETL Ihres Vaters. Das ist nicht der Nachrichtenbus deiner Mutter. Dies ist nicht der Application Integrationdeines Onkels."

- Rich Dill über die Notwendigkeit, bei der Integration von Anwendungen und Daten mit SnapLogic anders zu denken

Diese Woche habe ich mich mit Rich Dill, einem der Datenintegrationsgurus von SnapLogic, zusammengesetzt, der über zwanzig Jahre Erfahrung in den Bereichen Datenmanagement und Data Warehousing hat. Rich sprach über den Sprung nach vorn in Bezug auf Benutzerfreundlichkeit und Benutzeraktivierung, den eine Integrationsplattform als Service (iPaaS) bieten kann. Er ging auch auf die Unterschiede bei den Latenzzeiten ein, wenn es darum geht, Daten von einer Cloud in eine andere oder von einer Cloud in ein Rechenzentrum zu verschieben, verglichen mit der Verschiebung von Daten von einer Anwendung in ein Data Warehouse in einem Rechenzentrum.

"Beim Einsatz einer neuen Technologie neigen die Menschen dazu, alte Methoden anzuwenden. Und ohne Schulung sind sie nicht in der Lage, die Funktionen und Möglichkeiten der neuen Technologie zu nutzen. Es ist das alte Sprichwort, dass man den eckigen Pflock in ein rundes Loch steckt."

Um zu verdeutlichen, wie SnapLogic verschiedene Arten der Integration in einer einzigen Plattform vereint, hat Rich diese Demonstration zusammengestellt, in der er einen Datenfluss, eine so genannte Pipeline, erstellt, der sich auf einen klassischen ETL-Anwendungsfall (Extrahieren, Transformieren und Laden) konzentriert und noch viel weiter geht. Hier ist eine Zusammenfassung von SnapLogic, wie Daten konsumiert, transformiert und bereitgestellt werden.

Teil 1: ETL als Dienstleistung

1. Rich wählt Daten aus zwei Datenbanken aus und erklärt, wie Sie eine Vorschau der Daten erstellen und sie in verschiedenen Formaten anzeigen können, während sie die Plattform durchlaufen.
2. Er beschreibt, wie SnapLogic JSON-Dokumente verarbeitet, was der Plattform die Möglichkeit gibt, die Struktur des Integrationsauftrags lose an das Ziel zu koppeln, und fährt mit der Durchführung innerer und äußerer Joins fort, bevor er die Ausgabe formatiert und die verbundenen Daten in einen File Writer schreibt.
3. Dann geht er zurück und fügt einen SQL Server Lookup hinzu, um zusätzliche Informationen zu erhalten.
4. Er führt die Pipeline aus und erstellt eine Version davon.

Teil 2: Verwaltung von Änderungen (Wurden Sie schon einmal gebeten, ein paar weitere Spalten in einer Datenbank hinzuzufügen, und mussten dann Ihre Datenintegrationsaufgabe ändern?)

1. Er geht hinein und ändert die zugrunde liegende SQL-Tabelle.
2. Er führt die SnapLogic-Pipeline erneut aus und zeigt die neuen Ergebnisse an, ohne eine Änderung vornehmen zu müssen. Dies unterstreicht die Flexibilität und Anpassungsfähigkeit der SnapLogic Elastic Integration Platform.

Teil 3: Laden von Salesforce-Daten

1. Er bringt den Data Mapper Snap ins Spiel, um die Daten in Salesforce zuzuordnen.
2. Er zieht den Salesforce Upsert Snap und legt fest, ob er die REST- oder Bulk-API verwenden soll.
3. Er verwendet SmartLink, um eine unscharfe Suche durchzuführen und die Eingabe- und Ausgabefelder zuzuordnen.
4. Er bespricht den Ausdruckseditor, um die möglichen Datentransformationen zu verdeutlichen.
5. Er zeigt, wie die Daten nun in Salesforce eingefügt werden und speichert diese Version der Pipeline.

Teil 4: RESTful Pipelines

1. Er entfernt den Data Mapper Snap, weil die Ausgabe anders sein wird, und bringt den JSON Formatter ein.
2. Hier nimmt sich Rich eine Minute Zeit, um zu erläutern, dass SnapLogic nicht nur ein lose gekoppeltes Dokumentenmodell ist, sondern auch zu 100 % REST-basiert ist. Das bedeutet, dass jede Pipeline abstrahiert ist und, wie er es ausdrückt, "als REST-Aufruf adressierbar, nutzbar, konsumierbar, auslösbar und planbar ist".
3. Er geht zu Manager > Aufgaben, erstellt eine neue Aufgabe und setzt sie auf Auslöser.
4. Er führt den Task aus, um zu demonstrieren, dass er beim Aufruf der REST-basierten Pipeline zeigen kann, wie ein mobiles Gerät einen REST-Get ausführen kann, um die Daten auf ein mobiles Gerät zu bringen.
5. Er schließt die Demonstration ab, indem er die Pipeline von der Ausgabe eines JSON-Dokuments auf ein XML-Dokument umstellt.

Ich habe das Video unten eingebettet. Weitere Informationen über die Elastic Integration Platform von SnapLogic finden Sie in unserem Resource Center. Vielen Dank für die tolle Demo, Rich!