Zuvor veröffentlicht auf medium.com.
Dieser Beitrag ist der zweite in einer Reihe, die einen Überblick über die Unternehmensintegration gibt. Siehe Enterprise Integration für den vorherigen Beitrag dieser Serie. In diesem Beitrag erhalten Sie einen Überblick über die verschiedenen Integrations-Tooling-Optionen und erfahren, wie Unternehmen bei dem Versuch, Integrationen zu erstellen, um Datensilos zu vermeiden, Gefahr laufen, Tooling-Silos zu schaffen.
Unternehmensdaten-Landschaft
Es gibt eine Vielzahl von Anwendungen und Systemen, die Daten in einem Unternehmen speichern. Betrachtet man ein typisches Unternehmen, so sind einige der verwendeten Anwendungen und der Integrationsansatz, der mit diesen Systemen zu verwenden ist:
- SaaS-Anwendungen - Die meisten SaaS-Anwendungen bieten REST- oder SOAP-APIs für Integrationszwecke an. Für einige können benutzerdefinierte SDKs verwendet werden, um Konnektoren zu entwickeln.
- Benutzerdefinierte On-Premises-Anwendungen - Dazu gehören benutzerdefinierte Anwendungen, die in den Rechenzentren der Kunden oder auf ihren IaaS-Konten laufen. Die Integration mit solchen Anwendungen erfolgt über REST- oder SOAP-APIs. Da die Anwendung vom Kunden gehostet wird, ist auch der direkte Zugriff auf die zugrunde liegende Datenbank eine Option für die Integration mit solchen Anwendungen.
- Datenbanken - Bei der Integration mit Datenbanken würden SQL-Abfragen oder Tools zum Laden und Entladen von Datenmengen für einen höheren Durchsatz verwendet. Dasselbe würde für in der Cloud gehostete Datenbanken gelten. Für NoSQL-Datenbanken müssten für die Integration benutzerdefinierte SDK oder REST-APIs verwendet werden.
- Data-Warehouses - Bei der Integration mit Data-Warehouses würden SQL-Abfragen oder Massenlade-/Entlade-Tools für einen höheren Durchsatz verwendet. Das Gleiche gilt für in der Cloud gehostete Data Warehouses.
- Data Lakes - Data Lakes bieten in der Regel APIs auf Dateisystemebene zum Laden von Daten in die Seen (auch bekannt als Data Lake Hydration). Dies gilt sowohl für Hadoop-basierte Data Lakes vor Ort als auch für in der Cloud gehostete Data Lakes mit S3/ABFS/GCS usw.
Optionen zur Integration von Werkzeugen
Es gibt eine Vielzahl von Anwendungen und Systemen, die Daten in einem Unternehmen speichern. Für die Arbeit mit diesen Anwendungen stehen unter anderem verschiedene Integrationswerkzeuge zur Verfügung:
Vor-Ort-Integrationswerkzeuge
- Unterstützung von ELT-Anwendungsfällen für die Datenintegration
- Begrenzte Unterstützung für SaaS-Anwendungen und nicht-relationale Datenformate
- Schwierig zu pflegen und zu aktualisieren
Kundenspezifische Integrationsanwendungen
- Kundenspezifisch entwickelte interne Anwendungen für die Integration
- Nicht trivial zu pflegen und zu aktualisieren, schwierig, neue Funktionen hinzuzufügen
Auf Nachrichtenwarteschlangen fokussiertes Tooling
- Bereitstellung einer Schnittstelle für Nachrichtenwarteschlangen für Application Integration
- Entwicklerorientierter Ansatz statt no-code
- Schwerpunkt auf internen Anwendungen und nicht auf SaaS-Anwendungen
Auf SaaS ausgerichtete Integrationswerkzeuge
- Hauptsächlich auf die Integration von SaaS-Anwendungen ausgerichtet
- Eingeschränkte Unterstützung für Anwendungsfälle vor Ort und Datenintegration
Auf das IaaS-Ökosystem ausgerichtete Tools
- Tools für die Integration in ein bestimmtes IaaS-Ökosystem
- Begrenzte Unterstützung für Anwendungen außerhalb des jeweiligen Ökosystems
API-Verwaltungstools
- Unterstützung der Entwicklung von APIs zur Offenlegung von Anwendungsdaten
- Zusätzliche Integrationswerkzeuge für die API-Erstellung sind erforderlich
Data Warehouse-Integrationswerkzeuge
- Unterstützung des Ladens von Anwendungsdaten in Data Warehouses
- Schwerpunkt auf dem Laden von Daten in Lager, begrenzte Unterstützung für Datenextraktion aus Lagern
- Keine Unterstützung für die Integration zwischen SaaS-Anwendungen, begrenzte Unterstützung für Data Lakes
Data Lake oder Big Data Tools
- Unterstützung des Ladens von Anwendungsdaten in Data Lakes
- Keine Unterstützung für die Integration zwischen SaaS-Anwendungen, begrenzte Unterstützung für Datenbanken und Data Warehouses
Werkzeugsilos
Bei der Vielzahl der verfügbaren Integrationstools laufen Unternehmen Gefahr, Integrationstool-Silos zu schaffen. Ein Unternehmen mit einer lokalen SAP-Instanz und einer Cloud-Anwendung von Workday könnte mit einem Szenario konfrontiert werden, in dem mehrere Integrationstools für die Integration mit diesen Anwendungen erforderlich sind:
- Vor-Ort-Integrationswerkzeuge für die Integration von SAP-Daten mit anderen Vor-Ort-Anwendungen
- SaaS-fokussierte Integrationstools für die Integration von Workday mit anderen SaaS-Anwendungen
- Data-Warehouse-Integrationstools zum Laden von Workday-Daten in ein Cloud-Warehouse (da das SaaS-fokussierte Tool keine Data-Warehouse-Loads unterstützt)
- Benutzerdefinierte Integrationsanwendungen für die Integration von SAP mit Workday, da die SaaS-Integrationstools nicht mit SAP vor Ort funktionieren und die Tools vor Ort nicht gut mit den komplexen Datenformaten von Workday funktionieren
Dies führt zu einem Szenario von Integrationstooling-Silos, in denen spezialisierte Tools für bestimmte Integrationsanwendungsfälle erforderlich sind. Für einen Anwendungsendpunkt werden mehrere Tools verwendet, da kein einziges Tool alle erforderlichen Anwendungsfälle unterstützt. Die Anmeldeinformationen für den Endpunkt müssen in mehreren Integrationswerkzeugen gepflegt werden. Jede neue Integration muss mit der Überlegung beginnen, welches Tool für den jeweiligen Anwendungsfall verwendet werden soll.
Einige der technischen Herausforderungen, die sich aus den anwendungsfallspezifischen Integrationswerkzeugen ergeben, sind:
- Falsches Werkzeug für die Aufgabe: Wenn das einzige verfügbare Integrationswerkzeug ein auf Big Data ausgerichtetes Werkzeug ist, dann werden alle Integrationsprobleme zu Big Data-Problemen. Hämmer und Nägel!!
- Falsche Designentscheidungen: Wenn es sich bei den verfügbaren Integrationswerkzeugen um ein auf das Data Warehouse ausgerichtetes Werkzeug handelt, muss bei allen Integrationsproblemen das Warehouse als Staging Area verwendet werden. Dies ist in der Regel nicht das richtige Design für Application Integration Anwendungsfälle und für Szenarien mit Protokolldaten, für die Data Lakes besser geeignet wären.
- Unidirektionale Datenbewegung: Einige der anwendungsspezifischen Werkzeuge arbeiten nur in eine Richtung. Beispielsweise laden Data-Warehouse-Ladewerkzeuge normalerweise Daten in ein Warehouse, sie unterstützen nicht das Laden von Daten in Anwendungen.
Die Herausforderungen bei solchen Tooling-Silos sind nicht nur technischer Natur. Es gibt auch organisatorische Herausforderungen, da mehrere Teams erforderlich sind, um die verschiedenen Integrationsanwendungsfälle mit unterschiedlichen Tools zu pflegen. Es wird unmöglich, die Verantwortung für die Integrationsanforderungen innerhalb des Unternehmens zuzuweisen.
SnapLogic-Lösung
Wir bei SnapLogic sind der Meinung, dass ein modernes Unternehmen in der Lage sein muss, alle seine Integrationsanforderungen mit einer Integrationsplattform zu erfüllen. Eine solche Plattform muss in der Lage sein, Unterstützung für verschiedene Integrationsanforderungen zu bieten, darunter:
- Datenintegration: Unterstützung einer Vielzahl von Dateisystemen, Dateiformaten, Authentifizierungsmechanismen usw.
- Application Integration: Unterstützung nativer Konnektivität zu den meisten Unternehmensanwendungen und Bereitstellung von REST- und SOAP-basierter Konnektivität mit einem flexiblen Datenmodell zur Unterstützung moderner Datenformate
- Benutzerfreundlichkeit: Erleichterung der Entwicklung von Integrationen für Bürgerinnen und Bürger, anstatt sich auf die Entwickler zu konzentrieren
- Hybride Bereitstellung: einfacher, nahtloser Zugriff auf lokale und Cloud-Endpunkte
- Unterstützung von Big Data: automatische Skalierung und parallele Verarbeitung von Daten, wenn das Datenvolumen größer ist als das, was auf einer einzelnen Instanz verarbeitet werden kann
- API-Verwaltungsfunktionalität: Ermöglicht die Nutzung der Daten- und Application Integration -Funktionalität, um APIs zu verfassen und sie den Endnutzern zugänglich zu machen, ohne dass externe APIM-Tools erforderlich sind
- Data-Science-Funktionalität: Ermöglicht das Erstellen, Trainieren und Bereitstellen von Modellen für maschinelles Lernen unter Verwendung der Integrationsfunktionen zum Laden von Daten für die Erstellung von Modellen, ML-Funktionen für das Training und APIM-Funktionen für die Bereitstellung des Modells.
Jeder der oben genannten Anwendungsfälle erfordert eine erhebliche Konzentration, um die verschiedenen Anwendungsfälle von Unternehmen zu erfüllen. So könnte ein Anwendungsfall der Datenintegration auf einer hohen Ebene als einfacher Fall des Lesens von Dateien aus S3 erscheinen. Im Detail könnte es sich um Dateien im Parquet-Format handeln, die aus S3 gelesen werden müssen, wobei der Zugriff auf die S3-Datei nur über eine benutzerdefinierte IAM-Rolle möglich ist und die Daten mit vom Kunden verwalteten Schlüsseln verschlüsselt werden. Bei der Evaluierung von Integrationswerkzeugen ist es sinnvoll, die Details der Anwendungsfälle zu betrachten.
Die SnapLogic-Plattform ist bei einigen der größten Unternehmen weltweit im Einsatz und kann alle Integrationsherausforderungen von Unternehmen lösen. Die Verwendung einer einzigen Integrationsplattform hat erhebliche Vorteile für den Kunden und hilft, die Herausforderungen zu vermeiden, die sich aus Integrationstool-Silos ergeben.
