Kurz nach den Thanksgiving-Feiertagen kamen Menschen aus der ganzen Welt nach Las Vegas, um an einer der größten Konferenzen des Jahres teilzunehmen: Amazon Web Services (AWS) re:Invent. Das SnapLogic-Team war dort in voller Stärke vertreten, um die Aufmerksamkeit zu erhöhen und Kunden, Partner und Interessenten zu treffen. Michael Nixon von SnapLogic präsentierte eine wunderbare Theatersitzung darüber, wie Unternehmen die Komplexität von Cloud-Datenarchitekturen heilen können". Wenn Sie nicht vor Ort waren oder keine Gelegenheit hatten, eine der Keynotes zu verfolgen, finden Sie hier die wichtigsten Themen der Veranstaltung.
Wachsende Bedeutung von Datenmanagement, -verwaltung und -austausch
Da Unternehmen mit einem exponentiellen Datenwachstum konfrontiert sind, benötigen sie Tools zur Verwaltung und Steuerung dieser Daten, um sie effektiv nutzen zu können. Darüber hinaus benötigen sie Tools, mit denen sie diese Daten weitergeben können, ohne sie zu kopieren, um ihren Kunden ein hervorragendes Erlebnis zu bieten.
AWS kündigte Amazon DataZone an, das feinkörnige Kontrollen für den Datenzugriff bietet. Es bietet auch einen ML-gestützten Datenkatalog, mit dem Benutzer Datenquellen durch Angabe von Geschäftsbegriffen erkennen können. Zu den weiteren wichtigen Verbesserungen gehören die Glue Data Quality-Funktion, mit der Teams die Qualität ihrer Daten messen, überwachen und verwalten können, sowie die Governance- und Auditability-Funktion für die End-to-End-ML-Entwicklung für Amazon SageMaker.
Um Verzögerungen und Kosten im Zusammenhang mit der Datenverschiebung zu vermeiden, hat Amazon die Interoperabilität zwischen verschiedenen AWS-Services wie Redshift, SageMaker und Athena hergestellt. Amazon hat außerdem eine zentralisierte Zugriffskontrolle eingeführt, um die gemeinsame Nutzung von Redshift-Daten zu verwalten und so eine verbesserte Erfahrung zu bieten.
Data Mesh als Konzept ist großartig. Wie setzen Sie es in der Praxis um?
Data Mesh bietet ein großartiges Betriebsmodell, das Fachexperten die Möglichkeit gibt, Eigentümer der Datenprodukte zu sein. Dieses verteilte Eigentumsmodell entlastet die zentralen Datenteams, die sich dann auf operative und strategische Fragen ihrer Datenarchitektur konzentrieren können. Aber nur wenige haben es in die Praxis umgesetzt. Daher war es großartig, von Unternehmen zu erfahren, die ein Data Mesh aufgebaut haben oder ihren Kunden beim Aufbau eines solchen geholfen haben.
Capital One realisierte sein Datennetz durch einen zweigleisigen Ansatz, der Folgendes umfasste:
- Festlegung gemeinsamer Standards in Bezug auf Organisationsstruktur, Metadatenkuratierung, Datenqualitätsstandards, gemeinsame Berechtigungen auf der Grundlage der Datenempfindlichkeit und
- Schaffung hervorragender Benutzererfahrungen für Datenverleger, Datenkonsumenten, Risikomanager und Eigentümer von Unternehmensdaten
Das AWS-Team teilte mit, wie Sie verschiedene AWS-Services nutzen können, um ein Datengittermuster zu implementieren. Benutzer können verschiedene Datenservices wie DynamoDB, EMR, Aurora, SageMaker, Redshift oder OpenSearch nutzen, um Betriebs- und Analysedaten in einen Amazon S3 Data Lake zu bringen. Sie können dann Lake Formation Data Catalog verwenden, um alle verfügbaren Daten zu katalogisieren und Governance-Standards für die einzelnen Daten zu definieren. Domänenexperten können dann mithilfe von AWS Data Exchange geregelte Datensätze für Verbraucher innerhalb und außerhalb des Unternehmens veröffentlichen.
Vereinfachen Sie die Komplexität Ihrer Datenarchitektur
Die Landschaft der Datentools entwickelt sich ständig weiter, und wenn Unternehmen Tools für das Laden von Daten, ETL/Datentransformation, Datenintegration, Reverse ETL, App-to-App-Integrationen und die Verwaltung API-basierter Datendienste einsetzen, entsteht eine komplexe Datenarchitektur. Während einige Ihrer Teams ihre kurzfristigen Bedürfnisse befriedigen können, haben die IT-Teams und damit auch Ihr Unternehmen am Ende mit dem Tool-Wildwuchs und einer fragmentierten Sicht auf die Integrationen zu kämpfen. Und wenn etwas schief geht oder Sie etwas debuggen müssen, müssen Sie sich durch ein Chaos kämpfen, um die Ursache zu finden. AWS und andere Anbieter haben das erkannt und wollen die Architektur vereinfachen. AWS hat seine Zero-ETL-Vision vorgestellt, d. h. seine Vision, die meisten ETL-Prozesse zu automatisieren. Als ersten Schritt in Richtung dieser Vision kündigte AWS die Integration zwischen Amazon Aurora und Redshift an.
Das SnapLogic-Team traf an unserem Stand eine Reihe von Leuten, die ihre Datenarchitektur vereinfachen wollten. Einige wollten von älteren ETL-Plattformen wie Informatica oder IBM DataStage wegkommen. Einige fühlten sich durch Datenlader eingeschränkt, deren Preise unvorhersehbar sind und die nur wenige Funktionen bieten. Darüber hinaus suchten einige nach einer Alternative zu kodierintensiven Tools wie MuleSoft oder wollten den Geschäftsteams mehr Möglichkeiten geben. All diesen Gesprächen lag der Wunsch der Unternehmen zugrunde, ihre Datenarchitektur zu vereinfachen, indem sie mehrere Tools zu einem einzigen zusammenfassen.
SnapLogic hilft Ihnen, die Komplexität der Cloud-Datenarchitektur mit einer einzigen Plattform zu bewältigen, die ETL, ELT, App-to-App-Integration, Reverse-ETL und API-Management sowohl für technische als auch für geschäftliche Benutzer mit hybriden Implementierungen in einer einzigen nahtlosen Benutzererfahrung ermöglicht.
Wir hoffen, Sie auf einer AWS-Veranstaltung in Ihrer Nähe begrüßen zu dürfen. Wenn Sie jedoch in der Zwischenzeit mehr über SnapLogic erfahren möchten, lassen Sie es uns wissen, und wir führen Sie gerne durch das Programm.
