Was passiert, wenn Sie mit der Herausforderung konfrontiert sind, ein altes Data Warehouse zu pflegen und gleichzeitig mit immer größeren Datenmengen, -arten und -geschwindigkeiten umzugehen?
In den Tagen der strukturierten Daten waren die alten Data Warehouses zwar leistungsstark, bestanden aber in der Regel aus RDMS-Technologien von Unternehmen wie Oracle, IBM, Microsoft und Teradata. Daten wurden extrahiert, umgewandelt und in Data Marts oder das Data Warehouse des Unternehmens mit herkömmlichen ETL-Tools geladen, die für die Verarbeitung von Batch-orientierten Anwendungsfällen entwickelt wurden und auf teuren Multi-Core-Servern laufen. Im Zeitalter von Self-Service und Big Data findet in der Unternehmens-IT ein Umdenken hinsichtlich dieser Technologien und Ansätze statt.
Als Reaktion auf diese Herausforderungen setzen Unternehmen konsequent auf moderne Datenmanagementlösungen, die aus NoSQL-Datenbanken wie MongoDB, Hadoop-Distributionen von Anbietern wie Cloudera und Hortonworks, Cloud-basierten Systemen wie Amazon Redshift und Datenvisualisierung von Tableau und anderen bestehen. Im Zuge dieser Big-Data- und Cloud-Data-Warehouse-Reise haben viele meiner Gesprächspartner erkannt, dass es nicht nur wichtig ist, ihre Data-Warehouse-Implementierungen zu modernisieren, sondern auch die Art und Weise, wie sie Daten sammeln und in ihre neuen Analyseinfrastrukturen einspeisen, zukunftssicher zu gestalten - was eine flexible, mehrstufige Datenintegrationslösung erfordert, die sowohl nahtlos funktioniert als auch mit strukturierten und unstrukturierten Echtzeit- und Batch-Daten umgehen kann. In dem Maße, in dem Unternehmen die IT und die Analyseinfrastruktur von Kostenstellen für das Backend-Infrastrukturmanagement zu einem End-to-End-Partner des Unternehmens umgestalten, werden Servicemodelle zu einem integralen Bestandteil sowohl der IT- als auch der Business-Roadmaps.
Die für das neue Data Warehouse erforderliche Flexibilität, Leistung und Agilität
In den meisten Unternehmen liegt der Fokus der IT heute nicht mehr darauf, ihre wertvollen Ressourcen für undifferenziert schwere Aufgaben zu verwenden, sondern darauf, einen differenzierten Geschäftswert zu liefern. Durch den Einsatz von SnapLogic, um das Big Data-Integrationsmanagement näher an den Rand zu verlagern, können Ressourcen für wertschöpfungsintensivere Projekte und Aufgaben freigesetzt werden, während gleichzeitig der gesamte Data-to-Insights-Prozess rationalisiert und beschleunigt wird. Der Drag-and-Drop-Datenpipeline-Builder und die Streaming-Integrationsplattform von SnapLogic beseitigen den Aufwand und die Komplexität der Dateneingabe in Systeme wie Hadoop und verwandeln die Datenintegration von einem starren, zeitaufwändigen Prozess in einen Prozess, der vom Endbenutzer besser verwaltet und kontrolliert werden kann.
Produktivitätssteigerungen durch schnellere Datenintegration
Ein schnellerer Ansatz zur Datenintegration steigert nicht nur die Produktivität, sondern führt in vielen Fällen auch zu erheblichen Kosteneinsparungen. In einem Fall konnte ein SnapLogic-Kunde mit über 200 Integrationsschnittstellen, die von einem 12-köpfigen Team verwaltet und unterstützt wurden, seinen Integrationsmanagement-Fußabdruck auf weniger als 2 FTEs reduzieren und dabei eine jährliche Kosteneinsparung von mehr als 62 %, eine jährliche FTE-Verbesserung von 8:1, Infrastruktureinsparungen von über 50 % und eine Verbesserung des Dev-Ops-Release-Zeitplans um 35 % erzielen. Nebeneffekte bei diesem Kunden waren ein Netto-Produktivitätsgewinn und eine schnellere Markteinführung durch die Übertragung der Verantwortung für den Hadoop-Dateningest-Prozess an Datenwissenschaftler und Vermarkter. Diese Verlagerung führte dazu, dass das Unternehmen reaktionsschneller wurde und gleichzeitig seinen gesamten Datenerkennungsprozess erheblich rationalisierte, um schnellere, kostengünstigere und bessere Entscheidungen im gesamten Unternehmen zu treffen.
Agileres Unternehmen
Erhöhte Integrationsflexibilität bedeutet, dass man schneller, besser und kostengünstiger Änderungen und Verschiebungen vornehmen kann. Das modulare Design von SnapLogic ermöglicht es Datenwissenschaftlern und Marketingfachleuten, im Handumdrehen Ergänzungen, Verschiebungen und Änderungen vorzunehmen, und zwar mit der Sicherheit, die sie benötigen, wenn neue Ideen entstehen und neue Datenquellen ins Spiel kommen.
Durch die Integration mit Hadoop über die SnapLogic Enterprise Integration Platform mit schneller, moderner und mehrstufiger Datenintegration haben Kunden die Möglichkeit, sich nahtlos mit Daten von praktisch jedem Endpunkt zu verbinden und diese zu streamen, unabhängig davon, ob sie cloudbasiert, bodenbasiert, veraltet, strukturiert oder unstrukturiert sind. Durch die Vereinfachung der Datenintegration müssen SnapLogic-Kunden außerdem keine wertvollen IT-Ressourcen mehr für die Verwaltung und Pflege von Datenpipelines einsetzen und können sich somit auf Bereiche konzentrieren, die einen höheren Geschäftswert haben.
Randy Hamilton ist ein Unternehmer und Technologe aus dem Silicon Valley, der regelmäßig über branchenbezogene Themen wie Cloud, Big Data und IoT schreibt. Randy war als Dozent (Open Distributed Systems) an der UC Santa Cruz tätig und hatte Positionen bei Basho (Riak NoSQL-Datenbank), Sun Microsystems und Outlook Ventures inne. Außerdem war er eines der Gründungsmitglieder und VP Engineering bei Match.com.
Nächste Schritte:
- Lesen Sie das Whitepaper: Der Tod der traditionellen Datenintegration
- Kontaktieren Sie uns, um Ihre Anforderungen an die Integration von Cloud und Big Data zu besprechen
