Dies ist der erste Beitrag einer Serie, die Auszüge aus dem neuen Whitepaper enthalten wird: Wird der Data Lake das Data Warehouse ertränken? Das Papier wurde von Mark Madsen, Gründer und Präsident von Third Nature, verfasst. Third Nature ist ein Beratungs- und Consulting-Unternehmen, das sich auf Analysen und Informationsmanagement sowie die dafür erforderliche technologische Infrastruktur spezialisiert hat. Mark Madsen ist ein bekannter Berater und Branchenanalyst, der häufig auf Konferenzen und Seminaren in den USA und Europa spricht und für eine Reihe von führenden Branchenpublikationen schreibt.
Erfahren Sie mehr über SnapLogic für die Integration von Big Data auf unserer Website und sehen Sie sich unbedingt das Webinar an, das wir letzten Monat mit Mark veranstaltet haben: Aufbau des Enterprise Data Lake: Wichtige Überlegungen, bevor Sie loslegen.
"Neue Möglichkeiten in der Wirtschaft erfordern eine neue Plattform für die Datenverarbeitung. Das Data Warehouse wurde zur Unterstützung vieler verschiedener Abfrage- und Berichtsanforderungen verwendet, aber Unternehmen wollen eine Mehrzweck-, Multianwendungs- und Multiuser-Plattform, die nicht nur Abfrage- und Berichtsanforderungen unterstützt: den Data Lake.
Bislang wurden die meisten See-Implementierungen durch manuelle Kodierung und kundenspezifische Integration erstellt. Der größte Teil dieses Entwicklungsaufwands ist die erste Phase der Arbeit - sobald diese abgeschlossen ist, kann die nützliche Arbeit der Erstellung von Geschäftsanwendungen beginnen.
Die manuelle Kodierung von Datenverarbeitungsanwendungen ist üblich, weil die Datenverarbeitung als anwendungsspezifische Arbeit angesehen wird. Leider ist dieser manuelle Aufwand auf lange Sicht eine Investition in die Sackgasse, da Produkte die wiederholbaren Aufgaben übernehmen werden. Die neuen Produkte werden sich im Laufe der Zeit verbessern, im Gegensatz zum benutzerdefinierten Code in einem Unternehmen, der mit zunehmendem Alter zu einer Wartungslast wird.
Dies bringt Technologiemanager heute in eine schwierige Lage. Die älteren Data-Warehouse-Umgebungen und Integrationstools sind zwar gut, aber sie können viele der neuen Anforderungen nicht erfüllen. Die neuen Umgebungen sind auf die Datenverarbeitung ausgerichtet, erfordern aber viel manuelle Arbeit. Soll man Komponenten kaufen, erstellen oder integrieren? Was sollte man kaufen oder entwickeln?
Die Antwort darauf ist, sich nicht auf spezifische Technologien wie Hadoop zu konzentrieren, sondern auf die Architektur. Insbesondere sollte man sich darauf konzentrieren, wie man die zentrale neue Fähigkeit in einem Data Lake, die allgemeine Datenverarbeitung, bereitstellen kann.
Was ist das Besondere an einem Data Lake?
"Die Kernfunktion eines Data Lake und die Quelle eines Großteils seines Wertes ist die Fähigkeit, beliebige Daten zu verarbeiten. Darin unterscheidet er sich grundlegend von einem Data Warehouse. Zu den funktionalen Anforderungen an den See gehört die Fähigkeit, Folgendes zu unterstützen:
- Speichern von Datensätzen beliebiger Größe
- Verarbeitung und Standardisierung von Daten, unabhängig von ihrer Struktur oder Form
- Unterschiedliche Datensätze integrieren
- Umwandlung von Datensätzen von einer Form in eine andere
- Verwaltung der auf der Plattform gespeicherten und von ihr erzeugten Daten
- Bereitstellung einer Plattform für die Erforschung von Daten
- Bereitstellung einer Plattform, die komplexe analytische oder algorithmische Verarbeitung ermöglicht
- Unterstützung des gesamten Lebenszyklus von Daten von der Erfassung über die Nutzung bis zur Archivierung
- Verfeinerung und Bereitstellung von Daten als Teil von Betriebsabläufen, von Batch bis nahezu in Echtzeit".
Im nächsten Beitrag dieser Serie wird Mark die neuen Anforderungen und die Architektur des Data Lake beschreiben. Laden Sie das gesamte Whitepaper herunter und sehen Sie sich Marks jüngste Webinar-Präsentation mit SnapLogic hier an.
