Sie haben sich entschlossen, Ihr Data Warehouse in die Cloud zu verlagern, und wollen jetzt loslegen. Großartig! Es ist leicht zu erkennen, warum - zusätzlich zu den Hauptvorteilen, über die ich in meinem letzten Blogbeitrag geschrieben habe, gibt es viele weitere Vorteile, die mit dem Data Warehousing in der Cloud verbunden sind: unglaublich schnelle Verarbeitung, zügige Bereitstellung, integrierte Fehlertoleranz und Notfallwiederherstellung und, je nach Cloud-Anbieter, starke Sicherheit und Governance.
Ein Realitätscheck in sechs Schritten
Doch bevor Sie sich zu sehr aufregen, ist es an der Zeit, einen Realitätscheck zu machen: Ein bestehendes Data Warehouse in die Cloud zu verlagern, geht nicht schnell und ist auch nicht einfach. Es ist definitiv nicht so einfach, Daten von einer Plattform zu exportieren und auf eine andere zu laden. Die Daten sind nur eine der sechs zu migrierenden Lagerhauskomponenten.
In taktischer und technischer Hinsicht ist die Migration von Data Warehouses ein iterativer Prozess, der viele Schritte erfordert, um alle Komponenten zu migrieren, wie unten dargestellt. Hier finden Sie alles, was Sie bei der Migration Ihres Data Warehouse in die Cloud beachten müssen.
1) Migration des Schemas: Vor dem Verschieben von Lagerdaten müssen Sie die Tabellenstrukturen und -spezifikationen migrieren. Möglicherweise müssen Sie im Rahmen der Migration strukturelle Änderungen vornehmen, einschließlich der Indizierung oder Partitionierung - müssen diese überdacht werden?
Prozess der Data-Warehouse-Migration
2) Migration von Daten: Das Verschieben sehr großer Datenmengen ist verfahrensintensiv, netzintensiv und zeitaufwändig. Sie müssen herausfinden, wie lange die Migration dauern wird und ob Sie diesen Prozess beschleunigen können. Möglicherweise müssen Sie im Rahmen der Schemamigration eine Umstrukturierung vornehmen und Daten im Rahmen der Datenmigration transformieren. Oder können Sie die Daten im laufenden Betrieb umwandeln, oder sollten Sie sie erst vorverarbeiten und dann migrieren?
3) ETL-Migration: Das Verschieben von Daten kann im Vergleich zur Migration von ETL-Prozessen der einfachere Teil sein. Möglicherweise müssen Sie die Codebasis ändern, um die Leistung der Plattform zu optimieren, und Datentransformationen ändern, um sie mit der Datenumstrukturierung zu synchronisieren. Sie müssen festlegen, ob die Datenflüsse intakt bleiben oder umstrukturiert werden sollen. Im Rahmen der Migration müssen Sie möglicherweise die Datenlatenz verringern und Daten nahezu in Echtzeit bereitstellen. Wäre es in diesem Fall sinnvoll, auch die ETL-Verarbeitung in die Cloud zu verlagern? Gibt es ein Dienstprogramm zur Konvertierung Ihres ETL-Codes?
4) Neuaufbau von Datenpipelines: Bei jeder wesentlichen Änderung des Datenflusses oder der Datentransformation kann der Neuaufbau von Datenpipelines die bessere Wahl sein als die Migration der bestehenden ETL. Möglicherweise können Sie einzelne Datenumwandlungen isolieren und als ausführbare Module verpacken. Sie müssen die Abhängigkeiten zwischen den Datentransformationen verstehen, um einen optimalen Arbeitsablauf zu konstruieren und die Vorteile zu erkennen, die Sie durch den Neuaufbau von ETL als modulare Datenpipelines mit moderner, Cloud-freundlicher Technologie erzielen können - Leistung, Flexibilität, Wiederverwendbarkeit und Wartungsfreundlichkeit.
5) Migration von Metadaten: Quell-zu-Ziel-Metadaten sind ein entscheidender Bestandteil der Verwaltung eines Data Warehouse; die Kenntnis der Datenherkunft sowie die Nachverfolgung und Behebung von Problemen sind von entscheidender Bedeutung, wenn Probleme auftreten. Wie leicht lassen sich diese Metadaten auf eine neue Cloud-Plattform übertragen? Sind alle Mappings, Transformationslogiken, Datenflüsse und Arbeitsabläufe in proprietären Tools eingeschlossen oder in SQL-Code vergraben? Sie müssen feststellen, ob Sie die Metadaten exportieren und importieren können, indem Sie sie entweder zurückentwickeln oder von Grund auf neu erstellen.
6) Migration von Benutzern und Anwendungen: Der letzte Schritt des Prozesses ist die Migration von Benutzern und Anwendungen in das neue Cloud Data Warehouse, ohne den Geschäftsbetrieb zu unterbrechen. Möglicherweise müssen Sicherheits- und Zugriffsberechtigungen erstellt oder geändert werden, und BI- und Analysetools sollten angeschlossen werden. Welche Kommunikation ist dafür erforderlich und mit wem?
Versuchen Sie nicht, alles auf einmal zu tun
Ein typisches Unternehmens-Data-Warehouse enthält eine große Menge an Daten, die viele Geschäftsbereiche beschreiben. Die Migration eines gesamten Data Warehouse in einem einzigen Durchgang ist normalerweise nicht realistisch. Inkrementelle Migration ist der intelligente Ansatz, wenn eine "Big Bang"-Migration nicht praktikabel ist. Die inkrementelle Migration ist ein Muss, wenn im Rahmen der Bemühungen erhebliche Designänderungen vorgenommen werden.
Die schrittweise Migration bringt jedoch neue Überlegungen mit sich. Der Speicherort der Daten sollte aus Nutzersicht während des gesamten Zeitraums, in dem sich einige Daten im alten Data Warehouse und einige im neuen Cloud Data Warehouse befinden, transparent sein. Ziehen Sie eine virtuelle Ebene als Zugriffspunkt in Betracht, um Abfragen vom Speicherort der Daten zu entkoppeln.
Eine hybride Strategie ist eine weitere praktikable Option. Bei einem hybriden Ansatz kann Ihr lokales Data Warehouse in Betrieb bleiben, während das Cloud Data Warehouse online geht. Während dieser Übergangsphase müssen Sie die Daten zwischen dem alten Data Warehouse vor Ort und dem neuen Data Warehouse in der Cloud synchronisieren.
Cloud-Migrations-Tools als Retter in der Not
Die gute Nachricht ist, dass es viele Tools und Dienste gibt, die bei der Migration Ihres Legacy Data Warehouse in die Cloud von unschätzbarem Wert sein können. In meinem nächsten Beitrag, dem dritten und letzten in dieser Serie, werde ich die Tools für die Datenintegration, die Data-Warehouse-Automatisierung und die Datenvirtualisierung sowie die Ressourcen von Systemintegratoren vorstellen, die den Prozess beschleunigen und das Risiko verringern können.
Sehen Sie sich den Webcast "Traditional Data Warehousing is Dead: How digital enterprises are scaling their data to infinity and beyond in the Cloud" (Traditionelles Data Warehousing ist tot: Wie digitale Unternehmen ihre Daten in der Cloud bis ins Unendliche und darüber hinaus skalieren ) mit Dave Wells, Data Management Practice Lead, Eckerson Group, an, der die greifbaren Geschäftsvorteile hervorhebt, die Ihr Unternehmen durch die Verlagerung Ihrer Daten in die Cloud erzielen kann. Sie werden lernen:
-
-
- Praktische Best Practices, zu berücksichtigende Schlüsseltechnologien und Fallstudien für den Einstieg
- Die potenziellen Fallstricke von "cloudgewaschenen" Legacy-Datenintegrationslösungen
- Trends auf dem Markt für Cloud Data Warehousing
- Wie die Enterprise Integration Cloud von SnapLogic eine bis zu 10-fache Verbesserung der Geschwindigkeit und Einfachheit der Datenintegration bietet
-
