Vous avez décidé de transférer votre entrepôt de données sur le site cloud et vous voulez commencer. C‘est formidable ! Il est facile de comprendre pourquoi - en plus des avantages fondamentaux dont j‘ai parlé dans mon dernier article de blog, il y a beaucoup d‘autres avantages associés à l‘entreposage de données sur cloud : un traitement incroyablement rapide, un déploiement rapide, une tolérance aux pannes et une reprise après sinistre intégrées et, en fonction de votre fournisseur cloud , une sécurité et une gouvernance solides.
Une vérification de la réalité en six étapes
Mais avant d‘être trop enthousiaste, il est temps de se rendre à l‘évidence : le transfert d‘un entrepôt de données existant vers cloud n‘est ni rapide, ni facile. Il ne s‘agit certainement pas d‘exporter des données d‘un site plateforme et de les charger dans un autre. Les données ne sont qu‘un des six composants de l‘entrepôt à migrer.
Tactiquement et techniquement, la migration d‘un entrepôt de données est un processus itératif qui nécessite de nombreuses étapes pour migrer tous les composants, comme illustré ci-dessous. Voici tout ce que vous devez prendre en compte lors de la migration de votre entrepôt de données vers le site cloud.
1) Migration du schéma : Avant de déplacer les données de l‘entrepôt, vous devrez migrer les structures et les spécifications des tables. Il se peut que vous deviez apporter des modifications structurelles dans le cadre de la migration, notamment en ce qui concerne l‘indexation ou le partitionnement - faut-il les repenser ?
Processus de migration de l‘entrepôt de données
2) Migration des données : Le déplacement de très grands volumes de données nécessite un processus intensif, un réseau intensif et beaucoup de temps. Vous devrez déterminer combien de temps prendra la migration et si vous pouvez accélérer le processus. Vous devrez peut-être restructurer dans le cadre de la migration des schémas et transformer les données dans le cadre de la migration des données ? Par ailleurs, pouvez-vous transformer les données en cours de route ou devez-vous les prétraiter avant de les migrer ?
3) Migration de l‘ETL : le déplacement des données peut être la partie la plus facile par rapport à la migration des processus ETL. Vous devrez peut-être modifier la base de code pour optimiser les performances de plateforme et modifier les transformations de données pour les synchroniser avec la restructuration des données. Vous devrez déterminer si les flux de données doivent rester intacts ou être réorganisés. Dans le cadre de la migration, vous devrez peut-être réduire la latence des données et fournir des données en temps quasi réel. Dans ce cas, serait-il judicieux de migrer également le traitement ETL vers cloud? Existe-t-il un utilitaire pour convertir votre code ETL ?
4) Reconstruire les pipelines de données : En cas de modification substantielle du flux ou de la transformation des données, il peut être préférable de reconstruire les pipelines de données plutôt que de migrer l‘ETL existant. Il est possible d‘isoler des transformations de données individuelles et de les présenter sous forme de modules exécutables. Vous devrez comprendre les dépendances entre les transformations de données pour construire un flux de travail optimal et les avantages que vous pouvez obtenir - performance, agilité, réutilisation et maintenance - en reconstruisant l‘ETL sous forme de pipelines de données modulaires à l‘aide d‘une technologie moderne et conviviale ( cloud).
5) Migration des métadonnées : Les métadonnées source-cible sont un élément crucial de la gestion d‘un entrepôt de données ; il est essentiel de connaître le cheminement des données, de les retracer et de les dépanner en cas de problème. Avec quelle facilité ces métadonnées seront-elles transférées vers un nouveau site cloud plateforme ? Tous les mappages, la logique de transformation, le flux de données et le flux de travail sont-ils enfermés dans des outils propriétaires ou enfouis dans le code SQL ? Vous devrez déterminer si vous serez en mesure d‘exporter et d‘importer en procédant à une rétro-ingénierie des métadonnées ou en les reconstruisant à partir de zéro.
6) Migration des utilisateurs et des applications : La dernière étape du processus consiste à migrer les utilisateurs et les applications vers le nouvel entrepôt de données cloud , sans interrompre les activités de l‘entreprise. Il peut être nécessaire de créer ou de modifier les autorisations de sécurité et d‘accès, et de connecter les outils de BI et d‘analyse. Pour ce faire, quelle communication est nécessaire et avec qui ?
N‘essayez pas de tout faire en même temps
Un entrepôt de données d‘entreprise typique contient une grande quantité de données décrivant de nombreux domaines d‘activité. Il n‘est généralement pas réaliste de migrer l‘ensemble d‘un entrepôt de données en une seule fois. La migration incrémentale est l‘approche la plus judicieuse lorsque la migration "big bang" n‘est pas pratique. La migration incrémentale est indispensable lorsque des modifications importantes sont apportées à la conception de l‘entrepôt.
Toutefois, la migration incrémentale entraîne de nouvelles considérations. L‘emplacement des données doit être transparent du point de vue de l‘utilisateur pendant toute la période où certaines données résident dans l‘ancien entrepôt de données et d‘autres dans le nouvel entrepôt de données cloud . Envisager une couche virtuelle comme point d‘accès pour découpler les requêtes de l‘emplacement de stockage des données.
Une stratégie hybride est une autre option viable. Avec une approche hybride, votre entrepôt de données sur site peut continuer à fonctionner pendant que l‘entrepôt de données cloud est mis en ligne. Pendant cette phase de transition, vous devrez synchroniser les données entre l‘ancien entrepôt de données sur site et le nouveau qui se trouve sur cloud.
Cloud les outils de migration à la rescousse
La bonne nouvelle, c‘est qu‘il existe de nombreux outils et services qui peuvent s‘avérer précieux lors de la migration de votre entrepôt de données existant vers cloud. Dans mon prochain article, le troisième et dernier de cette série, j‘explorerai les outils d‘intégration des données, d‘automatisation des entrepôts de données et de virtualisation des données, ainsi que les ressources des intégrateurs de systèmes qui peuvent accélérer le processus et le rendre moins risqué.
Consultez le webcast, "Traditional Data Warehousing is Dead : How digital enterprises are scaling their data to infinity and beyond in the Cloud", avec Dave Wells, Data Management Practice Lead, Eckerson Group, qui met en évidence les avantages commerciaux tangibles que votre organisation peut obtenir en déplaçant vos données vers cloud. Vous apprendrez :
-
-
- Les meilleures pratiques, les technologies clés à prendre en compte et des études de cas pour vous aider à démarrer.
- Les pièges potentiels des solutions d‘intégration de données patrimoniales "cloud-washed".
- Cloud tendances du marché de l‘entreposage de données
- Comment l‘Enterprise Integration Cloud de SnapLogic permet de multiplier par 10 la vitesse et la facilité d‘intégration des données.
-
