SnapLogica annoncé aujourd‘hui la prise en charge de l‘intégration partenaire de la console Amazon Redshift, un outil composé de solutions partenaires Amazon Web Services (AWS) sélectionnées qui ont été intégrées à Amazon Redshift. Avec la nouvelle intégration partenaire de la console, les clients peuvent accélérer l‘intégration des données et produire des informations commerciales précieuses en quelques minutes.
SnapLogic est un réseau de partenaires AWS (APN) Advanced Technology Partner avec la compétence AWS Data & Analytics Competency et Redshift Service Ready ce qui simplifie encore le passage d‘une organisation à une architecture de données entièrement gérée.
En prenant en charge l‘intégration des partenaires de la console Amazon Redshift, SnapLogic permet désormais aux clients d‘AWS de déplacer rapidement les données de centaines d‘applications telles que Salesforce, Workday, ServiceNow, Google Analytics, Facebook Ads, Slack, Jira, Splunk et Marketo vers un entrepôt de données Amazon Redshift d‘une manière efficace et rationalisée. L‘intégration des partenaires de la console Amazon Redshift permet aux clients d‘identifier les partenaires correspondant à leur cas d‘utilisation spécifique. Une fois le partenaire sélectionné, les utilisateurs sont transférés vers une page d‘atterrissage dédiée sur le site web du partenaire, où l‘inscription et la configuration peuvent être effectuées.
Ce billet vous explique en détail comment déployer automatiquement un cluster Amazon Redshift, intégrer SnapLogic depuis la console Amazon Redshift pour le cluster créé, et démarrer votre premier pipeline SnapLogic pour ingérer des données dans le cluster. Ces étapes comprennent :
- Créer un cluster Amazon Redshift à l‘aide de CloudFormation
- Intégrer le cluster Amazon Redshift créé avec SnapLogic depuis la console AWS
- S‘inscrire à la version d‘évaluation de SnapLogic et vérifier l‘intégration établie à Redshift Cluster
- Exécuter un pipeline, ingérer des données dans le cluster Amazon Redshift et les vérifier
Conditions préalables
Voici la configuration minimale requise pour réaliser le tutoriel pratique :
- Avant de commencer ce tutoriel, vous devez disposer d‘un compte AWS. Dans cet exercice, vous configurez les ressources AWS requises à l‘aide d‘AWS CloudFormation dans le répertoire ouest-1 région. Si vous ne vous êtes pas encore inscrit, veuillez inscrivez-vous à AWS ici.
- Si vous devez connecter votre cluster Amazon Redshift existant à SnapLogic, vous devrez d‘abord activer l‘option l‘accessibilité publique pour votre cluster ainsi que mettre sur liste blanche les ips de SnapLogic de SnapLogic pour la connectivité.
Note : CloudFormation ci-dessous crée un nouveau cluster redshift et met automatiquement sur liste blanche les IP SnapLogic.
Création d‘un cluster Amazon Redshift
Commençons par créer un cluster Redshift que nous pourrons intégrer à SnapLogic. Nous avons utilisé le modèle AWS CloudFormation suivant pour créer une instance Amazon Redshift à deux nœuds fonctionnant sur une instance de type dc2.large par défaut (vous pouvez également choisir d‘autres types d‘instance et d‘autres nombres de nœuds).
Cliquez sur Lancer la pile pour lancer la création de la pile CloudFormation dans le répertoire us-west-1 dans la région us-west-1.
Sur la page Create Stack, mettez à jour Mot de passe Redshift, RedshiftNodeCount et RedshiftNodeType si nécessaire ou utiliser la valeur par défaut, reconnaître les capacités de la ressource et cliquez sur Create Stack (Créer une pile). Attendez que la création de la pile soit terminée, ce qui peut prendre jusqu‘à 10 minutes.
Une fois la création de la pile terminée, vous pouvez accéder à Amazon Redshift Console et voir le cluster qui vient d‘être créé avec le statut listé comme disponible.
Intégrer le cluster Amazon Redshift créé avec SnapLogic depuis la console AWS
Cliquez sur le nom du cluster comme indiqué ci-dessus afin de voir les détails et de les vérifier. Après une vérification rapide sur la page des détails du cluster, cliquez sur le bouton Ajouter des intégrations partenaires en haut de la page.
Sur la page Choisir un partenairefaites défiler vers le bas et sélectionnez SnapLogic. Vous pouvez également trouver des détails sur les cas d‘utilisation courants dans lesquels SnapLogic aide les clients. Faites défiler jusqu‘en bas et cliquez sur Suivant.
Sur la page Intégrer avec SnapLogicvérifiez les détails du cluster et cliquez sur Ajouter un partenaire qui ouvrira la page d‘évaluation de SnapLogic pour l‘inscription.
S‘inscrire à la version d‘évaluation de SnapLogic et configurer automatiquement la connexion Amazon Redshift
Sur la page d‘essai qui s‘est ouverte, indiquez vos coordonnées, notamment votre nom, votre adresse électronique professionnelle, votre fonction, le nom de votre entreprise, etc. et acceptez les conditions (Si vous avez déjà créé un compte d‘essai SnapLogic avec votre adresse électronique professionnelle, utilisez +1 à la fin de votre alias pour vous inscrire afin de vous assurer que tout se passe bien pour vous). Il y a également une case nommée Détails Redshift dans laquelle vous devez indiquer le mot de passe du cluster que vous avez mis à jour lors de la création de la pile CloudFormation ou le mot de passe par défaut : Awsuser01.
Une fois tous les détails saisis, cliquez sur Démarrer votre essai gratuit pour démarrer votre essai gratuit. Cette page a transféré tous les détails de votre cluster et a automatiquement établi une connexion ainsi qu‘un pipeline pour vous aider à démarrer rapidement.
Une fois inscrit, vous verrez une page de remerciement indiquant que les instructions pour commencer ont été envoyées à votre adresse électronique. Vous devriez recevoir un courriel dans votre boîte de réception vous indiquant comment configurer un mot de passe et vous connecter à l‘interface utilisateur SnapLogic. Terminez l‘inscription en suivant les instructions.
Naviguons maintenant vers Console Amazon Redshift et cliquez sur le cluster auquel vous venez d‘ajouter des intégrations partenaires. Naviguez jusqu‘à l‘onglet Propriétés et descendez jusqu‘à l‘onglet Intégrations et voyez que SnapLogic est listé comme un partenaire active sur la console, ce qui indique que ce cluster Redshift dispose désormais d‘intégrations avec l‘environnement d‘essai SnapLogic pour lequel vous venez de vous inscrire.
Connectez-vous maintenant à l‘interface SnapLogic UI après avoirvérifié votre adresse email et changé votre mot de passe. Une fois sur la console, naviguez vers Manager onglet ? ??? Project Espaces ? ??? Console Redshift ? ??? "Nom d‘utilisateur_Org"comme indiqué ci-dessous :
Vous remarquerez qu‘un compte et un pipeline ont été créés automatiquement pour vous. Cliquez sur le compte Compte d‘essai Redshift et vérifiez qu‘il pointe vers le cluster que vous venez de créer ci-dessus. Vous pouvez cliquer sur Valider pour vous assurer que SnapLogic peut se connecter à votre cluster Amazon Redshift.
Exécuter un pipeline, ingérer des données dans le cluster Amazon Redshift et les vérifier
Exécutons maintenant un pipeline qui est créé et configuré automatiquement pour que vous puissiez rapidement découvrir la flexibilité offerte par SnapLogic pour ingérer des données dans Amazon Redshift.
Sur la page de la console Redshift, cliquez sur ForecastAPI-to-Redshift ce qui ouvrira l‘interface utilisateur de SnapLogic Designer qui contient le pipeline préconfiguré qui extrait les données d‘alerte du National Weather Service et les ingère dans Redshift. Le pipeline ressemble à ce qui suit :
Pour exécuter la pipeline, cliquez sur le bouton Exécuter le pipeline dans le coin supérieur droit :
Cela déclenche le pipeline et commence à ingérer les données dans le cluster Redshift. Une fois l‘exécution terminée, le pipeline passe au vert.
Une fois l‘exécution terminée, naviguez vers Redshift Éditeur de requêtes et fournissez les détails de connexion au cluster si nécessaire et connectez-le.
| nom de la base de données : | snaplogic |
| nom d‘utilisateur : | snapuser |
| mot de passe : | <your custompassword> [default Awsuser01] |
Sélectionnez la Base de données SnapLogic dans la liste déroulante, Schema sample_dataCliquez avec le bouton droit de la souris sur météo et sélectionnez Prévisualiser les donnéeset vous devriez pouvoir voir les données ingérées par le pipeline SnapLogic.
Vous avez ainsi testé et exécuté avec succès votre premier pipeline sur l‘essai SnapLogic et ingéré des données dans un cluster Amazon Redshift, ce qui constitue la dernière étape de cet exercice pratique.
Nettoyer
Lorsque vous avez terminé les étapes et testé d‘éventuelles pipelines supplémentairesn‘oubliez pas de nettoyer toutes les autres ressources AWS que vous avez créées à l‘aide d‘AWS CloudFormation afin d‘éviter d‘encourir des coûts d‘infrastructure supplémentaires. Utilisez la console console CloudFormation ou l‘interface de ligne de commande AWS (CLI) pour supprimer la pile nommée SnapLogic-Redshift-Console-Blog.
Conclusion
Dans ce billet, vous avez découvert la nouvelle fonctionnalité d‘intégration des partenaires d‘Amazon Redshift à partir de sa console, qui permet aux clients d‘identifier les partenaires pertinents pour leur cas d‘utilisation spécifique, créer un cluster Amazon Redshift en utilisant CloudFormation, et l‘intégrer avec SnapLogic depuis la console Redshift. Une fois dirigé vers la page du partenaire, vous vous êtes inscrit à l‘essai de SnapLogic et avez vérifié l‘intégration établie au cluster Redshift, exécuté un pipeline SnapLogic, ingéré des données dans le cluster Amazon Redshift, et l‘avez vérifié.
Pour en savoir plus sur la création d‘un entrepôt de données avec SnapLogic sur AWS, commencez par consulter la page Démarrage rapide AWS.
