Dans le monde des services web distribués et des Big Data, les erreurs et les fautes ne peuvent pas être traitées comme des occurrences fréquentes. Au contraire, ils sont courants et doivent être compris et gérés. Les erreurs peuvent prendre la forme de données erronées ou manquantes, et les défauts peuvent résulter de la congestion ou des défaillances des services web. Le rôle d‘une plateforme d‘intégration en tant que service ( iPaaS ) est d‘aider les utilisateurs à effectuer des tâches d‘intégration en présence d‘erreurs et de défaillances.
Tout d‘abord, il convient de préciser la différence entre les erreurs et les fautes :
- Une erreur d‘intégration fait généralement référence à une forme d‘incohérence des données due à une corruption des données, à des données manquantes ou à des formats de données inattendus. Les canaux de communication et l‘exécution du pipeline d‘intégration fonctionnent tous comme prévu, mais les données elles-mêmes présentent un problème.
- D‘autre part, une panne est le résultat d‘une défaillance de connexion ou de service. Dans certains cas, les serveurs iPaaS peuvent connaître des défaillances qui entraînent des pannes, lesquelles doivent également être gérées.
L‘architecture SnapLogic Integration Cloud assure à la fois le traitement des erreurs de données et la tolérance aux pannes afin de garantir l‘exécution fiable des flux de données d‘intégration, appelés pipelines. Les pipelines peuvent être conçus pour gérer les mauvaises données à l‘aide de vues d‘erreur, et les segments de pipeline peuvent être encadrés de manière à garantir la livraison en cas de défaillance du réseau ou d‘un point final de service. Dans le plan de données, nos clusters Snaplex sont conçus pour détecter les pannes de nœuds et pour garantir qu‘il y a toujours un ensemble stable de nœuds Snaplex disponibles pour exécuter les pipelines. Enfin, nous assurons également la redondance et la fiabilité du plan de contrôle. Dans ce blog, nous partagerons des détails sur la gestion des erreurs. Nous vous invitons à consulter un article de blog supplémentaire qui explique comment SnapLogic gère la tolérance aux pannes et la résilience dans l‘architecture.
Vues d‘erreur
Les pipelines SnapLogic Integration Cloud sont constitués de Snaps reliés entre eux par des vues. Les Snaps peuvent avoir zéro ou plusieurs vues d‘entrée et zéro ou plusieurs vues de sortie. Par exemple, un lecteur de base de données aura zéro vue d‘entrée et une vue de sortie. Un Snap routeur aura une vue d‘entrée et plusieurs vues de sortie. Outre les vues de sortie, il est possible de configurer la plupart des boutons-pressions pour qu‘ils aient une vue d‘erreur. Les erreurs de Snap entraînent généralement un échec prématuré du Snap et du pipeline. Toutefois, dans certains cas, le développeur d‘un pipeline peut souhaiter gérer explicitement les conditions d‘erreur. Une erreur courante est l‘absence ou la mauvaise qualité des données. S‘il n‘y a pas de vue d‘erreur, les données manquantes ou mauvaises feront échouer le pipeline. Cependant, avec une vue d‘erreur, la condition d‘erreur est traitée comme une donnée et peut être transmise à un segment de pipeline. Ainsi, un segment de pipeline peut être utilisé pour enregistrer l‘erreur et corriger les mauvaises données. Cette puissante fonctionnalité permet aux développeurs de gérer de manière transparente les bonnes et les mauvaises données à l‘aide de Snaps et de segments de pipeline. Dans certains cas, certains types d‘erreurs peuvent être communiqués en tant qu‘erreurs pour permettre au développeur de pipeline de construire une exécution fiable du pipeline, comme lorsqu‘une erreur de connexion à la base de données peut être réalisée sous la forme d‘un document envoyé à une vue d‘erreur.
Par exemple, il peut manquer un ou plusieurs champs dans certains enregistrements d‘un fichier CSV. Notre CSV Reader Snap peut détecter ces enregistrements d‘erreur et les envoyer à la vue d‘erreur. Les enregistrements d‘erreur peuvent être envoyés à un segment de pipeline qui peut tenter de nettoyer les données ou de les enregistrer en vue d‘une inspection ultérieure. Autre exemple, l‘instantané de l‘expéditeur de courriels dispose d‘une vue d‘erreur. Si la vue des erreurs de l‘expéditeur d‘e-mails est activée, un document lui sera attribué pour chaque mauvaise adresse ou message non envoyé. De cette façon, le développeur de pipeline peut créer un rapport sur les mauvaises adresses ou utiliser ces dernières pour mettre à jour une base de données de contacts afin qu‘aucune tentative d‘envoi ne soit effectuée à l‘avenir à cette adresse.
Livraison garantie
L‘intégration SnapLogic Cloud permet l‘intégration de plusieurs services cloud . La plupart des services cloud modernes sont exposés via des interfaces REST ou SOAP sur HTTP. Cependant, le réseau public peut être sujet à des défaillances qui peuvent entraîner l‘abandon des demandes de service. Pour aider à gérer les échecs de connexion aux services, SnapLogic Integration Cloud prend en charge les éléments suivants livraison garantie des documents. Pour activer la livraison garantie, le développeur de pipeline marque un segment de pipeline de streaming. Ce segment encadré peut être configuré avec une politique de relance. Les documents qui doivent être envoyés au segment encadré sont temporairement conservés dans le stockage persistant. Une fois qu‘un document a traversé tout le segment, un accusé de réception est envoyé au gestionnaire du pipeline, ce qui permet de retirer le document du stockage permanent. En cas d‘échec du segment ou du point d‘extrémité du segment, la politique de réessai est invoquée pour récupérer le document dans le stockage persistant et l‘envoyer à nouveau à travers le segment. Les politiques de réessai, telles que les temps d‘attente linéaires ou le backoff exponentiel, peuvent être utilisées pour gérer la plupart des scénarios de défaillance intermittente des points d‘extrémité.
Pour plus de détails sur l‘architecture de SnapLogic Integration Cloud, consultez notre série de vidéos expliquant notre produit et plateforme.
