Von Bill Creekbaum
Ganz gleich, ob Sie Analyst, Datenwissenschaftler, CxO oder einfach nur ein einfacher Geschäftsanwender" sind, der Zugriff auf mehr Daten bietet Ihnen die Möglichkeit, bessere Geschäftsentscheidungen zu treffen, neue und innovative Möglichkeiten zu erkennen, auf schwer zu identifizierende Bedrohungen zu reagieren ... die Möglichkeiten sind vielfältig.
Immer mehr Daten - aus dem Internet der Dinge (IoT), aus Maschinenprotokollen, aus dem Streaming sozialer Medien, aus Cloud-nativen Anwendungen und vielem mehr - kommen mit unterschiedlichen Strukturen und in großen Mengen mit hoher Geschwindigkeit auf Sie zu. Herkömmliche Analyse- und Integrationsplattformen wurden nie für die Bewältigung dieser Arten von Arbeitslasten konzipiert.
Die oben genannten Daten werden oft in Verbindung gebracht mit großen Daten assoziiert und sind in der Regel nur einem sehr begrenzten Personenkreis zugänglich, der über ein hohes Maß an technischem Know-how und Erfahrung verfügt (z. B. Datenwissenschaftler), wodurch der geschäftliche Nutzen von mehr Daten eingeschränkt wird. Dies schafft eine Big Data Erkenntnislücke und verhindert, dass eine viel breitere Gruppe von Geschäftsanwendern und Analysten von den Vorteilen von Big Data profitiert. Das Ziel unserer Branche sollte es sein, Geschäftsanwendern und Analysten dabei zu helfen, Erkenntnisse aus Big Data zu operationalisieren. Tatsächlich hat Forbes erklärt, dass 2017 das Jahr ist, in dem Big Data zum Mainstream wird.
Es gibt zwei entscheidende Elemente, die erforderlich sind, um diese Lücke bei den Erkenntnissen über Big Data zu schließen:
- Eine skalierbare Datenplattform: Verarbeitung von Big Data, die mit "traditionellen" Analyseplattformen kompatibel ist
- Eine Integrationsplattform: Erfasst große Mengen unterschiedlicher Daten mit hoher Geschwindigkeit ohne IT-Abhängigkeit
Um das erste Element anzugehen, hat Amazon Amazon Redshift Spektrum als Teil der wachsenden Familie von AWS Big Data Services veröffentlicht. Optimiert für massive Datenspeicherung (z. B. Petabytes und Exabytes), die S3 nutzt und mit der skalierbaren Leistung von Amazon Redshift bereitgestellt wird, macht AWS die oben genannten Szenarien aus betrieblicher, zugänglicher und wirtschaftlicher Sicht möglich:
- Betrieblich: Amazon Redshift Spectrum ermöglicht die Interaktion mit Datenmengen und -vielfalt, die mit herkömmlicher OLAP-Technologie nicht möglich ist.
- Zugänglichkeit: Die SQL-Schnittstelle ermöglicht es Geschäftsanwendern und Analysten, herkömmliche Analysewerkzeuge und -fähigkeiten zu verwenden, um diese extremen Datensätze zu nutzen.
- Wirtschaftlich: Amazon Redshift Spectrum verlagert den Großteil der Big Data-Kosten auf den S3-Service, der weitaus wirtschaftlicher ist als die Speicherung des gesamten Datensatzes in Redshift.
Amazon hat eindeutig eine Plattform bereitgestellt, die die Bereitstellung extrem großer Mengen unterschiedlicher Geschäftsdaten für Geschäftsanwender und Analysten demokratisieren kann und es ihnen ermöglicht, die Tools zu nutzen, die sie derzeit verwenden, wie Tableau, PowerBI, QuickSight, Looker und andere SQL-gestützte Anwendungen.
Wenn jedoch die großen Mengen an schnellen und vielfältigen Daten nicht erfasst, in S3 geladen und über Redshift Spectrum verfügbar gemacht werden können, wird keiner der oben genannten Vorteile realisiert und die Lücke bei den Big-Data-Erkenntnissen bleibt bestehen.
Die wichtigsten Herausforderungen bei der Erfassung und Integration großer Mengen an schnellen und vielfältigen Daten:
- Vor-Ort in einer Cloud-nativen Welt: Viele Integrationsplattformen wurden vor langer Zeit für den Betrieb vor Ort und für das stapelweise Laden von Daten in eine OLAP-Umgebung entwickelt. Einige wurden zwar für den Betrieb in der Cloud aktualisiert, aber viele versagen bei Streaming-Workloads und brechen unter dem hohen Volumen an unterschiedlichen Daten zusammen, die heute erforderlich sind.
- Integration ist eine "IT-Aufgabe": Typische Integrationsplattformen sind für die Verwendung durch IT-Organisationen oder Systemintegratoren vorgesehen. Dies schränkt nicht nur den Kreis derjenigen, die die Integration durchführen können, stark ein, sondern führt auch dazu, dass die Integration in eine lange Projektwarteschlange gezwungen wird, was die Beantwortung wichtiger Geschäftsfragen erheblich verzögert.
Um das zweite Element bei der Schließung der Lücke bei den Big-Data-Einsichten anzugehen, müssen Geschäftsanwender und Analysten selbst in der Lage sein, die "Big Data" zu erfassen, damit Geschäftsfragen zeitnah beantwortet werden können. Wenn für die Erfassung der Daten ein langwieriges und komplexes IT-Projekt erforderlich ist, kann die Geschäftsmöglichkeit verloren gehen.
Um die Lücke bei den Erkenntnissen über Big Data für Geschäftsanwender und Analysten zu schließen, muss die Integrationsplattform:
- Bewältigung großer Mengen an schnellen und vielfältigen Daten
- Schwerpunkt auf der Entwicklung des Integrationsflusses (keine komplexe Code-Entwicklung)
- Einhaltung von IT-Standards und -Infrastruktur
Mit dem oben beschriebenen Integrationsansatz besteht der praktische Vorteil darin, dass diejenigen, die geschäftliche Fragen stellen und Erkenntnisse aus mehr Daten gewinnen möchten, die leistungsstarken Funktionen von Amazon Redshift Spectrum nutzen können und in der Lage sind, auf Geschäftsmöglichkeiten zu reagieren, solange es noch wichtig ist.
Amazons Redshift Spectrum und die SnapLogic Enterprise Integration Cloud stellen eine leistungsstarke Kombination dar, um die Lücke bei den Big Data-Einblicken für Geschäftsanwender und Analysten zu schließen. In den nächsten Blogbeiträgen werden wir uns konkrete Anwendungsfälle ansehen und erfahren, wie diese Konzepte in die Realität umgesetzt werden können.
Wenn Sie wissen möchten, wie SnapLogic Cloud Warehouse-Benutzern eine bis zu 10-fache Verbesserung der Geschwindigkeit und Einfachheit der Datenintegration für Redshift-Bereitstellungen ermöglicht, lesen Sie das Whitepaper "Igniting Discovery: Wie die "Built-for-the-Cloud"-Datenintegration Amazon Redshift auf Hochtouren bringt".
Bill Creekbaum ist Senior Director, Produktmanagement bei SnapLogic. Folgen Sie ihm auf Twitter @wcreekba.
