Verbesserung von ETL durch Hinwendung zum Echtzeit-Datenstreaming.

Die Rolle von Daten in heutigen Organisationen ist unbestritten. Daten fließen nicht nur in Entscheidungen in allen Bereichen des Unternehmens ein, sie werden auch zunehmend zur Automatisierung von Prozessen verwendet, da Unternehmen „zur Software werden“. Allerdings steigt auch die Komplexität der Verwaltung fragmentierter Daten. Eine aktuelle IDC-Umfrage ergab, dass 79 % der Unternehmen mehr als 100 Datenquellen und 30 % mehr als 1000 Quellen verwenden. Viele CDO geben zu, dass sie mehr als ein Drittel ihrer Zeit mit dem täglichen Datenmanagement verbringen, anstatt Daten zur Förderung von Strategien und Innovationen zu verwenden. Da Unternehmen mit einem hohen Datenreifegrad 250 % mehr Geschäftswert generieren, war es noch nie so wichtig, Datenbereinigung, -anreicherung und -verarbeitung über alle Datentypen hinweg durchzuführen; transaktional, operativ und analytisch.

Die Erhöhung der Datenreife erfordert ein Maß an Data Leadership, das mit Digital Leadership einhergeht. Echtzeit-Datenpipelines sind zu einem notwendigen Standard geworden, bei dem von Unternehmen erwartet wird, dass sie die Datenreife als Voraussetzung für die Nutzung vorantreiben AI und ML. Mit anderen Worten, die Datentransformation ist entscheidend für die digitale Transformation. Aus diesem Grund ist Data Leadership so entscheidend, da es internen Teams ermöglicht, die primäre Herausforderung der Fragmentierung und Komplexität anzugehen und letztendlich einen höheren Geschäftswert zu generieren.

Die Herausforderung für diejenigen, die ihre Dienste modernisieren und bewerten möchten, besteht jedoch darin, alle Daten miteinander zu verknüpfen und in Echtzeit zugänglich zu machen. Traditionell wurde ein langwieriger dreistufiger Prozess verwendet, um Daten aus mehreren Quellen zu konsolidieren – Extrahieren, Transformieren und Laden (ETL). Dies funktioniert jedoch tendenziell im Stapelbetrieb und hat nicht immer die gewünschten Ergebnisse geliefert. Einige Lösungen haben den Prozess auf ELT umgestellt – Extrahieren, Laden und Transformieren der Daten. Wir sehen sogar Reverse ETL. Jetzt, mit dem Aufkommen, Daten in Bewegung zu setzen, sehen wir, dass sich die Branche in Richtung ETL-Streaming mit Echtzeit-Stream-Verarbeitung verlagert.

Daten in Bewegung setzen

ETL (Extract, Transform and Load) ist ein dreistufiger Prozess zur Konsolidierung von Daten aus mehreren Quellen. Im Kern ist ETL ein Standardprozess, bei dem Daten aus verschiedenen Quellen gesammelt (extrahiert), in ein gewünschtes Format konvertiert (transformiert) und dann an ihrem neuen Ziel gespeichert (geladen) werden.

ETL ist kein neues Konzept. Tatsächlich hat es sich seit den 1970er und 80er Jahren weiterentwickelt, als der Prozess sequentiell, die Daten statischer, die Systeme monolithisch waren und Berichte auf wöchentlicher oder monatlicher Basis erforderlich waren.

Da sich die Kundenerwartungen und Backend-Operationen in Richtung einer Echtzeit-Welt bewegt haben, haben wir gesehen, wie sich stapelverarbeitetes ETL zu Streaming-ETL verlagert hat, da viele Geschäftsprozesse in Software festgelegt sind. Mit Streaming ETL, Daten

wird automatisch extrahiert und transformiert oder bearbeitet und dann fast unmittelbar nach der Erstellung an jeden beliebigen Ort geladen, was es Unternehmen ermöglicht, Prozesse zu automatisieren – Menschen aus dem kritischen Pfad zu entfernen – und mit Skalierbarkeit, Sicherheit und einer optimalen Infrastruktur zu arbeiten, was beinhaltet höchstwahrscheinlich die Cloud.

ETL-Streaming in der Praxis

Echtzeitdaten sind ein Schlüsselelement sowohl für neue als auch für leistungsstarke alte Marken, die auf einen konsistenten Fluss und Datenströme angewiesen sind, um auf die sich ständig ändernden Erwartungen ihrer Kunden zu reagieren.

Anstatt Daten in einer statischen Datenbank zu belassen, können die Daten selbst eine Aktion oder Analyse in Echtzeit auslösen. In vielen Fällen kann dieses „In Bewegung setzen von Daten“ neue Wertmöglichkeiten eröffnen, die mit statischen Daten in traditionelleren Datenbanken unter Verwendung einer Request-Response-Architektur nicht möglich waren. Technologieführer wie Uber, Ebay, Netflix und Yelp haben bereits einen Echtzeit-Daten-Streaming-Ansatz eingeführt und sich um Daten-Streaming-Plattformen herum aufgebaut.

Die Echtzeit-Stream-Verarbeitung wurde auch in einer Reihe traditionellerer Branchen erfolgreich implementiert. Beispielsweise suchen Banken im Finanzdienstleistungsbereich ständig nach Wegen, um für die Kunden von heute relevanter zu werden. Verbraucher können sich Banking ohne Echtzeit-Push-Benachrichtigungen, die ursprünglich von Challenger-Banken auf den Markt gebracht wurden, nicht mehr vorstellen. Von traditionellen Banken wird auch erwartet, dass sie zusätzliche Informationen anbieten, die durch Daten ermöglicht werden, wie z. B. die Verfolgung von Finanzen und Unterstützung bei der Budgetplanung, basierend auf früheren Kaufmustern und Lebenszielen.

Oder nehmen Sie den Einzelhandel. Unternehmen möchten Daten aus Website-Interaktionen, mobilen Apps und Einkaufserlebnissen zusammenführen, um kontextbezogene und zielgerichtete Angebote in Echtzeit anbieten zu können. Darüber hinaus können sie mit Echtzeitdaten Rückmeldungen und Rücksendungen nach dem Verkauf erfassen oder Produkte und Dienstleistungen weiter verkaufen und verkaufen.

Letztendlich ist es für einen Stammkunden schwer vorstellbar, wie diese Dienste aussehen würden, wenn sie nicht die Leistungsfähigkeit der Echtzeit-Stream-Verarbeitung nutzen würden, aber es gibt viel mehr Unternehmen, die Daten anzapfen können, um Digital-First zu werden.

Ein Datenansatz für die digitale Transformation

Obwohl es nicht einfach ist, eine Strategie für die digitale Transformation zu entwickeln, die den Wert von Daten voll ausschöpft, erkennen viele Unternehmen diese Notwendigkeit. Wenn Sie dies richtig machen, können Unternehmen die Kraft des Netzwerkeffekts nutzen, um weitere Datensynergien zu erzielen. Da immer mehr Teile des Unternehmens verschiedene Datenquellen nutzen, produzieren sie auch mehr Daten, was wiederum zu einem höheren Datenverbrauch führt. Usw.

Traditionell wurden Daten verwendet, um ein Produkt oder eine Lösung bereitzustellen. Bei einer Customer-Relationship-Management-Plattform beispielsweise bestand der Hauptzweck der Daten darin, diese Plattform zu bedienen. Mit der Möglichkeit, auf Echtzeitdaten zuzugreifen, sehen wir jedoch eine Verschiebung in dieser Beziehung. Produkte oder Geschäftslösungen erzeugen nun Daten, die selbst zum Produkt werden können. Anstatt dass Daten nur der Lösung dienen, dient die Lösung daher auch den Daten.

Echtzeit-Stream-Verarbeitung modernisiert diese alte Art der Arbeit mit Daten. Es gibt Menschen Echtzeit-Zugriff auf Informationen, wenn Ereignisse passieren, mit einem immer höheren Grad an kontextbezogener Intelligenz. Eine Datenstreaming-Plattform kann auch auf Ereignisse reagieren und die Aufgabe direkt und am Menschen vorbei ausführen.

Heutzutage sind Daten das Herzstück jedes modernen Unternehmens. Herkömmliche Unternehmen erweitern ihre Legacy-Architekturen, um Echtzeitanforderungen zu erfüllen und den Betrieb in großem Umfang zu vereinfachen. Um die Nutzung von Daten zu verbessern, müssen Unternehmen neue Synergien schaffen, um das Datenpotenzial voll auszuschöpfen. Der Wechsel von ELT zu Streaming-ETL wird Unternehmen in die Lage versetzen, ihre Datenreife zu steigern und der Konkurrenz einen Schritt voraus zu sein.