Der Antrieb, Echtzeitdaten zu liefern
Daten sind das Lebenselixier des Unternehmens, aber ihr Wert liegt darin, sie schnell in Erkenntnisse umwandeln zu können. Es wurde vom Economist beschrieben als „für dieses Jahrhundert, was Öl für das letzte war: ein Motor für Wachstum und Wandel“, aber es kann sich oft als ebenso schwierig erweisen, es abzubauen. Viele Unternehmen konzentrieren sich jetzt darauf, ihre Datenreife zu verbessern, indem sie prüfen, wie sie ihre Daten optimieren und sie nutzen können, um Erkenntnisse in Echtzeit zu liefern.
Es gibt ein kontinuierliches Bestreben, die Latenz und die Zeit bis zur Erkenntnis durch den Einsatz von Praktiken, Prozessen und Technologien zu reduzieren, die gemeinhin als DataOps bezeichnet werden und die darauf abzielen, die Analyse zu verbessern. Es ist eine treibende Kraft, die das Datenmanagement in letzter Zeit auf den Kopf gestellt hat. Früher war der typische Ansatz zentralisiertes Data Warehousing, bei dem ETL-Prozesse (Extract Load and Transform) verwendet wurden, um Daten aus Domänen in einen riesigen Data Lake zu kopieren. Aber der Schwerpunkt liegt jetzt auf der Dezentralisierung von Daten, um Pools zu erstellen, die im Besitz der Domain bleiben.
Überlegendes Datennetz
Ein Beispiel dafür ist Data Mesh. Die Idee von Zhamak Dehghani, der ein gleichnamiges Stealth-Tech-Startup gegründet hat, das sich der Neugestaltung von Datenplattformen mit Data-Mesh-nativen Technologien verschrieben hat, sieht vor, dass jede Domäne ihre eigenen Datenpipelines handhabt, während das Mesh eine Konsistenz in Bezug auf die Syntax bietet und Normen. (Es unterscheidet sich in dieser Hinsicht von Data Fabric, da es auch ein föderiertes Governance-Betriebsmodell umfasst).
Data Mesh ermöglicht effektiv die Nutzung von Daten als Produkt und hat das Konzept der Dateninfrastruktur als Plattform hervorgebracht. Es wurde mit der Umstellung des Software-Engineerings auf Microservices verglichen, weil es eine grundlegende Veränderung bei der Verwaltung und Speicherung von Big Data markierte und große Unternehmen dazu veranlasste, Datentransformationsprojekte in Angriff zu nehmen, um schneller, nachhaltiger und in größerem Umfang auf ihre Daten zuzugreifen. Der Wechsel zu Data Mesh muss jedoch sorgfältig abgewogen werden.
Zhamak weist darauf hin, dass die Implementierung von Data Mesh nicht nur ein technologisches Unterfangen ist, sondern auch einen kulturellen Wandel innerhalb des Unternehmens erfordert. Die Organisation muss neue Verhaltensweisen sowie neue Technologien annehmen, um die Vorteile voll auszuschöpfen. Es handelt sich um einen Ansatz, der darauf abzielt, die gemeinsame Nutzung von Daten in jedem Betriebsbereich zu erleichtern und auf diese Weise die Lücke zu schließen, die zwischen Betrieb und Analyse besteht. Aber damit dies geschehen kann, müssen Praktiker, Architekten, technische Leiter und Entscheidungsträger an seiner Annahme beteiligt werden, was es zu einem soziotechnischen Unterfangen macht.
Nachfrage nach Dateningenieuren
Die Beaufsichtigung eines Datentransformationsprojekts beinhaltete immer einen Aspekt der Datentechnik. Früher verantwortlich für die Aufbereitung von Daten für die Analyse, stehen Data Engineers heute im Mittelpunkt der Datentransformation. Von der Entwicklung oder Auswahl von Datenprodukten und -diensten bis hin zur Integration in bestehende Systeme und Geschäftsprozesse bestimmen sie, wie der Modern Data Stack (MDS) aussehen wird. Folglich sind Dateningenieure jetzt sehr gefragt, aber die Verschiebung ihres Aufgabenbereichs bedeutet, dass sie sich auch um Weiterbildung bemühen müssen, um sicherzustellen, dass sie effektiv mit Entwicklungsteams zusammenarbeiten und die Anforderungen von Datenanalysten erfüllen können.
Anbieter verschieben auch ständig die Grenzen dessen, was erreicht werden kann, mit Unternehmen wie Google, SAP und Select Star bis hin zu DBT und Snowflake, die Wege neu erfinden, wie Daten effizienter gespeichert, abgerufen und analysiert werden können. Die resultierenden Cloud-basierten Plattformen können zahlreiche Datentypen und Funktionsanalysetools unterstützen, die beispielsweise eine Analyse während des ETL-Prozesses ermöglichen.
Der Wunsch nach Echtzeitzugriff auf Daten hat auch zu Fast Data geführt, das Daten während ihrer Entstehung analysiert. Bei Fast Data wird die Stapelverarbeitung durch Event-Streaming-Systeme ersetzt, die sofortige Einblicke versprechen. Aber es gibt natürlich noch andere Themen, die berücksichtigt werden müssen, da alles größer, besser, schneller, mehr wird.
Sicherheit und GRC
Neben den technologischen Problemen – wie Mikropartitionierung, Syntaxprobleme oder -abweichungen und Überwachung auf Datenfehler während des Konvertierungsprozesses – müssen auch Sicherheit und Data Governance berücksichtigt werden.
Die Verwaltung von Daten unter Einhaltung von Data-Governance-Frameworks ist ein Muss, und es sollte auch darüber nachgedacht werden, wie dies angesichts sich ändernder regulatorischer Anforderungen erfolgen soll. Unternehmen müssen in der Lage sein, zu dokumentieren, wie ihre Daten verwendet werden, aber während dies früher ein mühsamer und zeitaufwändiger Prozess war, gibt es heute eine Vielzahl von Lösungen zur Automatisierung aller Aspekte des Prozesses. Und alles zusammenfassend ist die Datenstrategie, die beschreibt, wie das Unternehmen seine Mitarbeiter, Richtlinien und Kultur rund um seine Daten verwaltet.
Wie gehen Sie also vor, um von einer zentralisierten Datenarchitektur zu Data Mesh zu wechseln? Wie können Sie Ihr Data Mesh optimieren? Wie sollte man das Team so aufbauen, dass Data Engineers und Analysten zusammenarbeiten? Wie messen Sie Ihren Datenreifegrad und nutzen diesen, um zukünftige Projekte zu steuern? Ist Fast Data für Sie? Und wie können Sie sicherstellen, dass Sie die Sicherheits- und Governance-Anforderungen weiterhin einhalten, insbesondere in einer dezentralen Architektur?
Hören Sie es direkt von den Experten
Um die Antworten auf diese Fragen zu finden, ist der Zugang zu den besten Köpfen der Branche erforderlich. Auf der Big Data LDN-Konferenz und -Ausstellung, die vom 21. bis 22. September im Olympia in London stattfindet, können Sie von über 200 Expertenrednern in 12 technischen und geschäftsorientierten Theatern hören, die sich alle darauf konzentrieren, wie man dynamische Daten aufbaut -getriebenes Unternehmen.
Zhamak Dehghani wird die Veranstaltung als Hauptrednerin eröffnen und am 10. September um 21:XNUMX Uhr ihre Session Rewire for Data Mesh: atomic steps to rewire the Soziotechnical Backbone of your Organization halten, während andere Experten einzigartige Geschichten, unvergleichliches Fachwissen und echte weltweite Anwendungsfälle. Starburst, Schneeflocke, LNER, Deliveroo, Microsoft, Actian, Confluent, Dataiku und Deloitte tauchen tief in Themen ein, die von Modern Analytics und DataOps bis Data Governance und AI & MLOPS reichen.
Die Teilnahme an Big Data LDN ist kostenlos, Sie müssen sich jedoch anmelden. Um sich Ihren Platz zu sichern, melden Sie sich bitte über die Website unter bigdataldn.com an.
