Data Mesh in der Praxis: Wie man eine datengetriebene Organisation aufbaut: Interview mit Max Schultze
Hyperlicht interviewt Max Schultze, um zu erörtern, wie Organisationen besser durch Daten gesteuert werden können.
Das Data-Mesh-Paradigma bietet ein enormes Potenzial, um den zentralisierten Data Lake und das Data Warehouse als vorherrschende Architekturmuster in Daten und Analysen zu ersetzen, beschreibt Max Schultze, Data Engineering Manager bei Zalando.
Unterstützt durch seine persönliche Erfahrung mit der Anwendung des Data Mesh-Konzepts in der Praxis und engagierte Feldforschung, nimmt Max an der 6. Ausgabe der teil Dateninnovationsgipfel um die häufigsten Schmerzpunkte in verschiedenen Phasen der Reise und kampfsichere Ansätze zur Bewältigung dieser Herausforderungen aufzudecken. Er bringt auch sowohl technische als auch organisatorische Erkenntnisse ein, die von Unternehmen reichen, die gerade erst beginnen, eine veränderte Denkweise bei der Arbeit mit Daten voranzutreiben, über Unternehmen, die bereits dabei sind, ihre Dateninfrastrukturlandschaft zu transformieren, bis hin zu fortgeschrittenen Unternehmen, die an föderierter Governance arbeiten Setups für eine nachhaltige datengetriebene Zukunft.
Erfahren Sie mehr über den Data Innovation Summit
Als Übergang zu seinem Vortrag teilte Max sein Wissen über die Kernprinzipien von Data Mesh, die Idee hinter domänengesteuerten Datenprodukten, seine Lehren aus der Anwendung von Data Mesh und seinen Ratschlag für den Übergang zu einer Data Mesh-Architektur.
Hyperlicht: Hallo Max, ich freue mich sehr, Sie als Redner auf der 6. Ausgabe des Data Innovation Summit begrüßen zu dürfen. Was würden Sie uns als Einführung in unsere Diskussion über sich erzählen?
Max Schulze: Hallo Ivana, vielen Dank für die Einladung, ich freue mich sehr, dieses Jahr hier zu sein. Der Data Innovation Summit hat den Ruf, praxiserprobte Ideen im Datenbereich einem breiteren Publikum zugänglich zu machen, und ich freue mich sehr, an der 6. Iteration teilzunehmen, um weitere Einblicke in das Thema „Data Mesh in Practice“ zu geben. Ich bin derzeit Data Engineering Manager bei Zalando, Europas größter Online-Plattform für Mode, und hatte die Gelegenheit, Innovationen und Herausforderungen im Datenbereich aus erster Hand zu erleben, indem ich das Team leitete, das für die Speicherschicht eines Multi-Petabyte-Datensees verantwortlich ist.
Angetrieben davon begann ich mich Ende 2019 mit der Data Mesh Idee zu beschäftigen und merkte schnell, dass viele der vorgestellten Konzepte sehr nah an den Dingen liegen, die wir selbst entdeckt und anzugehen versucht haben. Diese Erkenntnis brachte mich in die Lage, öffentlich über die praktischen Teile des Themas zu sprechen. Mittlerweile habe ich darauf mehrere Konferenzvorträge sowie ein einführendes O'Reilly-Training zum Thema sowie einen bald erscheinenden Branchenbericht folgen lassen.
Hyperlicht: Auf dem Data Innovation Summit 2021 werden Sie präsentieren Data Mesh in der Praxis: Wie man eine datengetriebene Organisation aufbaut. Data Mesh ist einer der neuesten Trends in der Datenanalyse, der eine verteilte domänengesteuerte Architektur fördert, die verspricht, zentralisierte Data Lakes und Data Warehouses zu ersetzen. Was sind die Kernprinzipien von Data Mesh, die Data Mesh zu einer besseren Architektur als eine zentralisierte machen?
Max Schulze: In erster Linie versucht Data Mesh, die Art und Weise zu thematisieren, wie wir über Daten denken. Daten sind seit vielen Jahren nur noch ein Nebenprodukt der Produktionsprozesse, die wir in unseren Unternehmen betreiben. Während wir innerhalb von Data Warehouses versuchten, Probleme der Datenqualität anzugehen, waren es normalerweise einige wenige zentrale Teams, die sich darum kümmerten, und wir mussten feststellen, dass der Ansatz letztendlich nicht mit der ständig wachsenden Menge und Vielfalt von Daten skaliert, die wir sind heute produzieren. Der Data Lake schien eine Zeit lang unser Retter zu sein, denn durch neue Technologien und den Wechsel zu den Cloudwurde uns eine praktisch unendliche Speicher- und Verarbeitungskapazität vorgestellt. Leider stellte sich schnell die Frage „Welche Daten können wir speichern?“ statt „Welche Daten sollen wir speichern?“ und unsere Ambitionen, einen gut gepflegten Data Lake mit hoher Datenqualität zu schaffen, verwandelten sich schnell in Datensümpfe mit unklaren Eigentumsverhältnissen und Verantwortlichkeiten.
Hier kommt Data Mesh ins Spiel und versucht, das Chaos anzugehen, mit dem viele von uns gerade konfrontiert sind. Durch die Einführung der Idee von Datenprodukten versuchen wir, zuvor nicht gepflegte Datensätze in wertvolle Vermögenswerte mit einem klaren Zweck und definierten Stakeholdern zu verwandeln. Gleichzeitig sprechen wir darüber, dies auf eine verteilte, domänengesteuerte Weise zu tun, indem wir sicherstellen, dass das Eigentum und die Verantwortung für solche Datenprodukte bei denen liegen, die die Daten am besten kennen. Um ein solches verteiltes Setup wirklich skalierbar zu machen, ist es notwendig, eine datenunabhängige Self-Service-Dateninfrastrukturplattform bereitzustellen. Um sicherzustellen, dass verteilte Datenprodukte nicht zu getrennten Domänensilos werden, führen wir schließlich das Konzept der föderierten Computational Governance ein.
Hyperlicht: Domänengesteuerte Datenprodukte sind das Schlüsselkonzept von Data Mesh. Können Sie uns bitte die Idee dahinter erklären?
Max Schulze: Die Behandlung eines Datensatzes als Produkt bedeutet, dass ein Team, das ein solches Datenprodukt entwickelt, über ein Produktmanagement verfügen muss, das eine Roadmap für diesen Datensatz definiert, angeforderte Funktionen verwaltet und letztendlich die Anforderungen der Kunden des Datenprodukts, dh seiner internen Benutzer, versteht. Umgekehrt erhält das Team jedoch auch Ressourcen und Managementunterstützung basierend auf dem Erfolg seines Datenprodukts. Wenn beispielsweise mehr interne Benutzer das Datenprodukt verwenden oder wenn mehr andere Datenprodukte auf dem Datenprodukt dieses Teams aufbauen, wird dies so geschätzt, als würde man ein erfolgreiches digitales Produkt für externe Kunden aufbauen.
Um die dezentrale Eigentümerschaft für solche Datenprodukte zu definieren, wendet Data Mesh ein domänengesteuertes Design an. Aus architektonischer Sicht bedeutet dies, dass anstelle von Systemen, Technologien oder Prozessstufen als Leitkriterien für die Strukturierung von Eigentumsverhältnissen Geschäftsdomänen oder deren Unterdomänen verwendet werden sollten, um Eigentumsgrenzen zu definieren. Die Idee hier ist, Domänenexpertise aufzubauen und dann Domänenexperten sowohl die Autorität zu geben, die wichtigen Entscheidungen zu treffen, als auch die Fähigkeiten, diese Entscheidungen umzusetzen (und mit den Konsequenzen umzugehen), die notwendig sind, um den größtmöglichen Nutzen aus den zugehörigen Daten zu ziehen ihre Domäne.
Hyperlicht: Welche Lehren ziehen Sie aus der Anwendung des Data-Mesh-Konzepts in der Praxis?
Max Schulze: Die Anwendung des Data Mesh-Konzepts in der Praxis ist ein langer und mühsamer Weg. Letztendlich versuchen wir, die Art und Weise, wie wir mit Daten arbeiten, in einem breiteren organisatorischen Rahmen zu ändern. Auf ein organisatorisches Umdenken zu drängen, bedeutet jedoch nicht, dass Sie Ihren Beitrag nicht leisten können. Wie bei vielen großen Veränderungen sind die ersten Schritte klein und es ist wichtig, die lokale Kultur zu fördern und die ersten erfolgreichen MVPs aufzubauen, bevor man versucht, eine unternehmensweite Skalierung zu versuchen.
Persönlich habe ich am meisten von der Seite der Dateninfrastrukturplattform gelernt. Es ist zwar absolut möglich und sogar notwendig, die richtigen Werkzeuge für Ihr Datennetz zu bauen, um es zu skalieren, aber es geht nicht um die Technologie selbst. Es ist wichtiger, die zugrunde liegenden Prinzipien des Aufbaus einer Self-Service-Infrastruktur auf domänenunabhängige Weise zu befolgen, es gibt viele Tools, die Sie dorthin bringen, und die Einzelheiten hängen stark von der Einrichtung Ihres Unternehmens ab.
Hyperlicht: Einer der wichtigsten Punkte in Ihrem Vortrag werden die Hauptschmerzpunkte sein. Was sind einige der größten Herausforderungen bei der Implementierung von Data Mesh?
Max Schulze: Besonders am Anfang ist es leicht, frühe Hindernisse zu überwinden, die unüberwindbar scheinen, aber das Bewusstsein für einige dieser Hindernisse kann einen Weg frei machen. Überladen Sie Ihre Leute nicht. Bestehende Teams können in vielen Fällen über die erforderlichen Fähigkeiten verfügen, um mit dem Aufbau erster Datenprodukte zu beginnen, insbesondere bei Produktmanagern ist es jedoch wichtig, nicht nur Fähigkeiten, sondern auch Kapazitäten zu berücksichtigen. Platzieren Sie Ihr Seed-Projekt, das Ihr Unternehmen verändern soll, nicht in einem Team, das bereits mit dem Tagesgeschäft überlastet ist, ohne zusätzliche Zeit und Ressourcen dafür bereitzustellen.
Eine weitere wichtige Herausforderung entsteht bei der Übernahme von Verantwortlichkeiten für die Dateninfrastruktur, da es ohne bewusste Entscheidung darüber, welche Funktionen bereitgestellt werden sollen, leicht ist, wieder die zentrale Verantwortung für Daten zu übernehmen und damit auf die gleichen Skalierbarkeitsprobleme zu stoßen, die wir ursprünglich zu lösen versuchten.
Hyperlicht: Was würden Sie Unternehmen raten, die darüber nachdenken, ihre Data Mesh-Reise zu beginnen? Welche Best Practices sollten befolgt werden?
WEITERLESEN:
- 4 einfache Tipps, um den Datenschutz zu gewährleisten
- Datensicherheit und Compliance: Warum Vorbeugen besser ist als Heilen
- Punktieren Sie die I's und kreuzen Sie die T's: Anforderungen an die Datenverwaltung für den Rechtsbereich
- Hacker zielen auf WLAN-Router zu Hause ab, um Daten zu stehlen
Max Schulze: Fangen Sie klein an, aber mit Engagement. Die Unternehmen, die ich bei der Umstellung auf eine Data-Mesh-Architektur am erfolgreichsten gesehen habe, haben weder ein unternehmensweites Programm zur Einführung eines Data-Mesh geplant noch viele Ressourcen für ein Big-Data-Infrastrukturprojekt gesichert. Aber sie haben sich auch nicht aus einer Laune heraus entschieden, ein kleines Data-Mesh-Experiment in irgendeinem Labor auszuprobieren. Stattdessen besteht der erfolgreichste Ansatz darin, einen sinnvollen Anwendungsfall mit begrenzter, aber wertvoller Wirkung sorgfältig auszuwählen und dann die gesamte Unterstützung bereitzustellen, die Sie benötigen, um dieses erste Datenprodukt zu einem Erfolg zu machen, der demonstriert und daraus gelernt werden kann.
Folge uns auf LinkedIn und Twitter
