Sind Mobilfunknetze bereit für den Streaming-Daten-Tsunami?
In unserem neuesten Beitrag erklärt Simon Crosby, CTO von SCHWIMMEN.KI, fragt, ob Mobilfunknetze für die bevorstehende Datenflut gerüstet sind, untersucht die Auswirkungen, die dies auf die Ereignisverarbeitung haben könnte, und wie man all diese Streaming-Daten in Echtzeit am besten handhabt
Ich wette, Sie denken, dass es in diesem Artikel um den Aufstieg von Netflix, YouTube, Disney+ usw. geht. Das ist es nicht. Sicher, mobile und terrestrische Netzwerke werden mit Videoverkehr überschwemmt, der von Jung und Alt gleichermaßen genutzt wird. Aber ich beziehe mich auf das Aufkommen von Streaming-Daten von der Edge – Daten von jedem erdenklichen Verbraucher- und Industrieprodukt.
Schätzungen zufolge kommen jedes Jahr über 20 Milliarden intelligente Geräte auf den Markt (das sind 2 Millionen pro Stunde), und sie alle haben etwas zu sagen. Viel zu sagen, und die ganze Zeit. Die Überschrift des Datenstroms in Das mobile Netzwerk von der Peripherie bis zu Netzbetreibern und mit dem Internet verbundenen Unternehmensanwendungen und SaaS-Anbietern wächst mit enormer Geschwindigkeit. In Wirklichkeit ist es also kein Strom, sondern ein Tsunami, der nicht enden wird.
Datenflut
Für Mobilfunkbetreiber ergeben sich aus dieser Datenflut zwei Chancen. Die erste besteht darin, Gerätedaten und Netzwerkstatusdaten zu verwenden, um Echtzeit-Einblicke in die Netzwerkleistung, die Leistung des Mobiltelefons, die Benutzererfahrung, Probleme mit dem Netzwerkverkehr und Ausfälle zu erhalten, um ein robusteres Netzwerk bereitzustellen und die Kundenzufriedenheit zu verbessern.
Die zweite besteht darin, ihre Position am Edge zu nutzen, um „Edge Cloud“-Dienste bereitzustellen, die dazu beitragen, die Datenflut zu zähmen, bevor sie Cloud-Dienstanbieter trifft. In diesem Szenario hosten Betreiber Edge-Cloud-Dienste auf Computern in der Nähe von Datenquellen. Die Gelegenheit war noch nie so groß wie mit der Einführung von 5G-Netzwerken – wo Betreiber Unternehmenskunden sichere, private Slices von Netzwerkkapazität mit Zugang zu Echtzeit-Edge-Computing-Funktionen mit geringer Latenzzeit anbieten können, was es ihnen ermöglicht, intelligente Städte, intelligente Netze, und maßgeschneiderte unternehmensorientierte Angebote. Auch Anbieter haben diese Möglichkeit erkannt: Ericsson „Edge Gravity“ ist ein Beispiel.
Um in diesen beiden Bereichen erfolgreich zu sein, müssen die Betreiber beide die Sprache der Cloud-nativen Messaging-Dienste fließend beherrschen, wie sie von AWS Kinesis, Azure Event Hubs & Enterprise Service Bus und Google Pub/Sub, Apache Kafka & Pulsar angeboten werden , Funke usw. und sich fließend mit Open-Source-Plattformen für Echtzeit-Stream-Analysen auskennen.
Einblicke liefern
Der Schlüssel zum Gewinnen von Erkenntnissen aus der Edge kann in der Unterstützung von Pub/Sub-Messaging liegen. Man kann argumentieren, dass Pub/Sub-Messaging sowohl für verbraucher- als auch für unternehmensorientierte Dienstanbieter ein neues „Freizeichen“ ist. Die Bereitstellung einer Plattform, die Unternehmen dabei hilft, Messaging von Edge-Geräten sicher zu skalieren, ist ein wichtiges Serviceangebot, und ebenso wichtig ist die Einführung von Cloud-nativen Softwarearchitekturen, die Betreiber beherrschen müssen, um Kundenservice zu bieten und den Zustand ihrer Netzwerke zu verstehen Echtzeit.
Pub/Sub-Messaging ermöglicht es einer unbekannten Anzahl von Herausgebern, asynchrone Nachrichten an Abonnenten zu liefern – das sind die Anwendungen, die sie verarbeiten –, ohne dass einer von ihnen die Identität des anderen kennen muss. Im Pub/Sub, Quellen veröffentlichen Veranstaltungen für ein Thema zum Makler die sie in der Reihenfolge ihres Eingangs speichert. Ein Anwendung abonniert zu einem oder mehreren Themen und dem Makler leitet übereinstimmende Ereignisse weiter.
WEITERLESEN: Den Big-Data-Thron beobachten
Apache Kafka & Pulsar und das NATS der Cloud Native Foundation sind Pub/Sub-Frameworks, die sich schnell zum De-facto-Standard für Messaging im Cloud-Zeitalter entwickeln. Pub/Sub wird von allen großen Clouds als Cloud-Service angeboten, daher könnte man sich fragen, ob Mobilfunkbetreiber in den Kampf einsteigen sollten oder nicht. Ich denke, es gibt ein paar Gründe für sie zu investieren:
- Erstens verfügen Mobilfunkbetreiber über Points of Presence, die näher am Netzwerkrand liegen und daher eine Infrastruktur bieten können, um Ereignisse zu verarbeiten und in Echtzeit zu reagieren.
- Zweitens wird Pub/Sub-Messaging eine Schlüsselkomponente einer zukünftigen Echtzeit-Betriebsplattform bei jedem Mobilfunkbetreiber sein
Für Anwendungsfälle in Verkehrsvorhersage, Routing und allen interaktiven Diensten ist die Reaktionszeit entscheidend. Durch die Verwendung von Echtzeit-Messaging an „Edge Cloud“-Anwendungsmikrodienste können Hunderte von Millisekunden an Ereignisverarbeitungszeit eingespart werden. Für ein Echtzeit-Stream-Verarbeitungs-Framework wie Apache Samza oder SwimOS ist das schnelle Erfassen von Ereignissen der Schlüssel zu Echtzeit-Analysen, Lernen und Vorhersagen, um Visualisierungen und automatisierte Reaktionen voranzutreiben.
Zweitens kann man das Abonnieren von Ereignissen bei einem Broker als Streaming-Äquivalent zum Datenbank-Ära „SELECT“ betrachten. App-Entwicklerteams können unabhängig voneinander Apps für verschiedene Veranstaltungsthemen abonnieren und schreiben. Alle Apps, von der Kundenbetreuung bis zur Vorhersage von Ausfällen in Netzwerkgeräten, sind machbar, wenn alle Ereignisse in Echtzeit gemeldet werden.
Streaming-Daten enthalten Ereignisse, bei denen es sich um Statusaktualisierungen von Anwendungen oder Infrastruktur handelt. Bei der Auswahl einer Anwendungsarchitektur zur Verarbeitung ist die Rolle eines Datenverteilungssystems wie Kafka oder Pulsar begrenzt. In Betracht ziehen:
- Daten sind oft verrauscht – Viele reale Systeme sind laut und repetitiv; Eine große Anzahl von Datenquellen summiert sich zu einer riesigen Datenmenge. Wenn Rohdaten als Stream von Pubs vom Rand geliefert werden, können die Transportkosten enorm sein.
- Staat zählt, nicht Daten – Streaming-Umgebungen hören nie auf, Daten zu produzieren – typischerweise Ereignisse aus der realen Welt –, aber die Analyse hängt davon ab Bedeutung dieser Ereignisse oder die Zustandsänderungen, die die Daten darstellen. Sogar die Deduplizierung sich wiederholender Aktualisierungen erfordert ein zustandsbehaftetes Verarbeitungsmodell. Das bedeutet, dass der Stream-Prozessor den Zustand jedes Objekts im Datenstrom verwalten muss.
Wie schreiben Unternehmen also Apps, die Pub/Sub-Ereignisse nutzen? Smart-Service-Anbieter werden Anwendungs-Frameworks unterstützen, die die Anwendungsbereitstellung erheblich vereinfachen. Sie werden diese Fähigkeiten intern benötigen, ob sie sie also als Servicefähigkeiten anbieten oder nicht, hängt stark von ihrem Appetit auf den Wettbewerb mit den großen Cloud-Anbietern ab.
Jetzt für die Stream-Verarbeitung
Die Kategorie einer Softwareplattform, mit der Entwickler schnell eine Anwendung erstellen, bereitstellen, skalieren und verwalten können, die Daten von der Peripherie nutzt, wird als „Stream-Verarbeitung“ bezeichnet.
Stream-Prozessoren sind Anwendungslaufzeitplattformen, die Anwendungen unterstützen, die Ereignisse von Brokern, der realen Welt und sogar Änderungsprotokolle für Datenbanksysteme verarbeiten, diese dann verarbeiten und Echtzeit-Einblicke für Benutzer und andere Anwendungen liefern.
Die Stream-Verarbeitung kann sowohl die einfachsten als auch die komplexesten Arten von Analysen umfassen. Im einfachsten Fall nimmt Streaming „Transform and Load“ (STL) – das Streaming-Äquivalent zu „Extract, Transform and Load“ aus der „Store-then-Analyze“-Ära – einfach Ereignisse, transformiert und beschriftet sie und liefert sie an Cloud-Daten Lake wie Azure Data Lake Service (ADLS). Dies ist nicht unbedingt sogar zustandsbehaftet.
„Organisationen müssen nach Lösungen suchen, von Drittanbietern oder von Dienstanbietern bereitgestellt, die Stream-zentriertes, unbeaufsichtigtes Lernen und Vorhersagen unterstützen, die die Komplexität des Modelltrainings und der Bereitstellung in der Cloud vermeiden.“
Am anderen Ende des Spektrums steuern Stream-Prozessoren komplexe Analyseprozesse, einschließlich Echtzeitanalyse, Akkumulation, Lernen und Vorhersage. Einige analytische Frameworks verwenden Apache Spark oder Flink. Andererseits bieten führende Stream-Prozessoren einen leistungsstarken Satz analytischer Funktionen „in der Box“, können aber auch verwendet werden, um komplexere Analysen mit anderen Frameworks wie Spark voranzutreiben.
Unternehmen müssen nach Lösungen von Drittanbietern oder von Dienstanbietern suchen, die Stream-zentriertes, nicht überwachtes Lernen und Vorhersagen unterstützen, wodurch die Komplexität des Modelltrainings und der Bereitstellung in der Cloud vermieden wird. Durch den Einsatz dieser Technologie können Dienstleister und Unternehmen in allen Branchen wichtige Erkenntnisse gewinnen, die Zeit und Kosten sparen und einen weitaus besseren Kundenservice bieten können.
