ATLAS
Atlas Stream Processing
Vereinfachen Sie die Integration von MongoDB mit Apache Kafka, um ereignisgesteuerte Anwendungen zu entwickeln.
.svg)
Ein Datenmodell, das für Streaming-Daten entwickelt wurde
Die Schemaverwaltung ist entscheidend für die Datenkorrektheit und die Produktivität der Entwickler bei der Arbeit mit Streaming-Daten. Das Dokumentmodell bietet Entwicklern ein flexibles und natürliches Datenmodell zum Erstellen von Apps mit Echtzeitdaten.
Einheitliches Entwicklererlebnis
Entwickler können eine Plattform – über API, Abfragesprache und Datenmodell hinweg – nutzen, um kontinuierlich Streaming-Daten aus Apache Kafka zusammen mit den in ihren Datenbanken gespeicherten kritischen Anwendungsdaten zu verarbeiten.
vollständig verwaltet in Atlas
Mit wenigen Codezeilen können Entwickler Streaming-Daten von Apache Kafka schnell in ihre Datenbank integrieren, um reaktive und reaktionsfähige Anwendungen zu erstellen – alles vollständig verwaltet durch Atlas.
Mit Apache Kafka-Datenströmen integrieren
Kontinuierliche Analysen mit Window Functions durchführen
Schema bei komplexen Ereignissen validieren
EVP of Engineering, Acoustic
EVP of Engineering, Acoustic
Softwareentwickler, Meltwater
Learning Hub
Finden Sie Whitepapers, Tutorials und Videos zum Umgang mit Streaming-Daten.FAQ
Was sind Streaming-Daten?
Streaming-Daten werden kontinuierlich aus unterschiedlichsten Quellen generiert. IoT-Sensoren, Microservices und mobile Geräte sind allesamt gängige Quellen für große Datenströme. Da Streaming-Daten kontinuierlich eingehen und unveränderlich sind, unterscheiden sie sich von statischen, ruhenden Daten einer Datenbank.
Was ist Stream-Verarbeitung?
Bei der Stream-Verarbeitung werden kontinuierlich Ereignisdaten von einer Ereignis-Messaging-Plattform (wie Apache Kafka) erfasst und umgewandelt, um verschiedene Funktionen auszuführen. Dies könnte MEAN einfache Filter zu erstellen, um nicht benötigte Daten zu entfernen, Aggregationen durchzuführen, um Daten nach Bedarf zu zählen oder zu summieren, zustandsbehaftete Windows zu erstellen und vieles mehr. Die Stream-Verarbeitung kann ein Unterscheidungsmerkmal in ereignisgesteuerten Anwendungen sein und eine reaktivere, reaktionsfähigere Kundenerfahrung ermöglichen.
Wie unterscheidet sich Event-Streaming von der Stream-Verarbeitung?
Streaming-Daten befinden sich innerhalb von Ereignis-Streaming-Plattformen (wie Apache Kafka) und diese Systeme sind im Wesentlichen ein unveränderlich verteiltes Protokoll. Ereignisdaten werden mithilfe von API von Ereignis-Streaming-Plattformen veröffentlicht und genutzt.
Entwickler benötigen für fortschrittlichere Verarbeitungsvorgänge einen Streaming-Prozessor, z. B. für zustandsorientierte Aggregationen, Window Operations, Mutationen und die Erstellung materialisierter Ansichten. Diese ähneln den Vorgängen, die bei Abfragen in einer Datenbank ausgeführt werden, mit der Ausnahme, dass die Stream-Verarbeitung einen endlosen Datenstrom kontinuierlich abfragt. Dieser Bereich des Streamings ist eine aufstrebende Technologie, wobei Lösungen wie Apache Flink und Spark Streaming schnell an Bedeutung gewinnen.
Mit Atlas Stream Processing bietet MongoDB Entwicklern eine bessere Möglichkeit, Streams für die Nutzung in ihren Anwendungen zu verarbeiten, während sie das Aggregationsframework nutzen.
Warum hat MongoDB Atlas Stream Processing entwickelt?
Für reaktionsfähige, ereignisgesteuerte Anwendungen wird die Stream-Verarbeitung immer wichtiger. Durch die Hinzufügung von Stream-Verarbeitungsfunktionen als native Fähigkeit in MongoDB Atlas unterstützen wir mehr Entwickler dabei, innovative Anwendungen zu erstellen, die unsere Multi-Cloud-Entwicklerdatenplattform nutzen.
Wie unterscheidet sich die Stream-Verarbeitung von der Batch-Verarbeitung?
Die Stream-Verarbeitung erfolgt kontinuierlich. Im Zusammenhang mit der Entwicklung ereignisgesteuerter Anwendungen ermöglicht die Stream-Verarbeitung reaktive und überzeugende Abläufe wie Echtzeit-Benachrichtigungen sowie die Personalisierung, Routenplanung oder vorausschauende Wartung.
Die Batch-Verarbeitung ist nicht auf kontinuierlich produzierte Daten anwendbar. Bei der Batch-Verarbeitung werden stattdessen Daten über einen bestimmten Zeitraum erhoben und dann nach Bedarf verarbeitet. Ein Beispiel für die Batch-Verarbeitung ist ein Einzelhandelsunternehmen, das jeden Tag zum Geschäftsschluss Verkäufe zu Berichtszwecken oder zur Aktualisierung der Lagerbestände erfasst.
Was ist der Unterschied zwischen einer Stream-Verarbeitungspipeline und einer Aggregationspipeline?
Atlas Stream Processing erweitert die Aggregationspipeline um Phasen zur Verarbeitung kontinuierlicher Datenströme. Diese Phasen werden mit vorhandenen, in den Standardprozess von MongoDB integrierten Aggregationsphasen kombiniert. Dadurch können Entwickler viele der gleichen Vorgänge mit kontinuierlichen Daten durchführen, die sie auch mit Daten bei der Speicherung durchführen können.
Unterstützt Atlas Stream Processing das Checkpointing?
Ja. Atlas Stream Processing verwendet Checkpoint-Dokumente, um den Zustand eines Stream-Prozessors zu erfassen, sobald der letzte Operator eines Stream-Prozessors abgeschlossen ist. Dies ist eine wichtige Fähigkeit, um einen Prozessor nach einem Ausfall neu zu starten, ohne dass eine erhebliche erneute Verarbeitung von Daten erforderlich ist.
Wie unterstützt Atlas Stream Processing bei der Bewältigung von Datenfehlern während der Stream-Verarbeitung?
Atlas Stream Processing unterstützt den $validate Operator in der MongoDB Query API. Mit diesem Operator können Entwickler sicherstellen, dass Datenwerte und -typen einem Schema entsprechen. Optional können Daten an eine Dead Letter Queue (DLQ) weitergeleitet werden, wenn sie die Validierungskriterien nicht erfüllen.
Sind Sie bereit, einzusteigen?
- Einfache Integration von Kafka und MongoDB
- Daten kontinuierlich verarbeiten.
- Erfahrung mit nativer MongoDB
- Global verfügbar