ATLAS
Atlas Stream Processing
Simplifiez l’intégration de MongoDB avec Apache Kafka pour créer des applications pilotées par événements.
Un modèle de données conçu pour les données de flux
La gestion des schémas est essentielle à l’exactitude des données et à la productivité des développeurs lorsqu’on travaille avec des données de flux. Le document model offre aux développeurs un modèle de données flexible et naturel pour développer des applications avec des données en temps réel.
Une expérience de développeur unifiée
Les développeurs peuvent utiliser une plateforme unique (API, langage de requête et modèle de données) pour traiter en continu les données de flux d’Apache Kafka parallèlement aux données d’application critiques stockées dans leurs bases de données.
Entièrement géré dans l'Atlas
En quelques lignes de code, les développeurs peuvent rapidement intégrer les données de flux d’Apache Kafka à leur base de données pour créer des applications réactives et dynamiques, toutes entièrement gérées par Atlas.
Intégrer avec les flux de données Apache Kafka
Effectuez des analyses continues à l’aide des fonctions de fenêtrage
Valider le schéma des événements complexes
Vice-président exécutif de l'ingénierie chez Acoustic
Vice-président exécutif de l'ingénierie chez Acoustic
Ingénieur logiciel, Meltwater
Centre d’apprentissage
Trouvez des livres blancs, des tutoriels et des vidéos sur la manière de traiter des flux de données.FAQ
Les données de streaming sont continuellement générées à partir d'un large éventail de sources. Les capteurs IoT, les microservices et les appareils mobiles sont tous des sources courantes de flux de données à haut volume. La nature continue des données de streaming et leur immuabilité les distinguent des données statiques au repos dans une base de données.
Le stream processing consiste à ingérer et à transformer en continu des données d'événements à partir d'une plateforme d'événements (comme Apache Kafka) afin d'exécuter diverses fonctions. Il peut s'agir de MEAN, de créer des filtres simples pour supprimer les données inutiles, d'effectuer des agrégations pour compter ou additionner les données selon les besoins, de créer Windows, et bien d'autres choses encore. Le stream processing peut être une caractéristique différenciatrice dans les applications event-driven, permettant une expérience client plus réactive et plus sensible.
Les données streamning sont stockées dans des plateformes d'event streaming (comme Apache Kafka), et ces systèmes sont essentiellement des journaux distribués immuables. Les données d'événements sont publiées et consommées à partir de plateformes d'event streaming à l'aide d'API.
Les développeurs doivent utiliser un processeur de flux pour effectuer des traitements plus avancés, tels que les agrégations avec état, les opérations sur les fenêtres, les mutations et la création de vues matérialisées. Ces opérations sont similaires à celles effectuées lors de l’exécution de requêtes sur une base de données, sauf que le traitement en continu interroge en permanence un flux infini de données. Ce domaine du streaming de données est une technologie émergente avec des solutions telles qu’Apache Flink et Spark Streaming qui gagnent rapidement du terrain.
Avec Atlas Stream Processing, MongoDB offre aux développeurs un moyen plus performant de traiter les flux pour les utiliser dans leurs applications tout en tirant parti du framework d’agrégation.
Le traitement par flux est un composant de plus en plus critique pour la création d’applications réactives et pilotées par les événements. En ajoutant la fonctionnalité de traitement par flux en tant que capacité native dans MongoDB Atlas, nous aidons davantage de professionnels à créer des applications innovantes en tirant parti de notre plateforme de données multicloud pour les développeurs.
Le traitement par flux s’effectue en continu. Dans le cadre de la création d’applications axées sur les événements, le traitement par flux permet des expériences réactives et attrayantes telles que les notifications en temps réel, la personnalisation, la planification de routes et la maintenance prédictive.
Le traitement par lot n’est pas adapté aux données produites en continu. En effet, le traitement par lot procède par collecte des données sur une période spécifiée, puis traite ces données statiques selon les besoins. Tel est le cas, par exemple, d’une entreprise de vente au détail qui enregistre les ventes en fin de journée à des fins de reporting ou de mise à jour des niveaux de stock.
MongoDB Atlas Stream Processing étend le pipeline d’agrégation avec des étapes pour traiter les flux de données continus. Ces étapes se combinent avec les étapes d’agrégation existantes intégrées au processus mongod par défaut, permettant aux développeurs d’effectuer de nombreuses opérations identiques sur les données continues comme sur les données au repos.
Oui. MongoDB Atlas Stream Processing utilise des documents de point de contrôle pour capturer l’état d’un processeur de flux une fois que le dernier opérateur d’un processeur de flux a terminé. C’est une fonctionnalité essentielle pour redémarrer un processeur après une défaillance, sans nécessiter de retraitement important des données.
Atlas Stream Processing prend en charge l’opérateur $validate dans l’API de requête MongoDB. En utilisant cet opérateur, les développeurs peuvent garantir que les valeurs et types de données respectent un schéma, en acheminant éventuellement les données vers une file d’attente de lettres mortes (DLQ) lorsqu’elles ne satisfont pas aux critères de validation.
Prêt à vous lancer ?
- Intégrez facilement Kafka et MongoDB
- Traitez les données de manière continue
- Expérience MongoDB native
- Disponible dans le monde entier