Les données streamning sont stockées dans des plateformes d'event streaming (comme Apache Kafka), et ces systèmes sont essentiellement des journaux distribués immuables. Les données d'événements sont publiées et consommées à partir de plateformes d'event streaming à l'aide d'API.

Les développeurs doivent utiliser un stream processor pour effectuer des traitements plus avancés, tels que les agrégations avec état, les opérations sur les fenêtres, les mutations et la création de vues matérialisées. Ces opérations sont similaires à celles effectuées lors de l'exécution de requêtes sur une base de données, sauf que le traitement en continu interroge en permanence un flux infini de données. Ce domaine de la diffusion en continu est plus récent ; cependant, des technologies telles que Apache Flink et Spark Streaming gagnent rapidement du terrain.

Avec Atlas Stream Processing, MongoDB offre aux développeurs un meilleur moyen de traiter les flux à utiliser dans leurs applications, en tirant parti du framework d'agrégation.

Le stream processing est un processus continu. Dans le cadre de la création d'applications axées sur les événements, il offre des fonctionnalités réactives et attrayantes telles que les notifications en temps réel, la personnalisation, la planification du routage et la maintenance prédictive.

Veuillez noter que le batch processing ne fonctionne pas sur les données générées en continu. Il collecte des données sur une période précise, puis traite ces données statiques si besoin. Il peut s'agir par exemple d'une entreprise de vente au détail qui collecte quotidiennement les données relatives aux ventes à la fin de la journée à des fins de reporting et/ou de mise à jour des niveaux de stock.