ATLAS
Atlas Stream Processing
Simplifique la integración de MongoDB con Apache Kafka para crear aplicaciones basadas en eventos.
.svg)
Un modelo de datos creado para la transmisión de datos
La administración de esquemas es fundamental para la corrección de datos y la productividad de los desarrolladores cuando se trabaja con datos de streaming. El modelo de documento ofrece a los desarrolladores un modelo de datos flexible y natural para crear aplicaciones con datos en tiempo real.
Una experiencia de desarrollador unificada
Los desarrolladores pueden usar una plataforma, a través de la API, el lenguaje de consulta y el modelo de datos, para procesar continuamente los datos de transmisión de Apache Kafka junto con los datos críticos de la aplicación almacenados en sus bases de datos.
Totalmente gestionado en Atlas
Con unas pocas líneas de código, los desarrolladores pueden integrar rápidamente los datos de streaming de Apache Kafka con su base de datos para crear aplicaciones reactivas y con capacidad de respuesta, todo ello totalmente gestionado con Atlas.
Integración con flujos de datos de Apache Kafka
Realizar análisis continuos mediante funciones de ventana
Validar el esquema en eventos complejos
EVP de Ingeniería, Acoustic
EVP de Ingeniería, Acoustic
Ingeniero de Software, Meltwater
Centro de aprendizaje
Encuentre notas del producto, tutoriales y vídeos sobre cómo gestionar los datos de streaming.Preguntas frecuentes
Los datos de streaming se generan continuamente a partir de una amplia gama de fuentes. Los sensores, microservices y dispositivos móviles de IoT son fuentes comunes de transmisión de gran volumen. La naturaleza continua de los datos de streaming, así como su inmutabilidad, los hacen únicos a partir de datos estáticos en reposo en una base de datos.
El procesamiento de transmisión consiste en ingerir y transformar continuamente datos de eventos desde una plataforma de mensajería de eventos (como Apache Kafka) para realizar diversas funciones. Esto podría significar crear filtros simples para eliminar datos innecesarios, realizar agregaciones para contar o sumar datos según sea necesario, crear Windows con estado y más. El procesamiento de transmisión puede ser una característica diferenciadora en aplicaciones basadas en eventos, permitiendo una experiencia del cliente más reactiva y responsiva.
Los datos de transmisión se encuentran dentro de plataformas de transmisión de eventos (como Apache Kafka), y estos sistemas son esencialmente un registro distributed inmutable. Los datos de eventos se publican y consumen desde plataformas de transmisión de eventos mediante API.
Los desarrolladores necesitan usar un procesador de flujo para realizar un procesamiento más avanzado, como agregaciones con estado, operaciones de ventana, mutaciones y creación de vistas materializadas. Son similares a las operaciones que se realizan cuando se ejecutan consultas en una base de datos, excepto que el procesamiento de flujos consulta continuamente un flujo interminable de datos. Esta área del streaming es una tecnología emergente, con soluciones como Apache Flink y Spark Streaming ganando terreno rápidamente.
Con Atlas Stream Processing, MongoDB proporciona a los desarrolladores una mejor manera de procesar flujos para su uso en sus aplicaciones mientras aprovechan el marco de agregación.
El procesamiento de flujos es un componente cada vez más crítico para la creación de aplicaciones con capacidad de respuesta y basadas en eventos. Al agregar la funcionalidad de procesamiento de flujos como una capacidad nativa en MongoDB Atlas, estamos ayudando a más desarrolladores a crear aplicaciones innovadoras aprovechando nuestra plataforma de datos para desarrolladores de múltiples nubes.
El procesamiento de flujos se produce de forma continua. En el contexto de la creación de aplicaciones basadas en eventos, el procesamiento de flujos permite experiencias reactivas y atractivas como notificaciones en tiempo real, personalización, planificación de rutas y mantenimiento predictivo.
El procesamiento por lotes no funciona en datos producidos continuamente. En su lugar, el procesamiento por lotes funciona mediante la recopilación de datos durante un período de tiempo específico y, a continuación, el procesamiento de esos datos estáticos según sea necesario. Un ejemplo de procesamiento por lotes es una empresa minorista que recopila ventas al cierre de las operaciones cada día con fines de informes o actualización de los niveles de inventario.
Atlas Stream Processing amplía la canalización de agregación con etapas para el procesamiento de flujos de datos continuos. Estas etapas se combinan con las etapas de agregación existentes integradas en el proceso mongod predeterminado, lo que permite a los desarrolladores realizar muchas de las mismas operaciones en datos continuos que pueden realizar en datos en reposo.
Sí. Atlas Stream Processing utiliza documentos de punto de control para capturar el estado de un procesador de flujo una vez que se completa el último operador de un procesador de flujo. Esta es una capacidad importante para reiniciar un procesador después de un error, sin requerir un reprocesamiento significativo de los datos.
Atlas Stream Processing admite el operador $validate en la API de consulta de MongoDB. Con este operador, los desarrolladores pueden asegurarse de que los valores y tipos de datos se ajusten a un esquema, opcionalmente enrutando los datos a una cola de mensajes fallidos (DLQ) cuando no cumplan los criterios de validación.
¿Listo para empezar?
- Integre fácilmente Kafka y MongoDB
- Procesar datos de forma continua
- Experiencia nativa de MongoDB
- Disponible en todo el mundo