Conector MongoDB para Spark 10.2
La versión del conector 10.2 incluye las siguientes nuevas funcionalidades:
Se agregó el
ignoreNullValuesPropiedad write-configuration, que permite controlar si el conector ignora valores nulos. En versiones anteriores, el conector siempre escribía valoresnullen MongoDB.Se añadieron opciones para la propiedad
convertJsonde configuración de guardar.Se agregó la propiedad de configuración de lectura
change.stream.micro.batch.max.partition.count, que le permite dividir microlotes en múltiples particiones para procesamiento paralelo.Se mejoró la inferencia del esquema de flujo de cambios al utilizar la propiedad de configuración de lectura
change.stream.publish.full.document.only.Se agregó la propiedad de configuración de lectura
change.stream.startup.mode, que especifica cómo el conector procesa los eventos de cambio cuando no hay ningún desplazamiento disponible.Soporte para agregar un comentario a operaciones.
Conector MongoDB para Spark 10.1.1
Se corrigió un error en el cual las agregaciones que incluían la etapa de canalización
$collStatsno devolvían un campo de conteo para las colecciones de series de tiempo.
Conector MongoDB para Spark 10.1.0
Soporte para Scala 2.13.
Soporte para el modo por micro-lotes con Spark Structured transmisión.
Soporte para tipos de datos BSON.
Soporte mejorado del particionador para colecciones vacías.
Opción para deshabilitar la inserción automática en operaciones de escritura.
Inferencia de esquema mejorada para matrices vacías.
Soporte para valores nulos en arreglos y listas. El Conector ahora guarda estos valores en MongoDB en lugar de lanzar una excepción.
Consulte esta publicación en el blog de MongoDB para obtener más información.
Conector MongoDB para Spark 10.0.0
Soporte para transmisión estructurada Spark.