Notas de versión

MongoDB Connector for Spark 10.6

La versión del conector 10.6 incluye los siguientes cambios y nuevas funcionalidades:

• Añade soporte para el/la fullDocumentBeforeChange opción en las configuraciones de lectura de flujo de cambios, que te permite especificar si deseas incluir el documento completo antes del evento de cambio en la salida del flujo de cambios. Para obtener más información sobre esta opción, consulte la Sección Cambiar configuración de flujo de la guía de Opciones de configuración de lectura de transmisión.

• Agrega la opción de configuración de guardado truncateMode, que especifica cómo truncar una colección al realizar una sobrescritura. Para obtener más información sobre esta opción, consulta la sección Visión general de la guía Opciones de configuración de escritura en transmisión.

• Agrega la opción de configuración de guardar ignoreDuplicatesOnInsert, que determina si se ignoran errores de claves duplicadas al realizar operaciones de inserción desordenadas. Puedes utilizar esta opción tanto en configuraciones de guardado por agrupar como por transmisión. Para obtener más información sobre esta opción, consulta las guías Opciones de configuración de guardados agrupados y Opciones de configuración de guardado en transmisión.

MongoDB Connector for Spark 10.5

La versión del conector 10.5 incluye los siguientes cambios y nuevas funcionalidades:

• Añade soporte para utilizar Atlas Data Federation con el Spark Connector en las configuraciones de lectura por lotes SamplePartitioner, PaginateBySizePartitioner y AutoBucketPartitioner.

  Para obtener más información sobre la configuración por lotes, consulta la página Opciones de configuración de lectura por lotes.

• Cambia la configuración por defecto del particionador de lectura por lotes a AutoBucketPartitioner

MongoDB Connector for Spark 10.4

La versión del conector 10.4 incluye los siguientes cambios y nuevas funcionalidades:

• Actualiza la versión de Java Sync Driver a la v5.1.x.

MongoDB Connector for Spark 10.3

El lanzamiento del conector 10.3 incluye las siguientes nuevas funcionalidades:

• Añadido soporte para Spark v3.3, v3.4 y v3.5.

• Se añadió soporte para la lectura de múltiples colecciones al utilizar modos de micro-lotes o transmisión continua.

  Advertencia

  cambio disruptivo

  El soporte para la lectura de múltiples colecciones introduce los siguientes cambios disruptivos:

  • Si el nombre de una colección utilizada en tu opción de configuración collection contiene una coma, Spark Connector la trata como dos colecciones diferentes. Para evitar esto, se debe escapar la coma precediéndola con una barra invertida (\).

  • Si el nombre de una colección utilizada en tu opción de configuración de collection es “*”, el Spark Connector lo interpreta como una especificación para escanear todas las colecciones. Para evitar esto, debe escapar el asterisco anteponiéndole una barra invertida (\).

  • Si el nombre de una colección utilizada en tu opción de configuración collection contiene una barra invertida (\), el Spark Connector trata la barra invertida como un carácter de escape, lo que puede cambiar la forma en que interpreta el valor. Para evitar esto, se debe escapar la barra invertida anteponiéndole otra barra invertida.

  Para aprender más sobre el escaneo de varias colecciones, consulta la descripción de la propiedad de configuración de la colección.

MongoDB Connector for Spark 10.2

La versión del conector 10.2 incluye las siguientes nuevas funcionalidades:

• Se agregó la propiedad de configuración de guardar ignoreNullValues, que permite controlar si el conector ignora los valores nulos. En versiones anteriores, el conector siempre guardaba valores null en MongoDB.

• Se añadieron opciones para la propiedad convertJson de configuración de guardar.

• Se agregó la propiedad de configuración de lectura change.stream.micro.batch.max.partition.count, la cual permite dividir los micro lotes en múltiples particiones para procesamiento paralelo.

• Se mejoró la inferencia del esquema del flujo de cambios cuando se utiliza la propiedad de configuración de lectura change.stream.publish.full.document.only.

• Se añadió la propiedad de configuración de lectura change.stream.startup.mode, que especifica cómo el conector procesa los eventos de cambio cuando no hay un offset disponible.

• Soporte para agregar un comentario a operaciones.

MongoDB Connector for Spark 10.1.1

• Se corrigió un error en el cual las agregaciones que incluían la etapa de pipeline $collStats no devolvían un campo de conteo para colecciones de series temporales.

MongoDB Connector for Spark 10.1.0

• Soporte para Scala 2.13.

• Soporte para el modo por micro-lotes con Spark Structured transmisión.

• Compatibilidad con tipos de datos BSON.

• Soporte mejorado del particionador para colecciones vacías.

• Opción para desactivar la inserción automática en las operaciones de guardar.

• Mejor inferencia de esquema para arreglos vacíos.

• Soporte para valores nulos en arreglos y listas. El Conector ahora guarda estos valores en MongoDB en lugar de lanzar una excepción.

Consulta esta publicación en el blog de MongoDB para obtener más información.

MongoDB Connector for Spark 10.0.0

• Compatibilidad con Spark Structured transmisión.