Notas de versión

Conector MongoDB para Spark 10.6

La versión del conector 10.6 incluye los siguientes cambios y nuevas características:

• Añade soporte para el fullDocumentBeforeChange Opción en las configuraciones de lectura del flujo de cambios, que permite especificar si se incluye el documento completo antes del evento de cambio en la salida del flujo de cambios. Para obtener más información sobre esta opción, consulte Sección Cambiar configuración de transmisión de la guía Opciones de configuración de lectura de transmisión.

• Añade la truncateMode opción de configuración de escritura, que especifica cómo truncar una colección al sobrescribirla. Para obtener más información sobre esta opción, consulte la sección "Información general" de la guía "Opciones de configuración de escritura en streaming".

• Agrega la opción de configuración de guardar ignoreDuplicatesOnInsert, que determina si se ignoran errores de claves duplicadas al realizar operaciones de inserción desordenadas. Puedes utilizar esta opción tanto en configuraciones de guardado por agrupar como por transmisión. Para obtener más información sobre esta opción, consulta las guías Opciones de configuración de guardados agrupados y Opciones de configuración de guardado en transmisión.

Conector MongoDB para Spark 10.5

La versión del conector 10.5 incluye los siguientes cambios y nuevas características:

• Agrega soporte para usar Atlas Data Federation con Spark Connector en las SamplePartitioner PaginateBySizePartitioner AutoBucketPartitioner configuraciones de lectura por lotes, y.

  Para obtener más información sobre la configuración por lotes, consulte la página Opciones de configuración de lectura por lotes.

• Cambia la configuración predeterminada del particionador de lectura por lotes a AutoBucketPartitioner

Conector MongoDB para Spark 10.4

La versión del conector 10.4 incluye los siguientes cambios y nuevas características:

• Actualiza la versión del controlador de sincronización de Java a v5.1.x.

Conector MongoDB para Spark 10.3

El lanzamiento del conector 10.3 incluye las siguientes nuevas funcionalidades:

• Añadido soporte para Spark v3.3, v3.4 y v3.5.

• Se agregó soporte para leer múltiples colecciones cuando se utilizan modos de transmisión continua o de microlotes.

  Advertencia

  Cambio decisivo

  El soporte para la lectura de múltiples colecciones introduce los siguientes cambios disruptivos:

  • Si el nombre de una colección utilizada en la opción de configuración collection contiene una coma, el Conector Spark la trata como dos colecciones diferentes. Para evitarlo, debe escapar la coma precediéndola de una barra invertida (\).

  • Si el nombre de una colección utilizada en la opción de configuración collection es "*", el Conector Spark lo interpreta como una especificación para escanear todas las colecciones. Para evitar esto, debe evitar el asterisco precediéndolo con una barra invertida (\).

  • Si el nombre de una colección utilizada en tu opción de configuración collection contiene una barra invertida (\), el Spark Connector trata la barra invertida como un carácter de escape, lo que puede cambiar la forma en que interpreta el valor. Para evitar esto, se debe escapar la barra invertida anteponiéndole otra barra invertida.

  Para obtener más información sobre cómo escanear varias colecciones, consulte la descripción de la propiedad de configuración de la colección.

Conector MongoDB para Spark 10.2

La versión del conector 10.2 incluye las siguientes nuevas funcionalidades:

• Se agregó la propiedad de configuración de escritura ignoreNullValues, que permite controlar si el conector ignora los valores nulos. En versiones anteriores, el conector siempre escribía valores null en MongoDB.

• Se añadieron opciones para la propiedad convertJson de configuración de guardar.

• Se agregó la propiedad de configuración de lectura change.stream.micro.batch.max.partition.count, que le permite dividir microlotes en múltiples particiones para procesamiento paralelo.

• Se mejoró la inferencia del esquema de flujo de cambios al utilizar la propiedad de configuración de lectura change.stream.publish.full.document.only.

• Se añadió la propiedad de configuración de lectura change.stream.startup.mode, que especifica cómo el conector procesa los eventos de cambio cuando no hay un offset disponible.

• Soporte para agregar un comentario a operaciones.

MongoDB Connector for Spark 10.1.1

• Se corrigió un error en el cual las agregaciones que incluían la etapa de canalización $collStats no devolvían un campo de conteo para las colecciones de series de tiempo.

MongoDB Connector for Spark 10.1.0

• Soporte para Scala 2.13.

• Soporte para el modo por micro-lotes con Spark Structured transmisión.

• Soporte para tipos de datos BSON.

• Soporte mejorado del particionador para colecciones vacías.

• Opción para desactivar la inserción automática en las operaciones de guardar.

• Mejor inferencia de esquema para arreglos vacíos.

• Soporte para valores nulos en arreglos y listas. El Conector ahora guarda estos valores en MongoDB en lugar de lanzar una excepción.

Consulta esta publicación en el blog de MongoDB para obtener más información.

MongoDB Connector for Spark 10.0.0

• Soporte para transmisión estructurada Spark.