Notas de versión

Conector MongoDB para Spark 11.0

La 11.0 versión del conector añade compatibilidad con Spark 4.0 y versiones posteriores. Spark 4.0 requiere Scala.2.13 Para obtener más información sobre Spark,4.0 consulte la documentación de Spark.

Conector MongoDB para Spark 10.6

La versión del conector 10.6 incluye los siguientes cambios y nuevas características:

• Añade soporte para el fullDocumentBeforeChange Opción en las configuraciones de lectura del flujo de cambios, que permite especificar si se incluye el documento completo antes del evento de cambio en la salida del flujo de cambios. Para obtener más información sobre esta opción, consulte Sección Cambiar configuración de transmisión de la guía Opciones de configuración de lectura de transmisión.

• Añade la truncateMode opción de configuración de escritura, que especifica cómo truncar una colección al sobrescribir. Para obtener más información sobre esta opción, consulte la guía "Opciones de configuración de escritura en streaming" o "Opciones de configuración de escritura por lotes" correspondiente a su modo.

• Agrega la opción de configuración de guardar ignoreDuplicatesOnInsert, que determina si se ignoran errores de claves duplicadas al realizar operaciones de inserción desordenadas. Puedes utilizar esta opción tanto en configuraciones de guardado por agrupar como por transmisión. Para obtener más información sobre esta opción, consulta las guías Opciones de configuración de guardados agrupados y Opciones de configuración de guardado en transmisión.

Conector MongoDB para Spark 10.5

La versión del conector 10.5 incluye los siguientes cambios y nuevas características:

• Agrega soporte para usar Atlas Data Federation con Spark Connector en las SamplePartitioner PaginateBySizePartitioner AutoBucketPartitioner configuraciones de lectura por lotes, y.

  Para obtener más información sobre la configuración por lotes, consulte la página Opciones de configuración de lectura por lotes.

• Cambia la configuración predeterminada del particionador de lectura por lotes a AutoBucketPartitioner

Conector MongoDB para Spark 10.4

La versión del conector 10.4 incluye los siguientes cambios y nuevas características:

• Actualiza la versión del controlador de sincronización de Java a v5.1.x.

Conector MongoDB para Spark 10.3

La versión del conector 10.3 incluye las siguientes nuevas funcionalidades:

• Se agregó soporte para Spark v3.3, v3.4 y v3.5.

• Se agregó soporte para leer múltiples colecciones cuando se utilizan modos de transmisión continua o de microlotes.

  Advertencia

  Cambio decisivo

  El soporte para la lectura de múltiples colecciones introduce los siguientes cambios disruptivos:

  • Si el nombre de una colección utilizada en la opción de configuración collection contiene una coma, el Conector Spark la trata como dos colecciones diferentes. Para evitarlo, debe escapar la coma precediéndola de una barra invertida (\).

  • Si el nombre de una colección utilizada en la opción de configuración collection es "*", el Conector Spark lo interpreta como una especificación para escanear todas las colecciones. Para evitar esto, debe evitar el asterisco precediéndolo con una barra invertida (\).

  • Si el nombre de una colección utilizada en la opción de configuración collection contiene una barra invertida (\), el Conector Spark la trata como un carácter de escape, lo que podría cambiar la interpretación del valor. Para evitarlo, debe preceder la barra invertida con otra barra invertida.

  Para obtener más información sobre cómo escanear varias colecciones, consulte la descripción de la propiedad de configuración de la colección.

Conector MongoDB para Spark 10.2

La versión del conector 10.2 incluye las siguientes nuevas funcionalidades:

• Se agregó la propiedad de configuración de escritura ignoreNullValues, que permite controlar si el conector ignora los valores nulos. En versiones anteriores, el conector siempre escribía valores null en MongoDB.

• Se añadieron opciones para la propiedad convertJson de configuración de guardar.

• Se agregó la propiedad de configuración de lectura change.stream.micro.batch.max.partition.count, que le permite dividir microlotes en múltiples particiones para procesamiento paralelo.

• Se mejoró la inferencia del esquema de flujo de cambios al utilizar la propiedad de configuración de lectura change.stream.publish.full.document.only.

• Se agregó la propiedad de configuración de lectura change.stream.startup.mode, que especifica cómo el conector procesa los eventos de cambio cuando no hay ningún desplazamiento disponible.

• Soporte para agregar un comentario a operaciones.

Conector MongoDB para Spark 10.1.1

• Se corrigió un error en el cual las agregaciones que incluían la etapa de canalización $collStats no devolvían un campo de conteo para las colecciones de series de tiempo.

Conector MongoDB para Spark 10.1.0

• Soporte para Scala 2.13.

• Soporte para el modo por micro-lotes con Spark Structured transmisión.

• Soporte para tipos de datos BSON.

• Soporte mejorado del particionador para colecciones vacías.

• Opción para deshabilitar la inserción automática en operaciones de escritura.

• Inferencia de esquema mejorada para matrices vacías.

• Soporte para valores nulos en arreglos y listas. El Conector ahora guarda estos valores en MongoDB en lugar de lanzar una excepción.

Consulte esta publicación en el blog de MongoDB para obtener más información.

Conector MongoDB para Spark 10.0.0

• Soporte para transmisión estructurada Spark.