Notas de versión

MongoDB Connector for Spark 11.0

La versión del conector 11.0 añade soporte para Spark 4.0 y posteriores. Spark 4.0 requiere Scala 2.13. Para obtener más información sobre Spark 4.0, consulta la documentación de Spark.

MongoDB Connector for Spark 10.6

La versión del conector 10.6 incluye los siguientes cambios y nuevas características:

• Añade soporte para el/la fullDocumentBeforeChange Opción en las configuraciones de lectura del flujo de cambios, que permite especificar si se incluye el documento completo antes del evento de cambio en la salida del flujo de cambios. Para obtener más información sobre esta opción, consulte Sección Cambiar configuración de flujo de la guía de Opciones de configuración de lectura de transmisión.

• Añade la truncateMode opción de configuración de escritura, que especifica cómo truncar una colección al sobrescribir. Para obtener más información sobre esta opción, consulte la guía "Opciones de configuración de escritura en streaming" o "Opciones de configuración de escritura por lotes" correspondiente a su modo.

• Agrega la opción de configuración de guardar ignoreDuplicatesOnInsert, que determina si se ignoran errores de claves duplicadas al realizar operaciones de inserción desordenadas. Puedes utilizar esta opción tanto en configuraciones de guardado por agrupar como por transmisión. Para obtener más información sobre esta opción, consulta las guías Opciones de configuración de guardados agrupados y Opciones de configuración de guardado en transmisión.

MongoDB Connector for Spark 10.5

La versión del conector 10.5 incluye los siguientes cambios y nuevas características:

• Añade soporte para utilizar Atlas Data Federation con el Spark Connector en las configuraciones de lectura por lotes SamplePartitioner, PaginateBySizePartitioner y AutoBucketPartitioner.

  Para obtener más información sobre la configuración por lotes, consulte la página Opciones de configuración de lectura por lotes.

• Cambia la configuración predeterminada del particionador de lectura por lotes a AutoBucketPartitioner

MongoDB Connector for Spark 10.4

La versión del conector 10.4 incluye los siguientes cambios y nuevas características:

• Actualiza la versión del controlador de sincronización de Java a v5.1.x.

MongoDB Connector for Spark 10.3

El lanzamiento del conector 10.3 incluye las siguientes nuevas funcionalidades:

• Añadido soporte para Spark v3.3, v3.4 y v3.5.

• Se agregó soporte para leer múltiples colecciones cuando se utilizan modos de transmisión continua o de microlotes.

  Advertencia

  Cambio decisivo

  El soporte para la lectura de múltiples colecciones introduce los siguientes cambios disruptivos:

  • Si el nombre de una colección utilizada en tu opción de configuración collection contiene una coma, Spark Connector la trata como dos colecciones diferentes. Para evitar esto, se debe escapar la coma precediéndola con una barra invertida (\).

  • Si el nombre de una colección utilizada en tu opción de configuración de collection es “*”, el Spark Connector lo interpreta como una especificación para escanear todas las colecciones. Para evitar esto, debe escapar el asterisco anteponiéndole una barra invertida (\).

  • Si el nombre de una colección utilizada en tu opción de configuración collection contiene una barra invertida (\), el Spark Connector trata la barra invertida como un carácter de escape, lo que puede cambiar la forma en que interpreta el valor. Para evitar esto, se debe escapar la barra invertida anteponiéndole otra barra invertida.

  Para aprender más sobre el escaneo de varias colecciones, consulta la descripción de la propiedad de configuración de la colección.

MongoDB Connector for Spark 10.2

La versión del conector 10.2 incluye las siguientes nuevas funcionalidades:

• Se agregó la propiedad de configuración de escritura ignoreNullValues, que permite controlar si el conector ignora los valores nulos. En versiones anteriores, el conector siempre escribía valores null en MongoDB.

• Se añadieron opciones para la propiedad convertJson de configuración de guardar.

• Se agregó la propiedad de configuración de lectura change.stream.micro.batch.max.partition.count, la cual permite dividir los micro lotes en múltiples particiones para procesamiento paralelo.

• Se mejoró la inferencia del esquema del flujo de cambios cuando se utiliza la propiedad de configuración de lectura change.stream.publish.full.document.only.

• Se añadió la propiedad de configuración de lectura change.stream.startup.mode, que especifica cómo el conector procesa los eventos de cambio cuando no hay un offset disponible.

• Soporte para agregar un comentario a operaciones.

MongoDB Connector for Spark 10.1.1

• Se corrigió un error en el cual las agregaciones que incluían la etapa de pipeline $collStats no devolvían un campo de conteo para colecciones de series temporales.

MongoDB Connector for Spark 10.1.0

• Soporte para Scala 2.13.

• Soporte para el modo por micro-lotes con Spark Structured transmisión.

• Soporte para tipos de datos BSON.

• Soporte mejorado del particionador para colecciones vacías.

• Opción para desactivar la inserción automática en las operaciones de guardar.

• Mejor inferencia de esquema para arreglos vacíos.

• Soporte para valores nulos en arreglos y listas. El Conector ahora guarda estos valores en MongoDB en lugar de lanzar una excepción.

Consulta esta publicación en el blog de MongoDB para obtener más información.

MongoDB Connector for Spark 10.0.0

• Compatibilidad con Spark Structured transmisión.