Notas de versión

Conector MongoDB para Spark 10.4

La versión del conector 10.4 incluye los siguientes cambios y nuevas características:

• Actualiza la versión del controlador de sincronización de Java a v5.1.x.

Conector MongoDB para Spark 10.3

La versión 10.3 del conector incluye las siguientes características nuevas:

• Se agregó soporte para Spark v3.3, v3.4 y v3.5.

• Se agregó soporte para leer múltiples colecciones cuando se utilizan modos de transmisión continua o de microlotes.

  Advertencia

  Cambio decisivo

  El soporte para la lectura de múltiples colecciones introduce los siguientes cambios disruptivos:

  • Si el nombre de una colección utilizada en su collection Si la opción de configuración contiene una coma, el conector Spark la trata como dos colecciones diferentes. Para evitarlo, debe escapar la coma precediéndola de una barra invertida (\).

  • Si el nombre de una colección utilizada en la opción de configuración collection es "*", el Conector Spark lo interpreta como una especificación para escanear todas las colecciones. Para evitar esto, debe evitar el asterisco precediéndolo con una barra invertida (\).

  • Si el nombre de una colección utilizada en la opción de configuración collection contiene una barra invertida (\), el Conector Spark la trata como un carácter de escape, lo que podría cambiar la interpretación del valor. Para evitarlo, debe preceder la barra invertida con otra barra invertida.

  Para obtener más información sobre cómo escanear varias colecciones, consulte la Descripción de lapropiedad de configuración de colección.

Conector MongoDB para Spark 10.2

La versión del conector 10.2 incluye las siguientes nuevas funcionalidades:

• Se agregó la propiedad de configuración de escritura ignoreNullValues, que permite controlar si el conector ignora los valores nulos. En versiones anteriores, el conector siempre escribía valores null en MongoDB.

• Se añadieron opciones para la propiedad convertJson de configuración de guardar.

• Se agregó la propiedad de configuración de lectura change.stream.micro.batch.max.partition.count, que le permite dividir microlotes en múltiples particiones para procesamiento paralelo.

• Se mejoró la inferencia del esquema de flujo de cambios al utilizar la propiedad de configuración de lectura change.stream.publish.full.document.only.

• Se agregó la propiedad de configuración de lectura change.stream.startup.mode, que especifica cómo el conector procesa los eventos de cambio cuando no hay ningún desplazamiento disponible.

• Soporte para agregar un comentario a operaciones.

Conector MongoDB para Spark 10.1.1

• Se corrigió un error en el cual las agregaciones que incluían la etapa de canalización $collStats no devolvían un campo de conteo para las colecciones de series de tiempo.

Conector MongoDB para Spark 10.1.0

• Soporte para Scala 2.13.

• Soporte para el modo por micro-lotes con Spark Structured transmisión.

• Soporte para tipos de datos BSON.

• Soporte mejorado del particionador para colecciones vacías.

• Opción para deshabilitar la inserción automática en operaciones de escritura.

• Inferencia de esquema mejorada para matrices vacías.

• Soporte para valores nulos en arreglos y listas. El Conector ahora guarda estos valores en MongoDB en lugar de lanzar una excepción.

Ver esta publicación en el blog de MongoDB para obtener más información.

Conector MongoDB para Spark 10.0.0

• Soporte para transmisión estructurada Spark.