Notas de versão

MongoDB connector para Spark 11.0

A 11.0 versão do conector adiciona suporte para o Spark 4.0 e posterior. Spark 4.0 exige Scala.2.13 Para saber mais sobre 4.0 o Spark, consulte a documentação do Spark.

MongoDB connector para Spark 10.6

A versão do conector 10.6 inclui as seguintes alterações e novas funcionalidades:

• Adiciona suporte para a fullDocumentBeforeChange opção em configurações de leitura de fluxo de alteração, que permite a você especificar se incluir o documento completo antes do evento de alteração na saída do fluxo de alteração. Para saber mais sobre essa opção, consulte a seção Alterar configuração de fluxo do guia Opções de configuração de leitura de streaming.

• Adiciona a truncateMode opção de configuração de escrita do, que especifica como truncar uma coleção ao executar uma substituição. Para saber mais sobre essa opção, consulte o guia Opções de configuração de gravação de streaming ou Opções de configuração de gravação em lote para seu modo relevante.

• Adiciona a ignoreDuplicatesOnInsert opção de configuração de gravação, que determina se deve ignorar erros de chave duplicados ao executar operações de inserção não ordenadas. Você pode usar essa opção em configurações de gravação em lote e streaming. Para saber mais sobre essa opção, consulte os guias Opções de configuração de gravação em lote e Opções de configuração de gravação de streaming.

MongoDB connector para Spark 10.5

A versão do conector 10.5 inclui as seguintes alterações e novas funcionalidades:

• Adiciona suporte para utilizar o Atlas Data Federation com o conector Spark nas configurações de leitura em lote do SamplePartitioner, PaginateBySizePartitioner e AutoBucketPartitioner.

  Para obter mais informações sobre a configuração em lote, consulte a página Opções de configuração de leitura em lote.

• Altera a configuração padrão do particionador de leitura em lote para ser AutoBucketPartitioner

MongoDB connector para Spark 10.4

A versão do conector 10.4 inclui as seguintes alterações e novas funcionalidades:

• Atualiza a versão do Java Sync Driver para v5.1.x.

MongoDB connector para Spark 10.3

A versão do connector 10.3 inclui as seguintes novas funcionalidades:

• Adicionado suporte para Spark v3.3, v3.4 e v3.5.

• Foi adicionado suporte para a leitura de várias collections ao usar modos de microlote ou streaming contínuo.

  Aviso

  alteração interruptiva

  O suporte para a leitura de várias collections introduz as seguintes alterações significativas:

  • Se o nome de uma collection usada em sua opção de configuração collection contiver uma vírgula, o Spark Connector a tratará como duas collections diferentes. Para evitar isso, você deve escapar da vírgula precedendo-a com uma barra invertida (\).

  • Se o nome de uma collection usada em sua opção de configuração collection for "*", o Spark Connector o interpretará como uma especificação para verificar todas as collections. Para evitar isso, você deve escapar do asterisco precedendo-o com uma barra invertida (\).

  • Se o nome de uma coleção usada em sua opção de configuração do collection contiver uma barra invertida (\), o Spark Connector tratará a barra invertida como um caractere de escape, o que pode alterar a forma como ele interpreta o valor. Para evitar isso, você deve escapar da barra invertida precedendo-a com outra barra invertida.

  Para saber mais sobre a digitalização de várias collections, consulte a descrição da propriedade de configuração da collection .

MongoDB connector para Spark 10.2

A versão do connector 10.2 inclui os seguintes novos recursos:

• Foi adicionada a propriedade de configuração de gravação ignoreNullValues, que permite controlar se o connector ignora valores nulos. Em versões anteriores, o connector sempre escreveu valores null para MongoDB.

• Foram adicionadas opções para a propriedade de configuração de gravação convertJson .

• Foi adicionada a propriedade de configuração de leitura change.stream.micro.batch.max.partition.count , que permite dividir microlotes em várias partições para processamento paralelo.

• Inferência de esquema de fluxo de alteração aprimorada ao usar a propriedade de configuração de leitura change.stream.publish.full.document.only .

• Foi adicionada a propriedade de configuração de leitura change.stream.startup.mode, que especifica como o connector processa eventos de alteração quando nenhum deslocamento está disponível.

• Suporte para adicionar um comentário às operações.

MongoDB connector do para Spark 10.1.1

• Corrigido um bug no qual as agregações, incluindo o estágio de pipeline $collStats , não retornavam um campo de contagem para coleções de séries temporais.

MongoDB connector do para Spark 10.1.0

• Suporte para Scala 2.13.

• Suporte para o modo de microlote com o Spark Structured Streaming.

• Suporte para tipos de dados BSON.

• Suporte aprimorado ao particionador para coleções vazias.

• Opção para desabilitar a atualização automática em operações de gravação.

• Inferência de esquema aprimorada para arrays vazias.

• Suporte para valores nulos em arrays e listas. O connector agora grava esses valores no MongoDB em vez de lançar uma exceção.

Consulte esta publicação no MongoDB Blog para obter mais informações.

MongoDB connector do para Spark 10.0.0

• Suporte para Spark Structured Streaming.