Notas de versão

MongoDB connector para Spark 11.1

A versão do conector 11.1 inclui as seguintes alterações e novas funcionalidades:

• Adiciona a propriedade de configuração de leitura change.stream.micro.batch.max.rows, que limita o número de eventos de fluxo de alterações consumidos em cada microlote. Ao definir esta opção, o conector limita os microlotes por contagem de eventos em vez de pelo tempo decorrido entre os lotes. A limitação de taxa exige que a propriedade de configuração change.stream.micro.batch.max.partition.count seja definida como 1 e acesso de gravação à coleção sidecar no banco de dados de origem.

• Adiciona a propriedade de configuração de leitura change.stream.micro.batch.max.rows.offset.collection, que especifica a coleção sidecar usada para persistir tokens de retomada quando a propriedade change.stream.micro.batch.max.rows é definida. O padrão é __spark_resume_tokens.

MongoDB connector para Spark 11.0

A versão do conector 11.0 adiciona suporte para o Spark 4.0 e posterior. Spark 4.0 exige Scala 2.13. Para saber mais sobre o Spark 4.0, consulte a documentação do Spark.

MongoDB connector para Spark 10.7

A versão do conector 10.7 inclui as seguintes alterações e novas funcionalidades:

• Adiciona as propriedades de configuração de leitura change.stream.micro.batch.max.rows e change.stream.micro.batch.max.rows.offset.collection introduzidas na v11.1. Essas propriedades permitem a limitação de taxa para microlotes de fluxo de alterações. Para saber mais, consulte as notas da versão v11.1.

MongoDB connector para Spark 10.6

A versão do conector 10.6 inclui as seguintes alterações e novas funcionalidades:

• Adiciona suporte para a opção fullDocumentBeforeChange nas configurações de leitura do fluxo de alterações, que permite especificar se deseja incluir o documento completo antes do evento de alteração na saída do fluxo de alterações. Para **aprender** mais sobre essa opção, consulte a seção Alterar configuração do stream do guia Opções de configuração de leitura de **streaming**.

• Adiciona a opção de configuração de escrita do truncateMode, que especifica como truncar uma coleção ao executar uma substituição. Para saber mais sobre essa opção, consulte o guia Opções de configuração de gravação de streaming ou o guia Opções de configuração de gravação em lote para seu modo relevante.

• Adiciona a opção de configuração de gravação ignoreDuplicatesOnInsert, que determina se deve ignorar erros de chave duplicados ao executar operações de inserção não ordenadas. Você pode usar essa opção em configurações de gravar em lote e streaming. Para saber mais sobre essa opção, consulte os guias Opções de configuração de gravação em lote e Opções de configuração de gravação de streaming.

MongoDB connector para Spark 10.5

A versão do conector 10.5 inclui as seguintes alterações e novas funcionalidades:

• Adiciona suporte para utilizar o Atlas Data Federation com o conector Spark nas configurações de leitura em lote do SamplePartitioner, PaginateBySizePartitioner e AutoBucketPartitioner.

  Para obter mais informações sobre a configuração em lote, consulte a página Opções de configuração de leitura em lote.

• Altera a configuração padrão do particionador de leitura em lote para ser AutoBucketPartitioner

MongoDB connector para Spark 10.4

A versão do conector 10.4 inclui as seguintes alterações e novas funcionalidades:

• Atualiza a versão do Java Sync Driver para v5.1.x.

MongoDB connector para Spark 10.3

A versão do connector 10.3 inclui as seguintes novas funcionalidades:

• Adicionado suporte para Spark v3.3, v3.4 e v3.5.

• Foi adicionado suporte para a leitura de várias collections ao usar modos de microlote ou streaming contínuo.

  Aviso

  alteração interruptiva

  O suporte para a leitura de várias collections introduz as seguintes alterações significativas:

  • Se o nome de uma collection usada em sua opção de configuração collection contiver uma vírgula, o Spark Connector a tratará como duas collections diferentes. Para evitar isso, você deve escapar da vírgula precedendo-a com uma barra invertida (\).

  • Se o nome de uma collection usada em sua opção de configuração collection for "*", o Spark Connector o interpretará como uma especificação para verificar todas as collections. Para evitar isso, você deve escapar do asterisco precedendo-o com uma barra invertida (\).

  • Se o nome de uma coleção usada em sua opção de configuração do collection contiver uma barra invertida (\), o Spark Connector tratará a barra invertida como um caractere de escape, o que pode alterar a forma como ele interpreta o valor. Para evitar isso, você deve escapar da barra invertida precedendo-a com outra barra invertida.

  Para saber mais sobre a digitalização de várias collections, consulte a descrição da propriedade de configuração da collection .

MongoDB connector para Spark 10.2

A versão do connector 10.2 inclui os seguintes novos recursos:

• Foi adicionada a propriedade de configuração de gravação ignoreNullValues, que permite controlar se o connector ignora valores nulos. Em versões anteriores, o connector sempre escreveu valores null para MongoDB.

• Foram adicionadas opções para a propriedade de configuração de gravação convertJson .

• Foi adicionada a propriedade de configuração de leitura change.stream.micro.batch.max.partition.count , que permite dividir microlotes em várias partições para processamento paralelo.

• Inferência de esquema de fluxo de alteração aprimorada ao usar a propriedade de configuração de leitura change.stream.publish.full.document.only .

• Foi adicionada a propriedade de configuração de leitura change.stream.startup.mode, que especifica como o connector processa eventos de alteração quando nenhum deslocamento está disponível.

• Suporte para adicionar um comentário às operações.

MongoDB connector do para Spark 10.1.1

• Corrigido um bug no qual as agregações, incluindo o estágio de pipeline $collStats , não retornavam um campo de contagem para coleções de séries temporais.

MongoDB connector do para Spark 10.1.0

• Suporte para Scala 2.13.

• Suporte para o modo de microlote com o Spark Structured Streaming.

• Suporte para tipos de dados BSON.

• Suporte aprimorado ao particionador para coleções vazias.

• Opção para desabilitar a atualização automática em operações de gravação.

• Inferência de esquema aprimorada para arrays vazias.

• Suporte para valores nulos em arrays e listas. O connector agora grava esses valores no MongoDB em vez de lançar uma exceção.

Consulte esta publicação no MongoDB Blog para obter mais informações.

MongoDB connector do para Spark 10.0.0

• Suporte para Spark Structured Streaming.