MongoDB connector para Spark 10.2
A versão do connector 10.2 inclui os seguintes novos recursos:
Foi adicionada a propriedade de configuração de gravação
ignoreNullValues, que permite controlar se o connector ignora valores nulos. Em versões anteriores, o conector sempre gravava valoresnullno MongoDB.Foram adicionadas opções para a propriedade de configuração de gravação
convertJson.Foi adicionada a propriedade de configuração de leitura
change.stream.micro.batch.max.partition.count, que permite dividir microlotes em várias partições para processamento paralelo.Inferência de esquema de fluxo de alteração aprimorada ao usar a propriedade de configuração de leitura
change.stream.publish.full.document.only.Foi adicionada a propriedade de configuração de leitura
change.stream.startup.mode, que especifica como o connector processa eventos de alteração quando nenhum deslocamento está disponível.Suporte para adicionar um comentário às operações.
MongoDB connector do para Spark 10.1.1
Corrigido um bug no qual as agregações, incluindo o estágio de pipeline
$collStats, não retornavam um campo de contagem para coleções de séries temporais.
MongoDB connector do para Spark 10.1.0
Suporte para Scala 2.13.
Suporte para o modo de microlote com o Spark Structured Streaming.
Suporte para tipos de dados BSON.
Suporte aprimorado ao particionador para coleções vazias.
Opção para desabilitar a atualização automática em operações de gravação.
Inferência de esquema aprimorada para arrays vazias.
Suporte para valores nulos em arrays e listas. O connector agora grava esses valores no MongoDB em vez de lançar uma exceção.
Consulte esta publicação no MongoDB Blog para obter mais informações.
MongoDB connector do para Spark 10.0.0
Suporte para Spark Structured Streaming.