Limitações

O Atlas Stream Processing suporta apenas o processamento pelo menos uma vez.

O Atlas Stream Processing não oferece suporte ao dimensionamento horizontal.

O Atlas Stream Processing usa um único núcleo para estágios de pipeline de transformação, exceto para estágios que podem especificar um valor parallelism.

Ao ativar o dimensionamento automático vertical, você deve definir um maxTier no processador ou como o tamanho máximo da camada do espaço de trabalho de processamento de fluxo. Se nenhum dos dois estiver definido, o processador retornará um erro e não iniciará.

Não é possível configurar os limites de CPU e memória que acionam o dimensionamento automático vertical. O Atlas Stream Processing gerencia esses limites internamente.

O state.stateSize de um processador de stream não pode exceder 80% da RAM disponível para seu pod. Por exemplo, o tamanho máximo de um processador de stream no nível SP30, que tem 8GB de RAM, é 6.4GB. Se o state.stateSize de qualquer um dos seus processadores de stream estiver se aproximando de 80% da RAM disponível, considere parar o processador e reiniciá-lo em um nível superior. Se o processador de stream processing já for executado no nível máximo habilitado para o espaço de trabalho de stream processing, considere ajustar a configuração do espaço de trabalho de stream processing para habilitar processadores de stream processing de nível superior.

Quando um processador de fluxo ultrapassa o limite de 80% de RAM, ele falha com um erro Worker out of memory. Você pode ver o valor state.stateSize de cada processador de fluxo com o comando sp.processor.stats() . Veja Veja estatísticas de um processador de fluxo para saber mais.

Uma definição de pipeline do Atlas Stream Processing não pode exceder 16 MB.

Somente usuários com as Organization Stream Processing Admin Project Ownerfunções,, Project Stream Processing Owner ou Atlas admin podem usar o Atlas Stream Processing.

Você deve usar mongosh 234 a versão.. ou posterior para substituir uma opção em um processador de stream existente usando um método. Por exemplo,mongosh usando sp.processor.start() para especificar um nível para o processador que você está iniciando.

Consulte Desenvolver processadores de fluxo para saber mais sobre como gerenciar um processador de fluxo mongosh usando.

O Atlas Stream Processing é compatível com um subconjunto dos Estágios de Pipeline de agregação disponíveis no Atlas, permitindo que você execute muitas das mesmas operações em dados de streaming que você pode realizar em dados em repouso. Para obter uma lista completa dos estágios do pipeline de agregação compatíveis, consulte a documentação do Stream Aggregation.

O Atlas Stream Processing não aceita as variáveis de agregação $$NOW, $$CLUSTER_TIME, $$USER_ROLES e $SEARCH_META.

O Atlas Stream Processing não é compatível com a gravação de documentos BSON maiores que 125 MB usando o estágio $emit em um bucket do AWS S3.

Para estágios Apache Kafka $source, se o tópico do Apache Kafka agindo como $source para o processador em execução adicionar uma partição, o deslocamento inicial será determinado pela propriedade auto_offset_reset .

Para o Apache Kafka, os estágios $source estão sujeitos aos limites de partição do nível do espaço de trabalho de processamento de fluxo. Se você exceder o limite de partição da camada do espaço de trabalho de processamento de fluxo, o processador de fluxo afetado falhará. Você deve atualizar seu espaço de trabalho de processamento de fluxo para suportar partições adicionais.

O Atlas Stream Processing não oferece suporte à conexão com um consumidor Apache Kafka no mesmo grupo de consumidores que outros consumidores. Certifique-se de que qualquer consumidor Kafka usado com o Atlas Stream Processing seja executado em um grupo de consumidores dedicado.

Para conexões Apache Kafka, o Atlas Stream Processing atualmente aceita apenas os seguintes protocolos de segurança:

• SASL_PLAINTEXT

• SASL_SSL

• SSL

Para SASL, o Atlas Stream Processing suporta os seguintes mecanismos:

• PLAIN

• SCRAM-SHA-256

• SCRAM-SHA-512

• OAUTHBEARER

SSLPara, você deve fornecer os seguintes ativos para a autenticação TLS mútua do seu sistema Apache Kafka com o Atlas Stream Processing:

• uma Autoridade de certificação (se você estiver usando uma autoridade de certificação diferente da Apache Kafka CA padrão)

• um certificado TLS do cliente

• um arquivo de chave TLS, usado para assinar seu certificado TLS

initialSync não suporta coleções cujos valores _id são arrays, expressões regulares ou indefinidos, que o MongoDB não suporta como valores _id.

Se os valores de _id da sua coleção forem valores de ObjectId gerados por padrão ou valores de int ou long ordenados, initialSync alcançará o desempenho ideal. Para outros tipos de _id, initialSync pode levar mais tempo para ser concluído porque os valores não são armazenados em uma ordem previsível. Se o token de retomada não estiver mais no oplog quando initialSync for concluído, o processador entrará em um estado de falha para evitar a perda de dados. Para recuperar, reinicie o processador com resumeFromCheckpoint=false, que faz com que initialSync seja executado novamente. Para saber mais, consulte Checkpoints.

O Atlas Stream Processing pode inserir novos documentos em uma partição enquanto initialSync o copia. Uma falha de rede que interrompe uma query em uma partição crescente pode prolongar a fase de cópia da coleção.

initialSync pode inserir documentos duplicados se ler um evento de alteração durante a fase de cópia ou recuperação da coleção. A garantia de processamento pelo menos uma vez do Atlas Stream Processing cobre esse comportamento. As duplicatas são mais prováveis quando os valores _id da sua collection não são valores ObjectId ou valores int ou long ordenados, porque a fase de cópia da collection é mais longa e abrange mais eventos de mudança.

O Atlas Stream Processing oferece suporte a processadores de failover apenas para processadores com as seguintes configurações:

• Atlas source and sink

• Origem Atlas e coletor Apache Kafka

O Atlas Stream Processing oferece suporte a processadores de failover apenas para processadores de tier SP10 ou superior.

Para processadores configurados com processadores de failover, apenas um processador pode estar ativo a qualquer momento. Você pode editar apenas o processador ativo.