Limitações

As seguintes limitações se aplicam ao Atlas Stream Processing:

• O Atlas Stream Processing suporta apenas o processamento pelo menos uma vez.

• O Atlas Stream Processing não oferece suporte ao dimensionamento horizontal.

• O state.stateSize de um processador de stream não pode exceder 80% da RAM disponível para seu pod. Por exemplo, o tamanho máximo de um processador de stream no nível SP30, que tem 8GB de RAM, é 6.4GB. Se o state.stateSize de qualquer um dos seus processadores de stream estiver se aproximando de 80% da RAM disponível, considere parar o processador e reiniciá-lo em um nível superior. Se o processador de stream processing já for executado no nível máximo habilitado para o espaço de trabalho de stream processing, considere ajustar a configuração do espaço de trabalho de stream processing para habilitar processadores de stream processing de nível superior.

  Quando um processador de fluxo ultrapassa o limite de 80% de RAM, ele falha com um erro Worker out of memory. Você pode ver o valor state.stateSize de cada processador de fluxo com o comando sp.processor.stats() . Veja Veja estatísticas de um processador de fluxo para saber mais.

• Uma definição de pipeline do Atlas Stream Processing não pode exceder 16 MB.

• Somente usuários com as funções Organization Stream Processing Admin, Project Owner, Project Stream Processing Owner ou Atlas admin podem usar o Atlas Stream Processing.

• Para o Atlas Stream Processing usando Apache Kafka como $source, se o tópico do Apache Kafka que atua como $source para o processador em execução adicionar uma partição, o Atlas Stream Processing continuará em execução sem ler a partição. O processador falha quando detecta a nova partição depois de restaurá-la de um checkpoint após uma falha, ou você a reinicia após interrompê-la. Você deve recriar os processadores que leem dos tópicos com as partições recém-adicionadas.

• Para conexões Apache Kafka, o Atlas Stream Processing atualmente aceita apenas os seguintes protocolos de segurança:

  • SASL_PLAINTEXT

  • SASL_SSL

  • SSL

  Para SASL, o Atlas Stream Processing suporta os seguintes mecanismos:

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

  • OAUTHBEARER

  SSLPara, você deve fornecer os seguintes ativos para a autenticação TLS mútua do seu sistema Apache Kafka com o Atlas Stream Processing:

  • uma Autoridade de certificação (se você estiver usando uma autoridade de certificação diferente da Apache Kafka CA padrão)

  • um certificado TLS do cliente

  • um arquivo de chave TLS, usado para assinar seu certificado TLS

• O Atlas Stream Processing é compatível com um subconjunto dos Estágios de Pipeline de agregação disponíveis no Atlas, permitindo que você execute muitas das mesmas operações em dados de streaming que você pode realizar em dados em repouso. Para obter uma lista completa dos estágios do pipeline de agregação compatíveis, consulte a documentação do Stream Aggregation.

• O Atlas Stream Processing não aceita as variáveis de agregação $$NOW, $$CLUSTER_TIME, $$USER_ROLES e $SEARCH_META.

• O Atlas Stream Processing não permite a gravação de documentos BSON maiores que 125 MB usando o estágio $emit em um bucket do AWS S3.

• Você deve usar a versãomongosh 2.3.4 ou superior para substituir uma opção em um processador de stream existente usando um métodomongosh. Por exemplo, usando sp.processor.start() para especificar um nível para o processador que você está iniciando.

  Consulte Desenvolver processadores de fluxo para aprender mais sobre como gerenciar um processador de fluxo usando o mongosh.