fases do pipeline de agregação para Stream Processing

Atlas Stream Processing extends the aggregation pipeline with stages for processing continuous data streams. These stages combine with existing aggregation stages built in to the default mongod process, enabling you to perform many of the same operations on continuous data as you can perform on data-at-rest. An Atlas Stream Processing pipeline definition cannot exceed 16 MB.

A tabela seguinte lista os estágios do aggregation pipeline exclusivos para o Atlas Stream Processing e aqueles que existem de forma modificada no Atlas Stream Processing.

Observação

Para obter detalhes sobre um operador específico, incluindo sintaxe e exemplos, clique no link para a página de referência do operador.

Estágio do pipeline de agregação	Propósito
$source	Especifica um conjunto de dados de streaming para consumir mensagens.
$validar	Valida os documentos de um fluxo em relação a um esquema definido pelo usuário.
$HTTPS	Oferece suporte a chamadas semelhantes a `curl`para pontos de extremidade arbitrários da REST API dentro do seu processador de fluxo.
$lookup	Realiza uma união externa esquerda em uma collection especificada para filtrar documentos da collection "unida" para processamento. This version of the existing `$lookup` stage requires that you specify a Atlas collection in the Connection Registry as the value for the `from` field.
$hoppingWindow	Atribui documento de um stream a Windows com durações definidas pelo usuário e intervalos entre os horários de início.
$tumblingWindow	Atribui documento de um fluxo a Windows contínuas e não sobrepostas com durações definidas pelo usuário.
$sessionWindow	Executa um pipeline em cada sessão de atividade em um fluxo de entrada. Cada documento é atribuído a uma janela de sessão com base em sua partição e carimbo de data e hora.
$setStreamMeta	Define um campo de metadados em documentos a partir de um fluxo de entrada. Esse campo de metadados pode ser usado para executar operações dinâmicas, como roteamento de coletor em documentos, sem alterar o conteúdo do corpo.
$cachedLookup	Executa uma pesquisa com um cache time-to-live para reduzir leituras repetidas da coleção unida.
$externalFunction	Chama uma função Lambda do Amazon Web Services dentro do pipeline, opcionalmente passando o resultado para as etapas a jusante.
$throttle	Limita a taxa na qual o processador de fluxo passa dados para estágios a jusante, em bytes ou mensagens por segundo.
$emit	Especifica um fluxo ou coleção de séries temporais no registro de conexão para emitir mensagens.
$merge	Uma versão do estágio `$merge` existente (Atlas Data Federation) em que o valor do campo `connectionName` deve ser sempre o nome de uma coleção remota no Registro de Conexão.
$vectorSearch	Query um índice de pesquisa vetorial do MongoDB em uma coleção no Registro de conexões e anexa os resultados a cada documento de streaming.

Estágios de pipeline de agregação suportados

Atlas Stream Processing provides several extensions to the core MongoDB Aggregation Pipeline syntax. To learn more about these extensions, see Supported Aggregation Pipeline Stages.

Certas fases do pipeline de agregação são suportadas apenas quando aninhadas dentro de outras fases do pipeline. A tabela a seguir mostra quais fases do pipeline de agregação são suportadas para uso no pipeline principal ou quando aninhadas nas fases do pipeline de agregação especificadas.

Estágio de agregação	Suportadas no pipeline principal	Compatível com `$tumblingWindow`, `$hoppingWindow` e `$sessionWindow`	Suportadas em `$https` e `$externalFunction`
`$addFields`	√	√	√
`$project`	√	√	√
`$replaceRoot`	√	√	√
`$set`	√	√	√
`$redact`	√	√
`$match`	√	√
`$replaceWith`	√	√
`$unset`	√	√
`$unwind`	√	√
`$validate`	√	√
`$https`	√	√
`$externalFunction`	√	√
`$lookup` [1]	√	√
`$merge` [1]	√
`$tumblingWindow`	√
`$hoppingWindow`	√
`$sessionWindow`	√
$emit	√
$cachedLookup	√
$setStreamMeta	√
$throttle	√
`$group`		√
`$sort`		√
`$count`		√
`$limit`		√

[1]	(1, 2) Supported with modified syntax.

Voltar

$function

$source