Configure mongot para MongoDB pesquisa vetorial Automated embedding

O que o embedding automatizado faz

Sem o embedding automatizado, seu aplicativo deve:

1. Gere um embedding para cada documento que você inserir ou atualizar.

2. Armazene esse embedding junto com o documento em sua coleção.

3. Gere um embedding para cada query, usando o mesmo modelo, no momento da query.

4. Envie o embedding de query para $vectorSearch.

Com o embedding automatizado, mongot lida com as etapas 1, 2 e 3. Seu aplicativo:

1. Configura um índice de pesquisa vetorial do MongoDB com o tipo de campo autoEmbed para o campo de texto.

2. Insere e atualiza documentos normalmente.

   mongot lê o campo de texto, gera o embedding por meio do modelo de embedding configurado e o armazena.

3. Emite query $vectorSearch com o texto da query, não um embedding pré-computado.

   mongot gera o embedding para o texto da query.

Provedores de embedding suportados

O embedding automatizado do mongot autogerenciado se integra aos modelos de embedding do Voyage AI.

Você incorre em custos para geração de embedding. Para aprender mais, consulte Gerenciar Faturamento para embedding automatizado.

Pré-requisitos

Você deve ter os seguintes pré-requisitos para usar o embedding automatizado:

• mongot 1.70.1 ou posterior em uma implantação autogerenciada (tarball ou contêiner da Community, Desenvolvimento local e Enterprise Edition por meio do Kubernetes operador).

• MongoDB 8.2 ou posterior para implantações autônomas, ou MongoDB 8.3 ou posterior para implantações gerenciadas pelo Kubernetes operador. Para aprender mais, consulte Compatibilidade e requisitos para mongot.

• Duas chaves de API do Voyage AI API.

  Use duas chaves separadas, uma para geração de embedding em tempo de índice e outra para tempo de query. Chaves separadas isolam a carga de trabalho de query da carga de trabalho de indexação e permitem a contabilidade independente do limite de taxa. Para aprender mais, consulte Limites de taxa.

• Acesso de rede de saída de mongot para o ponto de extremidade de embedding.

  O ponto de extremidade padrão é https://ai.mongodb.com/v1/embeddings. Este ponto de extremidade proxy Voyage AI com faturamento gerenciado pelo MongoDB, para chaves geradas usando a IU do Atlas. Você também pode usar https://api.voyageai.com/v1/embeddings para acesso direto ao Voyage AI se tiver gerado a chave API diretamente do Voyage AI.

Procedimento

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

Armazenamento de embedding

mongot persiste embedding em um banco de dados interno dedicado no cluster. mongot não armazena embedding em sua coleção de origem. mongot pode regenerar embedding do texto de origem, e você incorre em cobranças pela geração de embedding.

Alterações no modelo de embedding, dimensões de saída ou quantização trigger um re-embedding completo do índice afetado, para o qual você incorre em cobranças pela geração de embedding. Consulte Quando mongot regenera embeddings.

Para aprender mais, consulte Coleção de embedding gerado.

Quando mongot regenera embeddings

mongot regenera embedding para um campo autoEmbed quando ocorre qualquer um dos seguintes:

• Você insere um documento.

• Você altera o campo incorporado em um documento. mongot detecta a alteração por meio de fluxos de alteração.

• Você altera o modelo de embedding na definição do índice.

• Você altera a dimensão de saída do embedding ou o tipo de dados.

• Você altera o caminho do campo de texto.

Se você alterar qualquer um dos três últimos itens, mongot reconstrói todo o índice do zero. A reconstrução pode ser cara para grandes coleções. Planeje as alterações do modelo deliberadamente.

Custo e limitação de taxa

O MongoDB cobra por milhão de tokens em taxas específicas do modelo. O custo de indexação é proporcional ao volume total de texto do campo indexado em toda a coleção. O custo da query é proporcional ao volume de texto da query.

Se você usar a chave de API do Voyage AI que você criou usando sua conta do Atlas, poderá visualizar o uso da chave de API e os limites de taxa na IU do Atlas. Para saber mais, consulte Gerenciar faturamento para a Embedding and Reranking API. Se você usar chaves criadas diretamente do Voyage AI, deverá monitorar seu uso e limites de taxa no dashboard do Voyage AI.

Os erros de limite de taxa do lado do Voyage AI aparecem nos logs do mongot e como indicadores de documento com falha no índice afetado. Esses erros não desativam o índice, mas podem atrasar a indexação de novos documentos.

Modos de falha

Limitações

As seguintes limitações se aplicam ao embedding automatizado:

• **Status de pré-visualização.** O formato da configuração, os modelos compatíveis e os pontos de extremidade padrão podem mudar antes que o Automated Embedding esteja geralmente disponível.

• Um modelo de embedding por campo. Índices de modelo misto não são suportados.

• Sem failover de modelo de embedding. Se o ponto de extremidade do Voyage AI estiver inacessível, a indexação de novos documentos será interrompida.

Próximos passos

• Visão geral do embedding automatizado para a visão geral conceitual entre plataformas.

• Configure o mongot para a referência de configuração mongot completa.