Configure mongot for MongoDB Vector Search Automated Embedding

O que o embedding automatizado faz

Sem o embedding automatizado, seu aplicativo deve:

1. Gere um embedding para cada documento que você inserir ou atualizar.

2. Armazene esse embedding junto com o documento em sua coleção.

3. Gere um embedding para cada query, usando o mesmo modelo, no momento da query.

4. Envie o embedding de query para $vectorSearch.

Com o embedding automatizado, mongot lida com as etapas 1, 2 e 3. Seu aplicativo:

1. Configura um índice de pesquisa vetorial do MongoDB com o tipo de campo autoEmbed para o campo de texto.

2. Insere e atualiza documentos normalmente.

   mongot lê o campo de texto, gera o embedding por meio do modelo de embedding configurado e o armazena.

3. Emite query $vectorSearch com o texto da query, não um embedding pré-computado.

   mongot gera o embedding para o texto da query.

Provedores de embedding suportados

O embedding automatizado do mongot autogerenciado se integra aos modelos de embedding do Voyage AI.

Você incorre em custos para geração de embedding. Para aprender mais, consulte Gerenciar Faturamento para embedding automatizado.

Pré-requisitos

Você deve ter os seguintes pré-requisitos para usar o embedding automatizado:

• mongot 1.70.1 ou posterior em uma implantação autogerenciada (tarball ou contêiner da Community, Desenvolvimento local e Enterprise Edition por meio do Kubernetes operador).

• MongoDB 8.3 or later for standalone and Kubernetes Operator-managed deployments. To learn more, see Compatibility and Requirements for mongot.

• Two Voyage AI API keys.

  Use duas chaves separadas, uma para geração de embedding em tempo de índice e outra para tempo de query. Chaves separadas isolam a carga de trabalho de query da carga de trabalho de indexação e permitem a contabilidade independente do limite de taxa. Para aprender mais, consulte Limites de taxa.

• Acesso de rede de saída de mongot para o ponto de extremidade de embedding.

  The default endpoint is https://ai.mongodb.com/v1/embeddings. This endpoint proxies Voyage AI with MongoDB-managed billing, for keys generated using the Atlas UI. You can also use https://api.voyageai.com/v1/embeddings for direct Voyage AI access if you generated the API key directly from Voyage AI.

Procedimento

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

Armazenamento de embedding

mongot persiste embedding em um banco de dados interno dedicado no cluster. mongot não armazena embedding em sua coleção de origem. mongot pode regenerar embedding do texto de origem, e você incorre em cobranças pela geração de embedding.

Alterações no modelo de embedding, dimensões de saída ou quantização trigger um re-embedding completo do índice afetado, para o qual você incorre em cobranças pela geração de embedding. Consulte Quando mongot regenera embeddings.

Para aprender mais, consulte Coleção de embedding gerado.

When mongot Regenerates Embeddings

mongot regenera embedding para um campo autoEmbed quando ocorre qualquer um dos seguintes:

• Você insere um documento.

• Você altera o campo incorporado em um documento. mongot detecta a alteração por meio de fluxos de alteração.

• Você altera o modelo de embedding na definição do índice.

• Você altera a dimensão de saída do embedding ou o tipo de dados.

• Você altera o caminho do campo de texto.

Se você alterar qualquer um dos três últimos itens, mongot reconstrói todo o índice do zero. A reconstrução pode ser cara para grandes coleções. Planeje as alterações do modelo deliberadamente.

Custo e limitação de taxa

O MongoDB cobra por milhão de tokens em taxas específicas do modelo. O custo de indexação é proporcional ao volume total de texto do campo indexado em toda a coleção. O custo da query é proporcional ao volume de texto da query.

If you use the Voyage AI API key that you created using your Atlas account, you can view API key usage and rate limits in the Atlas UI. To learn more, see Manage Billing for the Embedding and Reranking API. If you use keys created directly from Voyage AI, you must monitor your usage and rate limits in the Voyage AI dashboard.

Os erros de limite de taxa do lado do Voyage AI aparecem nos logs do mongot e como indicadores de documento com falha no índice afetado. Esses erros não desativam o índice, mas podem atrasar a indexação de novos documentos.

Modos de falha

Limitações

As seguintes limitações se aplicam ao embedding automatizado:

• **Status de pré-visualização.** O formato da configuração, os modelos compatíveis e os pontos de extremidade padrão podem mudar antes que o Automated Embedding esteja geralmente disponível.

• Um modelo de embedding por campo. Índices de modelo misto não são suportados.

• Sem failover de modelo de embedding. Se o ponto de extremidade do Voyage AI estiver inacessível, a indexação de novos documentos será interrompida.

Próximos passos

• Visão geral do embedding automatizado para a visão geral conceitual entre plataformas.

• Configure o mongot para a referência de configuração mongot completa.