Você pode configurar o MongoDB Vector Search para gerar e gerenciar automaticamente vector embeddings para os dados de texto em seu cluster Atlas. Quando você ativa a Incorporação automatizada, o MongoDB **Vector Search** gera automaticamente **embeddings** usando o **embedding model** da Voyage AI especificado no momento do **índice** para o **campo** de texto especificado em sua **coleção** e no momento da **query** para a **string** de texto em sua **query**.
A Automated embedding simplifica o processo de criação de pesquisa semântica. Você não precisa gerar, armazenar ou gerenciar vector embeddings por conta própria. O Atlas lida com a geração de embedding, atualizações e query nativamente.
Observação
Quando você usa o Automated Embedding, o MongoDB pesquisa vetorial armazena embedding vetoriais gerados em seu cluster.
Ao usar o Automated Embedding em cluster dedicado (M10+), você deve habilitar o dimensionamento automático do armazenamento. Se o cluster ficar sem espaço em disco, o MongoDB Vector Search pausará a geração de embedding e o índice fará a transição para o estado Stale. Assim que o espaço em disco for liberado, o MongoDB pesquisa vetorial retomará a geração de embedding.
Você pode implantar o MongoDB Vector Search e ativar a pesquisa semântica inteligente com IA em seus dados de texto por meio da Incorporação automatizada nos índices do MongoDB Vector Search. As funcionalidades de incorporação automatizada do MongoDB transformam o processo tradicionalmente complexo de implementação de pesquisa vetorial em uma solução de etapa única. Em vez de gerenciar a infraestrutura de incorporação, a seleção de modelo e o código de integração separados, agora você pode implementar a pesquisa semântica por meio de uma simples configuração de campo .
Quando você configura índices do MongoDB Vector Search, ele gera automaticamente incorporações vetoriais para dados de texto em sua coleção, usando sua seleção de um modelo de incorporação Voyage AI de última geração, mantém as incorporações em sincronização à medida que seus dados são alterados e também suporta uso de queries de texto em linguagem natural. Essas incorporações vetoriais capturam relacionamentos significativos em seus dados e permitem a pesquisa com base em intenção, em vez de palavras-chave.
Importante
O embedding automatizado está disponível como um recurso de pré-visualização. O recurso e a documentação correspondente podem mudar a qualquer momento durante o período de pré-visualização. Não use esse recurso em seu ambiente de produção. Não usamos nenhum dado do cliente desse recurso para treinar nossos modelos neste momento. Para aprender mais, consulte Recursos de visualização.
Habilitar e usar o embedding automatizado
Para habilitar a embedding automatizada, crie um índice do MongoDB pesquisa vetorial usando o tipo autoEmbed . O tipo de autoEmbed especifica o campo para o qual você deseja habilitar a Automated embedding e o embedding model que deseja utilizar. Você também pode incluir um ou mais campos para pré-filtrar seus dados usando o tipo filter.
{ "fields": [ { "type": "autoEmbed", "modality": "text", "path": "<field-to-index>", "model": "<embedding-model>" }, { "type": "filter", "path": "<field-to-index>" }, ... ]}Para aprender mais sobre a sintaxe e os campos do índice, consulte Como indexar campos para a pesquisa vetorial.
A pesquisa vetorial do MongoDB gera automaticamente embeddings para documents novos e existentes que você insere ou atualiza.
Depois de criar o índice, você pode executar suas query. O MongoDB pesquisa vetorial gera automaticamente embeddings para seu texto de query usando o mesmo embedding model especificado no índice. Opcionalmente, você pode especificar um embedding model diferente usando a opção model no estágio de pipeline $vectorSearch, mas o embedding model especificado deve ser compatível com o embedding model usado no momento do índice.
[ { "$vectorSearch": { "index": "<index-name>", "path": "<field-to-index>", "query": "<query-text>", "model": "<embedding-model>" } }, { "$project": { "_id": 0, "<field-to-index>": 1, "score": { "$meta": "vectorSearchScore" } } }]Para saber mais, consulte Executar consultas ANN e ENN de pesquisa vetorial.
Observação
O recurso está disponível para implantações do MongoDB Search e do MongoDB Pesquisa Vetorial usando Docker, tarball ou um gerenciador de pacotes e para implantações usando o MongoDB Drivers for Kubernetes Operator com o MongoDB 8.2 ou posterior Community Edition. A funcionalidade de embedding automatizada ainda não está disponível para a MongoDB Enterprise Edition.
Com uma alteração simples de configuração, você pode ativar a pesquisa semântica, RAG, e a memória para os agentes de IA sem escrever código de incorporação, gerenciar a infraestrutura do model ou lidar com pipelines vetoriais. Ou seja, ao implantar o MongoDB Community Edition com o processo do MongoDB Search e Vector Search, mongot, você pode fornecer as chaves da API do Voyage AI para usar na geração de incorporações, de preferência uma para operações de indexação e outra para operações de query de diferentes projetos.
Após a implantação:
Na sua coleção, escolha o campo de texto para o qual deseja habilitar a pesquisa semântica.
Na lista de modelos de incorporação disponíveis, escolha um modelo de incorporação.
Em sua definição de índice do MongoDB Vector Search, configure a Incorporação automatizada usando o tipo
autoEmbed.
Para saber mais sobre como configurar o índice do MongoDB pesquisa vetorial para embedding automatizado, consulte Como indexar campos para o pesquisa vetorial.
MongoDB Vector Search gera automaticamente incorporações para documentos novos e existentes que você insere ou atualizar usando as chaves de API especificadas ao inicializar o MongoDB Community Edition.
Para query, use a opção query.text no estágio de pipeline $vectorSearch. A pesquisa vetorial do MongoDB gera embedding para a query de texto usando o mesmo modelo de embedding na definição do índice. Você pode especificar um modelo de embedding diferente usando a opção model no estágio de pipeline $vectorSearch, mas o modelo de embedding especificado deve ser compatível com o modelo de embedding usado no momento do índice. O MongoDB Vector Search usa a chave de API de query que você forneceu durante a inicialização do MongoDB Community para gerar os embedding no momento da query. Para aprender mais, consulte Executar query ANN e ENN de pesquisa vetorial.
Você incorre em cobranças por gerar embeddings usando as chaves de API. Para aprender mais, consulte Gerenciar Faturamento.
Para automatizar embedding e executar uma query de amostra, consulte MongoDB pesquisa vetorial Quick Start Tutorial.
Chaves de API do Voyage AI
Embora seja possível usar uma única chave de API para gerar incorporações no momento do índice e no momento da query, recomendamos que você use chaves de API separadas para evitar que as operações de query afetem negativamente as operações de indexação.
Você pode gerar chaves de API das seguintes maneiras:
(Recommended) Usando sua conta do Atlas, que permite que você gerencie sua chave de API do modelo de incorporação do Voyage IA a partir da IU do Atlas.
Para saber mais sobre como gerar e gerenciar chaves de API, incluindo a configuração dos limites de taxa (que é uma combinação de TPM e RPM) e o monitoramento do uso da chave de API, consulte Modelo de chaves de API.
Para saber mais sobre como gerenciar as chaves API criadas a partir da Voyage AI, consulte Chave API.
Depois de criar as chaves, você deve especificar as chaves que deseja usar para embedding automatizado ao configurar mongot durante a implantação com o MongoDB Community Edition. MongoDB pesquisa vetorial usa a chave da API do Voyage AI que você forneceu durante a implantação de mongot para gerar automaticamente embedding para seus dados no momento do índice e para seu texto de query no momento da query.
Armazenamento de incorporações
Índices de incorporação automatizados geram vector embeddings de forma assíncrona e persistem no cluster MongoDB em um banco de dados de reserva separado. Cada índice de embedding Automatizada tem exatamente uma Coleção de embeddings gerada correspondente. A coleção de incorporações gerada é armazenada em um banco de dados interno dedicado no mesmo cluster.
Para aprender mais, consulte Coleção de incorporações geradas.
Modelos disponíveis
O MongoDB Vector Search se integra aos modelos de incorporação de última geração da Voyage IA, cada um otimizado para casos de uso específicos:
Modelo de incorporação | Descrição | Preço por 1M de tokens |
|---|---|---|
| Otimizado para aplicativos de alto volume e sensíveis ao custo. | $0.02 |
| (Recomendado) Desempenho balanceado para pesquisa geral de texto. | $0.06 |
| Máxima precisão para relacionamentos semânticos complexos. | $0.12 |
| (Recomendado para código) Especializado para pesquisa de código e documentação técnica. | $0.12 |
| Modelo legado especializado em pesquisa de código e documentação técnica. Em vez disso, use | $0.18 |
Observação
voyage-code-4 requer uma implantação do Atlas. Em implantações autogerenciadas, use voyage-code-3 para pesquisa de código e documentação técnica.
Para aprender mais, consulte Models para embedding automatizada.
Conceitos chave
- modelo de incorporação
Embedding models são algoritmos que convertem dados em vector embeddings que capturam o significado semântica ou subjacente dos dados. Estes vetores habilitam a pesquisa vetorial.
Para aprender mais sobre os embedding models para embedding automatizada, consulte Models disponíveis.
- incorporações de vetor
Uma incorporação de vetor é uma array de números, com cada dimensão representando uma funcionalidade ou atributo diferente de seus dados. Os vetores podem ser usados para representar qualquer tipo de dados, de texto, imagens e vídeo a dados não estruturados. Você cria incorporações vetoriais passando seus dados por um modelo de incorporação e pode armazenar essas incorporações em um banco de dados que oferece suporte a incorporações vetoriais, como o MongoDB.
Para aprender mais sobre o armazenamento de embeddings para Automated Embedding, consulte Coleção de embeddings gerada.
- tokens
No contexto de modelos de embedding e LLMs, os tokens são as unidades fundamentais de texto, como palavras, subpalavras ou caracteres que o modelo processa para criar embeddings ou gerar texto. Os tokens são como você é cobrado pelo uso de modelos de embedding e LLMs.
Para aprender mais sobre tokens para Automated embedding, consulte Gerenciar Faturamento para Automated embedding.
- limites de taxa
Os limites de taxa são restrições impostas pelos fornecedores de API sobre o número de solicitações que um usuário pode fazer dentro de um período de tempo específico, geralmente medido em tokens por minuto (TPM) ou solicitações por minuto (RPM). Esses limites garantem o uso leal, evitam violações e mantêm a estabilidade e o desempenho do serviço para todos os usuários.
Para saber mais sobre os limites de taxa de Automated embedding, consulte Limites de taxa.
- quantização
A quantization reduz a precisão das vector embeddings para diminuir o uso de memória e armazenamento, com desvantagens na precisão da pesquisa. Para Automated embedding, o MongoDB Vector Search suporta os seguintes tipos de quantization:
Quantization TypeDescriçãofloatArmazena as vector embeddings como valores float de 32bits.
scalarReduz cada vector dimension de 32-bit float para 8-bit inteiros.
binaryReduz cada dimensions para um único bit e redefine os principais resultados.
binaryNoRescoreReduz cada vector dimensions para um único bit sem reclassificar.
Para saber mais sobre a quantization para Automated embedding, consulte Sobre a quantization.
- número de dimensões
O número de dimensions especifica o comprimento do vetor de embedding para cada document ( quantos números estão na array ). Higher dimensions capturam mais detalhes semânticas e, em geral, melhoram a precisão da recuperação, mas aumentam os custos de armazenamento e computação (tamanho do índice, uso de RAM e, às vezes, latência).
Para saber mais, consulte Seleção
numCandidates.- similaridade
A função de similaridade é utilizada para medir a similaridade entre dois vetores ou a proximidade de um vetor de query dos vetores no índice. O MongoDB pesquisa vetorial oferece suporte às seguintes funções de similaridade:
cosine- mede a similaridade com base no ângulo entre os vetores. Recomendamos esta função de similaridade para vetores não normalizados, como a quantizaçãoscalar.dotProduct- mede a similaridade comocosine, mas leva em consideração a magnitude do vetor. Recomendamos esta função de similaridade para vetores normalizados como quantização float (fidelidade total).euclidean- mede a distância entre as extremidades dos vetores. Recomendamos esta função de similaridade para quantizationbinaryoubinaryNoRescore, onde os vetores são compactados e a distância no espaço Hamming ou Euclideano é o sinal correto.
Para aprender mais sobre as funções de similaridade da Automated embedding, consulte Sobre as funções de similaridade.