Menu Docs
Página inicial do Docs
/

Transforme a experiência do driver com MongoDB e Google Cloud

Aprenda a criar experiências automotivas em tempo real e controladas por voz usando o MongoDB Atlas e o conjunto de ferramentas do Google Cloud. Combine dados do veículo, contexto do usuário e incorporações do manual do carro em um assistente automotivo inteligente e dimensionável que se adapta às necessidades do motorista.

Casos de uso: Gen AI, Personalização

Setores: Manufatura e Mobilidade

Produtos: MongoDB Atlas, MongoDB Atlas Vector Search

Parceiros: Google Cloud Platform, PowerSync

As montadoras enfrentam crescente pressão para diferenciar seus veículos por meio de sistemas virtuais inteligentes e fáceis de usar. Os assistentes de voz no carro são uma maneira chave de fazer isso, mas a maioria está limitada a comandos básicos, como controlar a navegação ou a músicas. A IA generativa permite que você ultrapasse essas limitações e ofereça interações personalizadas e dinâmicas ao guiar.

Esta solução demonstra como criar um assistente de voz em tempo real com base na Gen IA e no MongoDB Atlas. A arquitetura integra a telemetria do veículo, as preferências do usuário e os manuais do carro para criar um assistente no carro que se adapta às necessidades de cada motorista. Ao usar o modelo de documento flexível do MongoDB Atlas e a pesquisa vetorial integrada, os desenvolvedores podem simplificar a complexidade dos dados e fornecer recursos com mais rapidez para uma melhor experiência no carro.

Gif demonstrando como a demonstração funciona

Figura 1. Assistente veicular Gen AI em ação

Com esta solução, você pode:

  • Unifique dados estruturados e não estruturados para aumentar o contexto dos sistemas de AI.

  • Habilite interações em tempo real com uma arquitetura dimensionável e nativa da nuvem.

  • Ofereça experiências personalizadas com a pesquisa semântica alimentada pelo Atlas Vector Search.

Embora essa solução se concentre na área de automação, ela pode ser aplicada em setores como transporte, saúde, hospitalidade e eletrônicos de consumo, para melhorar o engajamento do cliente , reduzir o Atlas e simplificar o suporte. Essa arquitetura fornece uma base para experiências orientadas por dados e encaminhamento de voz, como assistentes internos inteligentes, porteiros virtuais e sistemas de triagem médica habilitados para IA. Empresas de todos os setores está aproveitando o poder da voz com IA generativa e MongoDB para transformar as experiências do usuário.

Essa arquitetura usa o MongoDB Atlas como camada de dados, juntamente com os recursos de IA do Google Cloud, garantindo interações rápidas, personalizadas e confiáveis.

Arquitetura de referência para a solução de assistente veicular
clique para ampliar

Figura 2. Uma arquitetura de referência de um assistente com IA generativa para automóveis

Esta solução utiliza componentes hospedados no veículo e na nuvem.

Eles são executados no veículo, próximo ao motorista, e permitem a interação por voz em tempo real.

  • Console do carro: a interface do carro onde os usuários conversam com o assistente e obtêm respostas. Esta demonstração usa um aplicativo da web que representa o sistema embarcado em um veículo real.

  • Armazenamento de dados local: os veículos armazenam sinais essenciais localmente usando o PowerSync SDK, um banco de dados leve de borda criado no SQLite. Isso garante acesso rápido aos dados de diagnóstico e mantém os dados em sincronização com o MongoDB Atlas.

  • Backend do assistente: este componente gerencia a conversa. Ele lida com a transcrição de voz usando o Google Cloud Feature-to-Text. Dependendo da query, ela responde diretamente ou chama FERRAMENTAS para buscar mais dados ou executar ação. Esta demonstração inclui quatro ações de exemplo:

    • Consultar manual: usa o Atlas Vector Search para recuperar informações relevantes do manual do veículo.

    • Executar diagnósticos: obtém os códigos de diagnóstico atuais dos dados locais do veículo.

    • Recalcular rota: ajusta a viagem se o motorista adicionar uma parada.

    • Fechar chat: encerra a conversa de forma gentil.

Esta solução utiliza o seguinte objeto para definir ferramentas para o assistente de backend. A solução passa o objeto para o Google Cloud quando inicia a funcionalidade de chat.

const functionDeclarations = [
{
functionDeclarations: [
{
name: "closeChat",
description:
"Closes the chat window when the conversation is finished. By default it always returns to the navigation view. Ask the user to confirm this action before executing.",
parameters: {
type: FunctionDeclarationSchemaType.OBJECT,
properties: {
view: {
type: FunctionDeclarationSchemaType.STRING,
enum: ["navigation"],
description:
"The next view to display after closing the chat.",
},
},
required: ["view"],
},
},
{
name: "recalculateRoute",
description:
"Recalculates the route when a new stop is added. By default this function will find the nearest service station. Ask the user to confirm this action before executing.",
parameters: {
type: FunctionDeclarationSchemaType.OBJECT,
properties: {},
},
},
{
name: "consultManual",
description:
"Retrieves relevant information from the car manual.",
parameters: {
type: FunctionDeclarationSchemaType.OBJECT,
properties: {
query: {
type: FunctionDeclarationSchemaType.STRING,
description:
"A question that represents an enriched version of what the user wants to retrieve from the manual. It must be in the form of a question.",
},
},
required: ["query"],
},
},
{
name: "runDiagnostic",
description:
"Fetches active Diagnostic Trouble Codes (DTCs) in the format OBD II (SAE-J2012DA_201812) from the vehicle to assist with troubleshooting.",
parameters: {
type: FunctionDeclarationSchemaType.OBJECT,
properties: {},
},
},
],
},
];

Esses componentes são armazenados no Google Cloud ou MongoDB Atlas e fornecem inteligência de IA, armazenamento dimensionável e funcionalidades de processamento de dados.

  • Ingestão de dados: conteúdos não estruturados, como manuais de automóveis, são carregados no Google Cloud Storage. Isso aciona um pipeline usando Pub/Sub, Cloud Run e Document AI para dividir os PDFs em partes. O Vertex AI gera incorporações para essas partes, que são armazenados no MongoDB Atlas para pesquisa semântica.

  • Serviço de APIs de voz: as APIs de texto para voz e de voz para texto do Google Cloud lidam com a interação por voz natural. A IA do Vertex fornece incorporações de texto para queries de pesquisa e alimenta o Gêmeos, que é o LLM usado pelo assistente.

  • Armazenamento e recuperação de dados: O MongoDB Atlas armazena:

    • Incorporações manuais de partes para recuperação por meio do Atlas Vector Search.

    • Preferências do usuário e dados da sessão.

    • Sinais de veículos — tanto os valores mais recentes quanto a telemetria completa de séries temporais.

O Atlas Vector Search é usado para combinar as perguntas do usuário com as seções do manual mais relevantes, permitindo um fluxo de geração aumentada de recuperação (RAG). O suporte nativo do MongoDB para dados estruturados, semiestruturados e vetoriais em um só lugar simplifica a lógica do assistente e acelera o desenvolvimento.

  • Sincronização de dados: essa solução usa o PowerSync para sincronização bidirecional entre o veículo e a nuvem:

    • Do veículo para a nuvem: o veículo envia dados de telemetria, como códigos de diagnóstico, velocidade e aceleração. Uma função de execução na nuvem os processa e armazena no Atlas.

    • Nuvem para veículo: permite atualizações ou ações enviadas remotamente para o carro, como atualizações OTA ou bloqueio remoto.

O MongoDB Atlas melhora esta arquitetura de soluções das seguintes maneiras:

  • Unifica dados operacionais e vetoriais: sinais de veículo, incorporações vetoriais e sessões de usuário são armazenados juntos em uma única plataforma.

  • Permite respostas mais relevantes: o Atlas Vector Search recupera as partes corretas de documentos grandes instantaneamente, alimentando respostas precisas e ricas em contexto.

  • Criado para ter escala empresarial: seja um único modelo ou uma frota global, o MongoDB Atlas oferece escalabilidade horizontal integrada, alta disponibilidade e segurança de nível empresarial.

  • Simplifica a sincronização entre a borda e a nuvem: o PowerSync e o MongoDB trabalham juntos para integrar ambientes automotivos e de nuvem sem atrito.

Essa arquitetura foi projetada para dimensionar, desenvolver e se adaptar, assim como os veículos que ela suporta. Com o MongoDB no núcleo, as montadoras podem se concentrar menos no encanamento de dados e mais na entrega de experiências inteligentes e úteis no carro que realmente fazem a diferença na motorista.

A qualidade, a estrutura e a acessibilidade dos seus dados são extremamente importantes em uma experiência baseada em IA. Nesta solução, o document model do MongoDB permite flexibilidade, velocidade e escalabilidade para desenvolvedores que criam assistentes inteligentes no carro.

Ao contrário dos bancos de dados relacionais tradicionais que dependem de tabelas rígidas e junções complexas, o MongoDB armazena dados como documentos flexíveis. Isso torna mais fácil representar estruturas de dados do mundo real, como telemetria de veículos ou partes de conhecimento incorporadas, exatamente como são usados no código. Isso também significa que você pode iterar mais rapidamente, adaptar seu modelo sem tempo de inatividade e criar novas funcionalidades à medida que seu aplicativo desenvolve.

O document model foi projetado para desenvolvedores. O esquema flexível do MongoDB permite que você altere e atualize facilmente seu modelo de dados. À medida que novos recursos de veículos são lançados ou as expectativas do usuário mudam, as equipes podem desenvolver o modelo de dados dinamicamente, sem migrações dispendiosas ou tempo de inatividade do aplicativo. Além disso, como cada documento é autônomo, as queries são mais rápidas e simples.

A IA generativa depende de dados ricos, diversos e não estruturados. Incorporações, metadados contextuais, referências estruturadas contribuem para melhorar os sistemas de IA. Você pode executar as seguintes ações com o MongoDB:

  • Armazenar incorporações vetoriais, metadados e conteúdo de origem em um único documento.

  • Combine dados estruturados e vetoriais sem alternar entre sistemas.

  • Faça a query de campos vetoriais e não vetoriais juntos para obter resultados contextuais e precisos.

Ao usar uma abordagem de geração aumentada de recuperação (RAG), a qualidade dos blocos e das incorporações afeta diretamente a qualidade das respostas da IA. Conteúdo mal segmentado ou contexto ausente pode levar a respostas vazias ou imprecisas. Os manuais técnicos geralmente contêm texto denso, diagramas e terminologia específica do domínio, tornando difícil recuperar as informações corretas.

Esta solução representa cada parte do manual como um documento. O documento inclui não apenas o texto e sua incorporação vetorial, mas também metadados como tipo de conteúdo (por exemplo segurança e diagnóstico), números de página, comprimento de parte e links para partes relacionadas. Esse contexto adicional ajuda o sistema a entender como as informações se relacionam entre si, o que é especialmente importante em tópicos altamente técnicos ou interdependem.

O modelo de documento flexível do MongoDB facilita a captura dessa complexidade. À medida que o manual avança ou à medida que novas necessidades surgem, você pode adicionar campos ou ajustar a estrutura de forma incremental sem exigir uma migração completa do esquema. Isso permite uma recuperação mais precisa e respostas de IA mais úteis.

O seguinte documento de exemplo representa uma parte manual:

{
"_id": {
"$oid": "67cc4b09c128338a8133b59a"
},
"text": "Oil Pressure Warning Lamp. If it illuminates when the engine is running this indicates a malfunction. Stop your vehicle as soon as it is safe to do so and switch the engine off. Check the engine oil level. If the oil level is sufficient, this indicates a system malfunction.",
"page_numbers": [
23
],
"content_type": [
"safety",
"diagnostic"
],
"metadata": {
"page_count": 1,
"chunk_length": 1045
},
"id": "chunk_0053",
"prev_chunk_id": "chunk_0052",
"next_chunk_id": "chunk_0054",
"related_chunks": [
{
"id": "chunk_0048",
"content_type": [
"safety"
],
"relation_type": "same_context"
},
{
"id": "chunk_0049",
"content_type": [
"safety"
],
"relation_type": "same_context"
},
...
],
"embedding": [
-0.002636542310938239,
-0.005587903782725334,
...
],
"embedding_timestamp": "2025-03-08T13:50:00.887107"
}

Para sinais de veículos, esta solução modela dados usando a Especificação de Sinal de Automóvel (VSS) da COVESA. O VSS fornece uma estrutura hierárquica padronizada para descrever sinais em tempo real, como velocidade, aceleração ou códigos de problemas de diagnóstico (DTCs). É um formato aberto e extensível que facilita a colaboração, a integração de sistemas e a reutilização de dados em plataformas de veículos.

Como o modelo de documento do MongoDB lida nativamente estruturas aninhadas, representar a hierarquia do VSS é simples. Os sinais podem ser agrupados logicamente, assim como aparecem no modelo VSS, que se alinha à estrutura baseada em árvore da especificação.

Arquitetura de referência para a solução de assistente veicular

figura 3. O modelo de dados VSS é uma estrutura hierárquica de árvore construída com módulos que podem ser combinados de forma flexível. Fonte: https://covesa.global/vehicle-signal-specification/

Essa estrutura acelera o desenvolvimento e garante que as ferramentas e os fluxos de trabalho de IA tenham acesso consistente a dados limpos, estruturados e significativos.

O documento a seguir é um exemplo de representação de um sinal de veículo que está em conformidade com o VSS.

{
"_id": {
"$oid": "67e58d5f672b23090e57d478"
},
"VehicleIdentification": {
"VIN": "1HGCM82633A004352"
},
"Speed": 0,
"TraveledDistance": 0,
"CurrentLocation": {
"Timestamp": "2020-01-01T00:00:00Z",
"Latitude": 0,
"Longitude": 0,
"Altitude": 0
},
"Acceleration": {
"Lateral": 0,
"Longitudinal": 0,
"Vertical": 0
},
"Diagnostics": {
"DTCCount": 0,
"DTCList": []
}
}

O modelo de documento do MongoDB não apenas armazena seus dados. Ele espelha a complexidade do mundo real, facilitando a criar de sistemas mais inteligentes que respondam em tempo real, se adaptem às necessidades do usuário e cresçam com sua plataforma. Esteja você armazenando diagnósticos de veículos ou manuais codificados por vetores, o MongoDB fornece as FERRAMENTAS para criar experiências inteligentes com mais rapidez.

A criação dessa solução pode ser dividida nas etapas descritas abaixo. Você usa o MongoDB Atlas para hospedar seus dados, o Google Cloud para serviços de IA, o PowerSync para transmitir dados de veículos e um aplicativo de pilha completa para vincular tudo. Você pode encontrar todos os ativos e recursos necessários no repositório do GitHub. Para obter instruções mais detalhadas, consulte o READMEdo repositório.

1

Provisione um cluster em sua conta Atlas e preencha seu banco de dados com os dados necessários para a demonstração. Um despejo de dados pode ser encontrado dentro do repositório para replicar rapidamente o banco de dados com todos os dados e metadados necessários com um comando rápido mongorestore.

2

Crie um projeto na Google Cloud e habilite as APIs necessárias: Speech-to-Text, Text-to-Speech, Document AI, e Vertex AI. Para o desenvolvimento local, configure as credenciais padrão do aplicativo para que ele se possa autenticar facilmente com os serviços Google. Instruções detalhadas são fornecidas na Documentação Google Cloud.

3

A demonstração inclui um conjunto pré-calculado de incorporações para o manual do veículo. No entanto, você pode gerar suas próprias incorporações analisando arquivos em PDF com a AI de documento e incorporá-las usando a Vertex AI. Isso oferece a você a flexibilidade de expandir o assistente com documentos personalizados ou manuais adicionais, conforme necessário.

4

Crie uma conta PowerSync e vincule seu banco de dados MongoDB usando sua string de conexão. O PowerSync atua como uma ponte de dados, sincronizando dados do MongoDB com aplicativos cliente em tempo real. Defina regras de sincronização para a coleção vehicleData.

5

Clone o repositório localmente e crie um arquivo .env usando o modelo fornecido. Depois que seu ambiente estiver configurado, execute npm install para instalar dependências e, em seguida, inicie o servidor de desenvolvimento com npm run dev. O aplicativo está disponível em http://localhost:3000.

  • A IA conversacional começa com a base de dados correta: dados ricos, contextuais e acessíveis são o que alimenta os assistentes de voz inteligentes. O MongoDB Atlas unifica telemetria estruturada, manuais não estruturados e incorporações vetoriais em uma única plataforma compatível com desenvolvedor, eliminando silos de dados e facilitando o servir de respostas relevantes em tempo real.

  • O MongoDB acelera a novidade da fábrica para a linha de chegada: Aplicativos automotivos modernos exigem flexibilidade e velocidade, da manutenção preditiva e diagnóstico a sistemas de dashboard digital. O esquema flexível do MongoDB, as funcionalidades de sincronização em tempo real e a escalabilidade horizontal ajudam as equipes a se moverem mais rapidamente, colaborarem com mais eficiência e fornecer recursos que diferenciam seus veículos.

  • Os drivers estão prontos para a próxima geração de assistentes de voz: com veículos eléctricos, automação e sistemas de segurança inteligentes, os clientes têm grandes expectativas em relação aos sistemas no automóvel. A IA generativa permite que os assistentes forneçam conversas interativas e detalhadas, e o MongoDB oferece aos desenvolvedores as ferramentas para criar essas experiências em escala.

  • Dr. Humza Akhtar, MongoDB

  • Rami Pinto, MongoDB

  • Rápida implantação de agente de IA

  • Manutenção preditiva de IA multiagente com MongoDB

  • Excelência em manutenção preditiva com o MongoDB Atlas

Voltar

RAG sensível ao contexto para documentos técnicos

Nesta página