对于 AI 代理:可在 https://www.mongodb.com/zh-cn/docs/llms.txt 获取文档索引—通过在任何 URL 路径后添加 .md 可获取所有页面的 Markdown 版本。

面向联网汽车的 Edge AI Copilot

使用案例: 人工智能

行业: 制造和移动性, 移动和边缘

产品: MongoDB Atlas、MongoDB Atlas Vector Search、MongoDB Atlas Triggers、Voyage AI

合作伙伴: ObjectBox

联网车辆会持续为驾驶员生成传感器数据,而驾驶员则期望获得即时的免提支持。然而,当在停车场、隧道或乡村道路上出现连接中断时,任何依赖云的助手都会在最关键的时刻失效。

该解决方案在边缘运行 AI 副驾驶,以确保在网络服务中断期间提供持续的车内辅助。它使用设备上的 ObjectBox 数据库来存储实时车辆遥测数据以及车主手册。然后,它使用不需要活动网络连接的本地 LLM 代理来处理查询。重新连接后,ObjectBox 同步 服务器会自动将此边缘数据同步回 MongoDB Atlas。

MongoDB Atlas 提供服务作为集中式云记录系统。它对手动内容执行向量搜索,在时间序列集合中维护遥测历史记录,并通过 Atlas trigger 将每个同步快照处理成可完全查询的文档。

构建车载助手的架构旨在无需互联网连接即可提供准确的响应,该架构分割为两个层级:车载边缘层级和 MongoDB Atlas 云层级。

车载边缘层级构成了一个自包含的运行时,其中 Cockpit、后端、本地代理和 ObjectBox 服务直接在车辆上进行通信。此堆栈使助手能够在没有 MongoDB Atlas 的情况下检索知识并进行操作,同时在恢复连接时将本地数据与 MongoDB Atlas 同步。边缘层级使用以下组件:

  • 驾驶舱用户界面:使用 Next.js 构建,此界面显示实时仪表、故障代码滚动显示器、聊天面板和地图,并将所有浏览器调用限制为同源 API 路由。

  • Python 后端: 曝露 REST 终结点和服务器发送事件,以处理遥测代理、语音转文本和文本转语音转换、和代理协调。

  • LangChain 代理:通过 Ollama 与本地 LLM 通信,管理用于离散在线和离线执行路径的双重预编译图表。

  • 嵌入管道:首先将车辆手册划分为较小的文本数据块。然后,使用 Voyage AI 的 voyage-4-nano 模型将每个数据块转换为 1,024 维嵌入,并将生成的嵌入与相应的数据块一起存储。

  • ObjectBox 服务:由 C++ 提供支持,三个不同的同步客户端在本地存储用户手册数据块及其嵌入、车辆遥测和对话历史记录。

  • ObjectBox HNSW 向量搜索: ObjectBox 对当地存储的手动嵌入维护 HNSW 向量索引。所产生的索引可以在车辆上直接实现近似最近邻 (ANN) 搜索,使助手能够在离线状态下检索相关的手册内容,并且不依赖 MongoDB Atlas 连接。

  • 遥测生成器:以两秒为间隔直接将 VSS 快照捕获并保存到本地遥测存储中。

MongoDB Atlas 作为车辆本地 ObjectBox 存储的连接对应方。当连接可用时,它会接收同步的手动数据块和嵌入、车辆遥测数据以及对话历史记录,在边缘层级保持离线运行的同时提供基于云的持久性。云层使用以下组件:

  • 数据复制:ObjectBox 同步服务器连接到云,通过 MongoDB 连接器 将边缘数据存储直接同步到 MongoDB Atlas。同步内容包括手动数据块、其嵌入、遥测和对话历史记录。

  • MongoDB Atlas 集群:维护复制的数据集合,并提供比本地 ObjectBox 存储更多的存储容量。与 MongoDB Atlas 的同步使该解决方案能够保留更大容量的手动内容、遥测数据、对话历史记录和其他长期数据,而不会受到车辆本地存储容量的限制。

  • Atlas Vector Search:对同步的手动嵌入进行索引,并在连接可用时对完整的手动内容提供云端向量搜索。

  • Atlas Triggers:自动将传入的遥测快照转换为状态文档,同时扩展专用的时间序列历史日志。

随着边缘层级和云层级建立,执行流程描述了驱动程序的请求如何通过系统,从 Cockpit 移动到本地后端和代理。云同步在连接可用时进行。

当驱动程序输入或说话时,后端会将请求流直接馈送到代理。代理使用 LangGraph 评估查询,并决定调用哪个工具。

汽车手册经过数据块处理,并使用 MongoDB Voyage AI 的 1、024 维 voyage-4-nano 模型进行嵌入。相同的嵌入表示形式存储在本地的 ObjectBox 中,并复制到 MongoDB Atlas,在那里为 MongoDB Atlas Vector Search 建立索引。在边缘,ObjectBox 的 HNSW 索引 支持对汽车手册嵌入进行本地近似最近邻 (ANN) 检索。在云端,MongoDB Atlas Vector Search 为同步的手动内容提供相应的向量搜索功能。

当请求涉及车辆信息时,代理会确定哪种遥测工具最适合驱动程序的问题并调用它。根据请求,所选工具会从相应的遥测存储中检索当前车辆状态、相关 VSS 信号、故障代码或派生状态信息。如果所选工具返回 DTC,代理可以调用专用翻译工具将代码及其相关信号转换为对受影响系统、含义、严重性和下一个步骤的清晰解释。

document model 在一个数据库中存储这些形状:

  • 结构化遥测

  • 自由文本手动数据块

  • 聊天记录

  • 时间序列遥测数据

  • 汽车的最后状态

每个遥测快照都是一个文档。一个快照包含完整的 VSS 车辆树,跨越多个域的约 1300 个信号,以嵌套 JSON 形式存储。该模型在这些域中不需要固定的模式。

ObjectBox 将遥测有效负载存储为 string。MongoDB 连接器通过 JsonToNative 外部类型将其扩展为 Atlas 中的原生嵌套文档,因此云查询可以按其确切的 VSS 路径寻址字段。

这些数据模型共同构成了该解决方案的核心领域:可搜索的手动知识、对话历史记录、原始车辆遥测数据、当前车辆状态和历史遥测数据。分离这些数据类型可以实现高效检索,支持实时车辆状态查询,保留对话上下文,并使长期遥测历史记录在 MongoDB Atlas 中保持可扩展的和可查询。此解决方案的集合包括:

  • manual_chunks: 带有 1024 维 Voyage AI 嵌入的《用户手册》文本数据块,用于向量搜索。

  • conversations: 聊天历史,包括人类和助手的回复,以及每个助手用于回答问题的工具。

  • objectbox_telemetry:每个文档的原始快照,从边缘同步而来。

  • telemetry-status: 当前车辆状态,每辆车一个文档,由 trigger 写入。

  • telemetry-data: MongoDB 时间序列集合。Atlas trigger 每个快照添加一条记录,因此,随着数据的增长,历史查询保持高效。

查看 Github 存储库 中的 README 以获取完整的实现详细信息。以下步骤介绍了如何创建应用程序:

1

下载 项目并查看 README 以了解所需的配置。

2

预配 MongoDB Atlas 集群并配置所需的数据库访问权限。

3

设置本地 ObjectBox 存储和车辆端服务。

4

配置 ObjectBox Sync 服务器 和 MongoDB 连接器,以在本地 Objectbox 存储和 MongoDB Atlas 之间同步数据。

5

填充手动数据块及其嵌入,以便助手可以在本地和云中检索内容。

6

在同步的手动嵌入上配置向量搜索索引,以便 Atlas 可以执行云端语义检索。

7

配置触发器以处理同步遥测、维护当前车辆状态并将历史记录附加到时间序列集合。

8

按照存储库的设置说明启动同步服务、后端和 Cockpit 应用程序。

9

在连接状态下测试助手,验证它可以离线运行,并确认在恢复连接后数据同步。

  • 保持边缘权威性:设备上的 ObjectBox 存储在没有连接的情况下提供读取服务并接受写入,因此助手可以在低连接环境下工作。

  • 在查询所在的位置运行向量搜索:MongoDB Voyage AI 嵌入模型(voyage-4-nano,1024 维度)为边缘的 ObjectBox 向量搜索和云中的 Atlas Vector Search 提供支持,因此回答在不同模式下保持一致。

  • 将遥测历史记录存储为时间序列:MongoDB Atlas trigger 将每个快照写入 MongoDB 时间序列集合中。

  • 将一个快照建模为一个文档:灵活的 document model 存储 VSS 信号,无需固定的跨域模式。

  • 设计服务以容忍连接丢失:边缘设备在离线时缓冲写入,并在重新连接时与 MongoDB Atlas 进行协调。

  • Timothy Marland,MongoDB

  • Dorottya Nyárády, MongoDB