“幻觉”的架构根源

当大型语言模型生成一个不存在的数据点、实体或公司政策时，其原因几乎总是因为：为提示提供馈送的检索管道不准确、已过时或不完整。有一个精确的名称可描述用于返回基本回答的系统与可在生产环节自信采取行动的系统之间的差距：信任差距。

无论是对昨天的客户快照进行推理的代理，还是在没有重新处理底层记录的情况下进行交换的嵌入模型，都会产生重大操作风险。它不会产生明显错误的回答；而会产生高度可信的幻觉。在单个沙盒演示中出现幻觉还可算是偶然，但同一错误若每分钟出现在数千次实时交互中，则是一起事故。

引入上下文完整性

准确性是一种基础架构属性，而它的最好定义则是上下文完整性：即保持实时操作数据、向量嵌入、搜索索引和代理状态的自动一致，而不是事后手动核对的一门学科。

当这四个变量位于由完全相同查询路径提供服务的底层记录中时，则不存在任何会导致准确性下降的同步步骤。代理接收到的检索信息会完全基于其发出的同一毫秒的操作数据源。

Voyage AI 的模型在检索嵌入基准测试 (RTEB) 中处于领先地位，且在代理实际运行的企业 RAG 任务中的表现优于 Gemini、Cohere 与 OpenAI 提供的同类模型。

MongoDB 提供了在本地弥补数据层信任差距所需的构建块：

• Voyage 4 系列互操作性：可生成完全兼容的嵌入的共享嵌入空间模型系列（voyage-4-large、voyage-4、voyage-4-lite、voyage-4-nano）。旗舰模型 voyage-4-large 是首个基于专家混合 (MoE) 架构而构建的生产级嵌入模型，它能以比同类密集模型低约 40% 的服务成本实现最先进的准确性。如此，便无需在更改成本或延迟结构时重新处理整个数据收集。
• 非对称检索：这是一项业内首创功能，而在此功能中，文档会使用 voyage-4-large 嵌入一次以获得最大基线准确性，而持续查询则使用 voyage-4-lite 进行嵌入以保持较低的延迟和词元成本。

获得技能：附带 MongoDB 的 Voyage AI

探索解决方案

构建者之旅：核心过滤规则

对于希望超越概念性空谈的工程团队而言，要达到切实的实现就需在负载下检验真实的过滤逻辑。其中一个重要示例是带有过滤器的向量搜索。

具体而言，MongoDB 通过先按属性（例如，用户 ID）进行过滤，然后运行向量搜索来处理此问题。相比之下，其他关系规划器则通常会先运行向量搜索，然后再尝试应用过滤器。当关系型搜索引擎先进行搜索时，高度相关的结果往往会在对其进行评分之前便从候选评估集中剔除。在企业生产规模下，这一细微的架构变化会产生巨大的准确性影响。

观看：构建者之旅：使用 MongoDB 构建 AI 应用

LG U+ 每月可处理 350 万次咨询

当一家企业运营一个呼叫中心且每月接听 350 万次实时客户咨询时，概念架构的论点便会遭遇非常明显的运营瓶颈。韩国电信巨头 LG U+ 着手构建“Agent Assist”：这是一款智能内部工具，可在进行实时咨询时，为 4,000 名人工代理提供实时转录、自动咨询分类以及基于上下文的摘要等功能。

它们的旧版关系数据库根本无法在同一应用程序路径中同时处理向量嵌入、事务数据和实时查询测试。通过将核心操作记录从 Postgres 迁出并将其整合到 MongoDB Atlas 上，该团队完全消除了不同系统之间易产生延迟的同步层。针对人工代理查询事务历史记录所用的完全相同的数据集合，$vectorSearch 会在本地运行语义相似性算法。

该服务在开发启动四个月后便已推出，且即使在早间高峰期，也能保持亚秒级的查询延迟。每次调用的处理时间缩短了 7%，而资源效率则提高了 30%。最初，该系统针对 1,200 名代理而部署；现在则每周可处理 100 多万个查询，且正在扩展到支持 2,300 名代理。

发货前的生产检查清单

LG U+ 展示的是数据层在生产代理获得信任之前必须满足的绝对检查清单：

1. 同地部署的索引：AI 搜索索引和实时操作数据必须位于完全相同的数据库集群中，以确保代理在执行操作时绝不会从一个版本的“数据源”检索数据，同时又根据另一版本的“数据源”采取行动。
2. 亚秒级延迟：语义查询必须在高负载情况下于一秒内完成执行，否则会导致代理响应的到达时间过晚，从而在操作层面失去实用性。
3. 自动伸缩的基础设施：该平台必须能够自动扩展，以应对早间呼叫量激增，而无需工程师手动重新预配节点。
4. 架构灵活性：底层数据模型必须动态适应不同的对话形态，而不必在业务每次迭代时都强制进行严格的架构迁移。