适用于技术Docs的上下文感知 RAG

摄取管道层

摄取管道层将原始 PDF 转换为保留内容和上下文的结构化数据。这样可以确保技术关系、层次结构和上下文依赖在分块进程中保持不变，从而提高 RAG 系统的质量和可靠性，防止关键信息丢失。使用汽车手册数据摄取笔记本开发摄取管道层。此文件提供了有关如何实现该层的详细指南，并指导您完成以下进程。

1。将可移植文档转换为结构 DataFrame

要开发摄取管道层，请首先使用 google-cloud-documentai Python库进程PDF 源。将API响应解析为结构化的 Pandas DataFrame。每行代表一个不同的文本区块，其中包含以下列：

• 边界框坐标

• 页码

• 文本内容

2。应用结构推断规则

然后，遍历 DataFrame 并应用基于规则的引擎来推断上下文，如下所示：

• 标题检测：全部大写或较大字体的文本块被识别为节标题。

• 列表和程序识别：水平边界框位置显示指示列表或程序步骤的缩进模式。

• 语义分块策略：文本被聚合为有意义的数据段，一直持续到遇到主标题，确保过程和表格保持不变。

3。丰富数据以实现高质量检索

创建一个名为 breadcrumb_trail 的字符串变量，以捕获每个数据块的层级路径。 将此字符串添加到数据段的文本之前，然后再将其发送到 Google Vertex AI textembedding-gecko 模型。 这种设计通过向量嵌入对数据段的文本及其在文档层次结构中的上下文位置进行编码，从而提高了语义搜索相关性。

4。使用替代方法

使用上下文化的数据块嵌入模型（例如 voyage-context-3）来简化进程。这些模型在生成嵌入时分析文档的全局上下文，并具有以下优点：

• 简化摄取：减少手动上下文扩充步骤，例如创建和添加 breadcrumb_trail 变量。该模型会在嵌入过程中自动处理上下文注入。

• 更高的检索准确性：生成细致入微的嵌入，从而提高缺乏本地上下文的数据段的检索质量。

• 降低对分块的敏感度：实施对分块依赖程度较低的检索进程。该模型的全局感知能力弥补了次优分割的问题。

查询层

查询层实现了将精确匹配与语义搜索相结合的分层搜索方法。每个层级独立运行，并使用分数融合将其结果组合在一起，如下所示：

• 1 层提供高精度关键字匹配。

• 第 2 层将语义理解添加到最终排名分数中。

本部分演示如何构建平衡精度和召回率的查询层，同时保持分数透明度。生产系统使用分层的搜索相关性方法来衡量检索到的文档在满足用户查询的准确性。

第 1 层：复合文本搜索的精度

工业应用程序需要精确地查找错误代码或零件号等术语。您可以通过在Atlas Search的 compound操作符内使用多层策略来实现此精度，如下所示：

{
   "$search": {
      "index": "manual_text_search_index",
      "compound": {
         "should": [
            // High-Precision: Exact phrase matching with highest boost
            {
               "phrase": {
                  "query": "car won't start",
                  "path": "breadcrumb_trail",
                  "score": { "boost": { "value": 10 } }
               }
            },
            // Balanced Relevance: Individual word matching with medium boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "score": { "boost": { "value": 4 } }
               }
            },
            // High-Recall: Fuzzy matching to catch typos with low boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "fuzzy": {},
                  "score": { "boost": { "value": 1.5 } }
               }
            }
         ]
      }
   }
}

此查询使用 should 子句，允许您构建复合搜索查询。生成的分数等于所有匹配子句的总和，如下所示：

• 精确短语匹配应用 10 的分数乘数，以确保包含精确短语的文档排名最高。

• 单个单词匹配会将分数乘数 4 应用于包含单个搜索词的文档。即使单词单独出现，此功能也会捕获相关内容。

• 模糊匹配应用的分数乘数为 1.5。此功能可捕获存在错别字或变体的文档，并防止其排名超过精确匹配项。

第 2 层：分解混合搜索以提高透明度

使用 $rankFusion 将 1 层的精确 compound 文本查询与 2 层的语义向量搜索相结合。该聚合操作符可提供关键字匹配精度和语义理解。您还可以细分最终分数，以准确显示文本和向量搜索对每个结果排名的贡献。这种透明度使开发者能够：

• 调试搜索相关性，以确定是文本搜索还是向量搜索驱动了排名结果。

• 通过清晰的分数明细，了解某些文档排名更高的原因。

• 使用不同的权重策略优化 A/B 测试场景。

使用search_new.py文件实施混合搜索。此文件包含执行以下操作的代码：

1. 使用以下聚合管道通过 scoreDetails 执行 $rankFusion：

   {
      $rankFusion: {
         input: {
            pipelines: {
               <myPipeline1>: <expression>,
               <myPipeline2>: <expression>,
               ...
            }
         },
         combination: {
            weights: {
               <myPipeline1>: <numeric expression>,
               <myPipeline2>: <numeric expression>,
               ...
            }
         },
         scoreDetails: <bool>
      }
   }

2. 使用 $addFields操作符提取元数据：

   {
      $addFields: {
         scoreDetails: {
            $meta: "scoreDetails"
         }
      }
   }

3. 使用 $filter 和 $arrayElemAt 操作符解析 scoreDetails大量，从而隔离管道贡献。此方法为来自 vectorPipeline 和 fullTextPipeline 的特定排名和分数创建字段。

4. 使用 RRF 公式 乘以用户定义的权重，计算每种搜索方法的实际贡献。它将常量 k 设置为 60，以控制排名较低的结果影响力。

5. 为搜索排名提供透明的结果，如下所示：

   SearchResult(
      score=0.0123,           # Final combined RRF score
      vector_score=0.0086,    # Vector pipeline contribution
      text_score=0.0037       # Text pipeline contribution
   )