RAG sensível ao contexto para documentos técnicos

A camada do pipeline de ingestão

A camada de pipeline de ingestão transforma PDFs brutos em dados estruturados que preservam conteúdo e contexto. Isso melhora a qualidade e a confiabilidade do seu sistema RAG, garantindo que os relacionamentos técnicos, as estruturas hierárquicas e as dependências contextuais permaneçam intactas durante o processo de chunking, evitando a perda de informações críticas. Use o Notebook de ingestão de dados manual do carro para desenvolver sua camada de pipeline de ingestão. Este arquivo fornece um guia detalhado sobre como implementar essa camada e o orienta no processo a seguir.

1. Converter documentos móveis em estruturas DataFrames

Para desenvolver sua camada de pipeline de ingestão, comece usando a biblioteca Python google-cloud-documentai para processar a origem do PDF. Analise a resposta da API em um Pandas DataFrame estruturado. Cada linha representa um bloco de texto distinto com colunas para:

• Coordenadas da caixa delimitadora

• Número da página

• Conteúdo de texto

2. Aplicar Regras para Inferência Estrutural

Em seguida, itere pelo DataFrame e aplique um mecanismo baseado em regras para inferir contexto, como segue:

• Detecção de cabeçalho: blocos de texto em letras maiúsculas ou com tamanhos de fonte maiores são identificados como cabeçalhos de seção.

• Recurso de lista e procedimento: As posições horizontais da caixa delimitadora revelam padrões de indentação que indicam listas ou etapas de procedimento.

• Estratégia de chunking semântica: o texto é agregado em chunks significativos, continuando até que um cabeçalho principal seja encontrado, garantindo que os procedimentos e as tabelas permaneçam intactos.

3. Enriquecer dados para recuperação de alta qualidade

Crie uma variável de string denominada breadcrumb_trail para capturar o caminho hierárquico para cada chunk. Anexe essa string ao texto do bloco antes de enviá-lo para o modelo Google Vertex AI textembedding-gecko. Esse design melhora a relevância da pesquisa semântica codificando o texto do bloco e sua posição contextual na hierarquia do documento com incorporações vetoriais.

4. Usar uma abordagem alternativa

Utilize modelos de integração de chunks contextualizados, como preference-context-, para simplificar o processo. Esses modelos analisam o contexto global de um documento ao gerar uma incorporação e fornecem as seguintes 3vantagens:

• Ingestão simplificada: reduza as etapas manuais de aumento de contexto, como criar e preceder a breadcrumb_trail variável . O modelo lida com a injeção de contexto automaticamente durante a incorporação.

• Maior precisão de recuperação: gere incorporações detalhadas que melhoram a qualidade de recuperação para blocos que não têm contexto local.

• Sensibilidade reduzida ao agrupamento: implemente um processo de recuperação menos dependente do agrupamento. A conscientização global do modelo compensa a segmentação abaixo do ideal.

A camada de query

A camada de query implementa uma abordagem de pesquisa em níveis que combina a correspondência exata com pesquisa semântica. Cada nível é executado de forma independente e seus resultados são combinados usando fusão de pontuação, como segue:

• O nível 1 oferece correspondência de palavras-chave de alta precisão.

• O nível 2 adiciona compreensão semântica à pontuação final da classificação.

Esta seção demonstra como criar uma camada de query que equilibra precisão e recuperação, mantendo a transparente da pontuação. Os sistemas de produção usam abordagens em camadas para relevância da pesquisa para medir a precisão de um documento recuperado em satisfazer a query do usuário.

Nível 1: precisão com pesquisa de texto composto

Os aplicativos comerciais exigem precisão para encontrar termos como códigos de erro ou números de peça. Você pode obter essa precisão usando uma estratégia de várias camadas dentro de um operador compound no Atlas Search, como segue:

{
   "$search": {
      "index": "manual_text_search_index",
      "compound": {
         "should": [
            // High-Precision: Exact phrase matching with highest boost
            {
               "phrase": {
                  "query": "car won't start",
                  "path": "breadcrumb_trail",
                  "score": { "boost": { "value": 10 } }
               }
            },
            // Balanced Relevance: Individual word matching with medium boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "score": { "boost": { "value": 4 } }
               }
            },
            // High-Recall: Fuzzy matching to catch typos with low boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "fuzzy": {},
                  "score": { "boost": { "value": 1.5 } }
               }
            }
         ]
      }
   }
}

Esta query usa a cláusula should, que permite criar queries de pesquisa compostas. As pontuações resultantes são iguais à soma de todas as cláusulas correspondentes da seguinte forma:

• Uma correspondência exata de frase aplica um multiplicador de pontuação de 10 para garantir a classificação mais alta para documentos com a frase exata.

• A correspondência individual de palavras aplica um multiplicador de pontuação de 4 a documentos que contêm termos de pesquisa individuais. Esse recurso captura conteúdo relevante mesmo quando as palavras aparecem separadamente.

• A correspondência difusa aplica um multiplicador de pontuação de 1.5. Esse recurso captura documentos com erros de digitação ou variações e impede que eles superem as correspondências exatas.

Nível 2: decompondo a pesquisa híbrida para a transparente

Use $rankFusion para combinar a consulta de texto compound precisa do nível 1 com a pesquisa semântica vetorial do nível 2. Esse operador de agregação oferece precisão de correspondência de palavras-chave e compreensão semântica. Você também pode detalhar a pontuação final para mostrar exatamente como a pesquisa vetorial e de texto contribui para a classificação de cada resultado. Essa clareza permite que os desenvolvedores:

• Depurar a relevância da pesquisa para identificar se a pesquisa de texto ou vetor gera o resultado da classificação.

• Entenda por que determinados documentos têm uma classificação mais alta por meio de detalhamentos claros das pontuações.

• Otimize os cenários de teste A/B com diferentes estratégias de ponderação.

Implemente a pesquisa híbrida usando o arquivo search_new.py. Este arquivo contém código que faz o seguinte:

1. Executa $rankFusion com scoreDetails usando o seguinte agregação pipeline:

   {
      $rankFusion: {
         input: {
            pipelines: {
               <myPipeline1>: <expression>,
               <myPipeline2>: <expression>,
               ...
            }
         },
         combination: {
            weights: {
               <myPipeline1>: <numeric expression>,
               <myPipeline2>: <numeric expression>,
               ...
            }
         },
         scoreDetails: <bool>
      }
   }

2. Extrai metadados usando o operador $addFields:

   {
      $addFields: {
         scoreDetails: {
            $meta: "scoreDetails"
         }
      }
   }

3. Isola as contribuições do pipeline usando os operadores $filter e $arrayElemAt para analisar a array scoreDetails. Essa abordagem cria campos para classificações e pontuações específicas a partir de vectorPipeline e fullTextPipeline.

4. Calcula a contribuição real de cada método de pesquisa usando a fórmula RRF,multiplicada por pesos definidos pelo usuário. Ela define a constante k como 60 para controlar a influencia do resultado de classificação inferior.

5. Fornece resultados transparentes para classificações de pesquisa, como segue:

   SearchResult(
      score=0.0123,           # Final combined RRF score
      vector_score=0.0086,    # Vector pipeline contribution
      text_score=0.0037       # Text pipeline contribution
   )