RAG contextual para Docs técnicos

La capa de canalización de ingestión

La capa de canalización de ingesta transforma los PDF sin procesar en datos estructurados que preservan el contenido y el contexto. Esto mejora la calidad y la fiabilidad de su sistema RAG al garantizar que las relaciones técnicas, las estructuras jerárquicas y las dependencias contextuales se mantengan intactas durante el proceso de fragmentación, evitando así la pérdida de información crítica. Utilice el Cuaderno de Ingesta de Datos del Manual del Automóvil para desarrollar su capa de canalización de ingesta. Este archivo proporciona una guía detallada sobre cómo implementar esta capa y le guía a través del siguiente proceso.

1. Convertir Documentos Portátiles a DataFrames estructurados

Para desarrollar su capa de canalización de ingesta, comience utilizando el google-cloud-documentai Biblioteca de Python para procesar el PDF fuente. Analiza la respuesta de la API en un DataFrame estructurado de Pandas. Cada fila representa un bloque de texto distinto con columnas para:

• Coordenadas de la caja delimitadora

• Número de página

• Contenido del texto

2. Aplicar reglas para la inferencia estructural

Luego, itere a través del DataFrame y aplique un motor basado en reglas para inferir el contexto, de la siguiente manera:

• Detección de encabezado: los bloques de texto en mayúsculas o con tamaños de fuente más grandes se identifican como encabezados de sección.

• Reconocimiento de listas y procedimientos: las posiciones de los cuadros delimitadores horizontales revelan patrones de sangría que indican listas o pasos de procedimientos.

• Estrategia de fragmentación semántica: el texto se agrupa en fragmentos significativos y continúa hasta encontrar un encabezado principal, lo que garantiza que los procedimientos y las tablas permanezcan intactos.

3. Enriquecer datos para una recuperación de alta calidad

Cree una variable de cadena llamada breadcrumb_trail para capturar la ruta jerárquica de cada fragmento. Anteponga esta cadena al texto del fragmento antes de enviarlo al modelo textembedding-gecko de Google Vertex AI. Este diseño mejora la relevancia de la búsqueda semántica al codificar el texto del fragmento y su posición contextual en la jerarquía del documento mediante incrustaciones vectoriales.

4. Utilice un enfoque alternativo

Utilice modelos de incrustación de fragmentos contextualizados, como 3voyage-context-, para simplificar el proceso. Estos modelos analizan el contexto global de un documento al generar una incrustación y ofrecen las siguientes ventajas:

• Ingesta simplificada: Reduce los pasos manuales de aumento de contexto, como la creación y anteposición de la breadcrumb_trail variable. El modelo gestiona la inyección de contexto automáticamente durante la incrustación.

• Mayor precisión de recuperación: genere incrustaciones matizadas que mejoren la calidad de recuperación para fragmentos que carecen de contexto local.

• Sensibilidad reducida a la fragmentación: Implementar un proceso de recuperación menos dependiente de la fragmentación. La conciencia global del modelo compensa la segmentación deficiente.

La capa de consulta

La capa de consulta implementa un enfoque de búsqueda por niveles que combina la coincidencia exacta con la búsqueda semántica. Cada nivel se ejecuta de forma independiente y sus resultados se combinan mediante la fusión de puntuaciones, como se indica a continuación:

• El nivel 1 proporciona coincidencia de palabras clave de alta precisión.

• El nivel 2 agrega comprensión semántica a la puntuación de clasificación final.

Esta sección muestra cómo crear una capa de consulta que equilibre la precisión y la recuperación, manteniendo la transparencia de la puntuación. Los sistemas de producción utilizan enfoques por capas para la relevancia de la búsqueda y así medir la precisión de un documento recuperado para satisfacer la consulta del usuario.

Nivel 1: Precisión con búsqueda de texto compuesto

Las aplicaciones industriales requieren precisión para encontrar términos como códigos de error o números de pieza. Puede lograr esta precisión utilizando una estrategia multicapa dentro del operador compound en Atlas Search, como se indica a continuación:

{
   "$search": {
      "index": "manual_text_search_index",
      "compound": {
         "should": [
            // High-Precision: Exact phrase matching with highest boost
            {
               "phrase": {
                  "query": "car won't start",
                  "path": "breadcrumb_trail",
                  "score": { "boost": { "value": 10 } }
               }
            },
            // Balanced Relevance: Individual word matching with medium boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "score": { "boost": { "value": 4 } }
               }
            },
            // High-Recall: Fuzzy matching to catch typos with low boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "fuzzy": {},
                  "score": { "boost": { "value": 1.5 } }
               }
            }
         ]
      }
   }
}

Esta consulta utiliza la cláusula should, que permite crear consultas de búsqueda compuestas. Las puntuaciones resultantes equivalen a la suma de todas las cláusulas coincidentes, como se indica a continuación:

• Una coincidencia de frase exacta aplica un multiplicador de puntuación de 10 para garantizar la clasificación más alta para los documentos con la frase exacta.

• La coincidencia de palabras individuales aplica un multiplicador de puntuación de 4 a los documentos que contienen términos de búsqueda individuales. Esta función captura contenido relevante incluso cuando las palabras aparecen por separado.

• La coincidencia aproximada aplica un multiplicador de puntuación de 1.5. Esta función detecta documentos con errores tipográficos o variaciones y evita que superen las coincidencias exactas.

Nivel 2: Descomposición de la búsqueda híbrida para la transparencia

Utilice $rankFusion para combinar la consulta de texto precisa compound del nivel 1 con la búsqueda vectorial semántica del nivel 2. Este operador de agregación proporciona precisión en la coincidencia de palabras clave y comprensión semántica. También puede desglosar la puntuación final para mostrar exactamente cómo la búsqueda de texto y vectorial contribuye a la clasificación de cada resultado. Esta transparencia permite a los desarrolladores:

• Depure la relevancia de la búsqueda para identificar si la búsqueda de texto o vector impulsa el resultado de la clasificación.

• Comprenda por qué ciertos documentos tienen una clasificación más alta a través de desgloses claros de puntuaciones.

• Optimice los escenarios de pruebas A/B con diferentes estrategias de ponderación.

Implemente la búsqueda híbrida con el archivo search_new.py. Este archivo contiene código que realiza lo siguiente:

1. Ejecuta $rankFusion con scoreDetails utilizando la siguiente canalización de agregación:

   {
      $rankFusion: {
         input: {
            pipelines: {
               <myPipeline1>: <expression>,
               <myPipeline2>: <expression>,
               ...
            }
         },
         combination: {
            weights: {
               <myPipeline1>: <numeric expression>,
               <myPipeline2>: <numeric expression>,
               ...
            }
         },
         scoreDetails: <bool>
      }
   }

2. Extrae metadatos utilizando el operador $addFields:

   {
      $addFields: {
         scoreDetails: {
            $meta: "scoreDetails"
         }
      }
   }

3. Aísla las contribuciones de la canalización mediante los operadores $filter y $arrayElemAt para analizar la matriz scoreDetails. Este enfoque crea campos para rangos y puntuaciones específicos de vectorPipeline y fullTextPipeline.

4. Calcula la contribución real de cada método de búsqueda mediante la fórmula RRF,multiplicada por las ponderaciones definidas por el usuario. Establece la constante k en 60 para controlar la influencia de los resultados de menor rango.

5. Proporciona resultados transparentes para las clasificaciones de búsqueda, de la siguiente manera:

   SearchResult(
      score=0.0123,           # Final combined RRF score
      vector_score=0.0086,    # Vector pipeline contribution
      text_score=0.0037       # Text pipeline contribution
   )