RAG contextual para Docs técnicos

La capa de canalización de ingestión

La capa de pipeline de ingestión transforma archivos PDF sin procesar en datos estructurados que conservan el contenido y el contexto. Esto mejora la calidad y confiabilidad de tu sistema RAG al garantizar que las relaciones técnicas, las estructuras jerárquicas y las dependencias contextuales se mantengan intactas durante el proceso de segmentación, evitando la pérdida de información crítica. Utiliza el Cuaderno de Ingesta de Datos del Manual del Automóvil para desarrollar tu capa de pipeline de ingesta. Este archivo proporciona una guía detallada sobre cómo implementar esta capa y te guía a través del siguiente proceso.

1. Convertir Documentos Portátiles a DataFrames estructurados

Para desarrollar la capa de tu pipeline de ingesta, comienza utilizando el google-cloud-documentai Biblioteca de Python para procesar el PDF fuente. Analiza la respuesta de la API en un DataFrame estructurado de Pandas. Cada fila representa un bloque de texto distinto con columnas para:

• Coordenadas de la caja delimitadora

• Número de página

• Contenido del texto

2. Aplicar reglas para la inferencia estructural

Luego, itera a través del DataFrame y aplica un motor basado en reglas para inferir el contexto, de la siguiente manera:

• Detección de encabezado: los bloques de texto en mayúsculas o con tamaños de fuente más grandes se identifican como encabezados de sección.

• Reconocimiento de listados y procedimientos: Las posiciones de los recuadros delimitadores horizontales revelan patrones de sangría que indican listados o pasos de procedimientos.

• Estrategia de segmentación semántica: El texto se agrupa en fragmentos significativos, continuando hasta que se encuentra un encabezado principal, asegurando que los procedimientos y las tablas permanezcan intactos.

3. Enriquece los datos para una recuperación de alta calidad

Créez une variable de string nommée breadcrumb_trail pour capturer le chemin hiérarchique de chaque fragment. Precede esta cadena al texto del fragmento antes de enviarlo al modelo textembedding-gecko de Google Vertex AI. Este diseño mejora la relevancia de la búsqueda semántica al codificar el texto del fragmento y su posición contextual en la jerarquía del documento con incrustaciones vectoriales.

4. Utilice un enfoque alternativo

Utiliza modelos de vectorización de fragmentos contextualizados, como voyage-context-3, para simplificar el proceso. Estos modelos analizan el contexto global de un documento al generar un embedding y ofrecen las siguientes ventajas:

• Ingestión simplificada: Reduzca los pasos manuales de aumento de contexto, como crear y anteponer la variable breadcrumb_trail. El modelo gestiona la inserción de contexto automáticamente durante la incrustación.

• Mayor precisión de recuperación: genere incrustaciones matizadas que mejoren la calidad de recuperación para fragmentos que carecen de contexto local.

• Sensibilidad reducida al fragmentado: Implementar un proceso de recuperación menos dependiente del fragmentado. La conciencia global del modelo compensa una segmentación subóptima.

La capa de consulta

La capa de consulta implementa un enfoque de búsqueda por niveles que combina la coincidencia exacta con la búsqueda semántica. Cada nivel se ejecuta de forma independiente y sus resultados se combinan mediante la fusión de puntuaciones, como se indica a continuación:

• El nivel 1 proporciona una coincidencia de palabras clave de alta precisión.

• El nivel 2 agrega comprensión semántica a la puntuación de clasificación final.

Esta sección muestra cómo crear una capa de consulta que equilibre la precisión y la recuperación, manteniendo la transparencia de la puntuación. Los sistemas de producción utilizan enfoques por capas para la relevancia de la búsqueda y así medir la precisión de un documento recuperado para satisfacer la consulta del usuario.

Nivel 1: Precisión con búsqueda de texto compuesta

Las aplicaciones industriales requieren precisión para encontrar términos como códigos de error o números de parte. Puedes lograr esta precisión utilizando una estrategia multinivel dentro de un operador compound en Atlas búsqueda, como se indica a continuación:

{
   "$search": {
      "index": "manual_text_search_index",
      "compound": {
         "should": [
            // High-Precision: Exact phrase matching with highest boost
            {
               "phrase": {
                  "query": "car won't start",
                  "path": "breadcrumb_trail",
                  "score": { "boost": { "value": 10 } }
               }
            },
            // Balanced Relevance: Individual word matching with medium boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "score": { "boost": { "value": 4 } }
               }
            },
            // High-Recall: Fuzzy matching to catch typos with low boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "fuzzy": {},
                  "score": { "boost": { "value": 1.5 } }
               }
            }
         ]
      }
   }
}

Esta query utiliza la cláusula should, que permite compilar consultas de búsqueda compuestas. Las puntuaciones resultantes corresponden a la suma de todas las cláusulas coincidentes de la siguiente manera:

• Una coincidencia de frase exacta aplica un multiplicador de puntuación de 10 para garantizar la clasificación más alta para los documentos con la frase exacta.

• La coincidencia de palabras individuales aplica un multiplicador de puntuación de 4 a los documentos que contienen términos de búsqueda individuales. Esta funcionalidad captura contenido relevante incluso cuando las palabras aparecen por separado.

• La coincidencia difusa aplica un multiplicador de puntuación del 1.5. Esta funcionalidad detecta documentos con errores tipográficos o variaciones y evita que superen a las coincidencias exactas.

Nivel 2: Descomponiendo la Búsqueda Híbrida para Transparencia

Utilice $rankFusion para combinar la consulta de texto precisa compound del nivel 1 con la búsqueda vectorial del nivel 2. Este operador de agregación ofrece precisión en la coincidencia de palabras clave y comprensión semántica. También puedes desglosar la puntuación final para mostrar exactamente cómo la búsqueda de texto y vectorial contribuyen a la clasificación de cada resultado. Esta transparencia permite a los desarrolladores:

• Depure la relevancia de búsqueda para identificar si la búsqueda de texto o la búsqueda vectorial está impulsando el resultado de clasificación.

• Comprenda por qué ciertos documentos tienen una clasificación más alta a través de desgloses claros de puntuaciones.

• Optimice los escenarios de pruebas A/B con diferentes estrategias de ponderación.

Implemente la búsqueda híbrida con el archivo search_new.py. Este archivo contiene código que realiza lo siguiente:

1. Ejecuta $rankFusion con scoreDetails usando el siguiente pipeline de agregación:

   {
      $rankFusion: {
         input: {
            pipelines: {
               <myPipeline1>: <expression>,
               <myPipeline2>: <expression>,
               ...
            }
         },
         combination: {
            weights: {
               <myPipeline1>: <numeric expression>,
               <myPipeline2>: <numeric expression>,
               ...
            }
         },
         scoreDetails: <bool>
      }
   }

2. Extrae metadatos utilizando el operador $addFields:

   {
      $addFields: {
         scoreDetails: {
            $meta: "scoreDetails"
         }
      }
   }

3. Aísla las contribuciones de la canalización mediante los operadores $filter y $arrayElemAt para analizar la matriz scoreDetails. Este enfoque crea campos para rangos y puntuaciones específicos de vectorPipeline y fullTextPipeline.

4. Calcula la contribución real de cada método de búsqueda utilizando la RRF fórmula, multiplicada por ponderaciones definidas por el usuario. Establece la constante k a 60 para controlar la influencia de los resultados de menor rango.

5. Proporciona resultados transparentes para las clasificaciones de búsqueda, de la siguiente manera:

   SearchResult(
      score=0.0123,           # Final combined RRF score
      vector_score=0.0086,    # Vector pipeline contribution
      text_score=0.0037       # Text pipeline contribution
   )