Compile una aplicación de búsqueda de PDF con búsqueda vectorial y LLM

Resumen de la solución

Las aseguradoras dependen en gran medida del procesamiento de datos. Para tomar decisiones de inversión o gestionar siniestros, utilizan grandes cantidades de datos, en su mayoría no estructurados. Los suscriptores y liquidadores de siniestros deben revisar minuciosamente numerosas páginas de directrices, contratos e informes, generalmente en formato PDF. Encontrar y revisar manualmente cada dato requiere mucho tiempo y puede fácilmente provocar errores costosos, como estimaciones de riesgo incorrectas.

Las aplicaciones de generación aumentada por recuperación (RAG) son revolucionarias para las aseguradoras, ya que les permiten aprovechar el potencial de los datos no estructurados, a la vez que promueven la accesibilidad y la flexibilidad. Son especialmente útiles para archivos PDF, que son comunes pero difíciles de buscar. RAG hace que la búsqueda en PDF sea más eficiente y precisa. Ahora, los usuarios pueden escribir una pregunta en lenguaje natural y la aplicación examinará los datos de la compañía, proporcionará una respuesta, resumirá el contenido de los documentos e indicará la fuente de la información, incluyendo la página y el párrafo donde se encontró.

En este repositorio de GitHub, encontrará instrucciones detalladas paso a paso sobre cómo crear una aplicación de búsqueda en PDF que combina MongoDB, Superduper y LLMs. Nuestro caso de uso para esta solución se centra en un perito o asegurador que gestiona un caso específico. Analizar un PDF con las directrices de un cliente específico ayuda a determinar el importe de la pérdida en caso de accidente o la nueva prima en caso de renovación de la póliza. La aplicación responde preguntas y muestra las secciones relevantes del documento.

La combinación de Atlas Vector Search y LLM para crear aplicaciones RAG puede tener un impacto directo en los resultados de una compañía de seguros. Para probar nuestra herramienta de búsqueda semántica, visite la Guía de inicio rápido de Atlas Vector Search.

Arquitectura de referencia

La combinación de MongoDB y Superduper permite crear fácilmente un sistema de recuperación de información. El proceso consta de los siguientes pasos:

1. El usuario agrega los PDF que necesitan buscarse.

2. Un script escanea los PDF, crea los fragmentos y los vectoriza (véase la Figura 1). Para garantizar que no se pierdan los datos de transición entre fragmentos, el script utiliza la metodología de ventana deslizante para generar fragmentos superpuestos.

3. Los vectores y los metadatos de los fragmentos se almacenan en MongoDB y se crea un índice de búsqueda de vectores (consulte la 2 Figura).

4. Los PDF ya están listos para su consulta. El usuario selecciona un cliente, formula una pregunta y el sistema devuelve una respuesta, mostrando la página y el párrafo donde se encontró la información, y resaltando la sección específica con un marco rojo (ver Figura 2).

Figura 1. Fragmentación de PDF, creación de incrustaciones y almacenamiento, orquestado con Superduper.io

Cada cliente tiene un PDF con las directrices asociado a su cuenta, basado en su país de residencia. Cuando el usuario selecciona un cliente y realiza una pregunta, el sistema realiza una búsqueda vectorial solo para ese documento en particular, filtrando sin problemas los que no son relevantes. Esto es posible gracias al campo de prefiltrado incluido en el índice y la consulta de búsqueda (ver fragmentos de código a continuación).

Atlas Vector Search también aprovecha la nueva arquitectura dedicada de Nodos de Búsqueda de MongoDB, lo que permite una mejor optimización para el nivel adecuado de recursos según las necesidades específicas de la carga de trabajo. Los Nodos de Búsqueda proporcionan una infraestructura dedicada para las cargas de trabajo de Atlas Search y Vector Search, lo que permite optimizar los recursos computacionales y escalar completamente las necesidades de búsqueda independientemente de la base de datos. Los Nodos de Búsqueda proporcionan aislamiento de la carga de trabajo, mayor disponibilidad y la capacidad de optimizar el uso de recursos.

Figura 2. Flujo de consulta de PDF, orquestado con Superduper.io

{
   "fields": [
      {
         "numDimensions": 1536,
         "path": "_outputs.elements.text-embedding.0",
         "similarity": "cosine",
         "type": "vector"
      },
      {
         "path": "_outputs.elements.chunk.0.source_elements.metadata.filename",
         "type": "filter"
      }
   ]
}

vector_query = [
   {
      "$vectorSearch": {
         'index': INDEX_NAME,
         'path': "_outputs.elements.text-embedding.0",
         'queryVector': query_embedding,
         'numCandidates': vector_search_top_k,
         'limit': vector_search_top_k,
         'filter': {'_outputs.elements.chunk.0.source_elements.metadata.filename': filename}
      }
   },
   {
      "$project": {
         "_outputs.elements.text-embedding.0": 0,
         "score": { "$meta": "vectorSearchScore" }
      }
   }
 ]

Superduper.io

Superduper.io es un framework Python de código abierto que integra modelos y flujos de trabajo de IA directamente con las principales bases de datos para lograr soluciones de IA empresarial personalizadas, más flexibles y escalables. Permite a los desarrolladores crear, implementar y gestionar IA en su infraestructura y datos existentes, utilizando sus herramientas preferidas, eliminando así la migración y la duplicación de datos.

Con Superduper.io, los desarrolladores pueden:

• Incorpore IA a sus bases de datos, lo que elimina las canalizaciones de datos y minimiza los esfuerzos de ingeniería, el tiempo de producción y los recursos computacionales.

• Implemente flujos de trabajo de IA con cualquier modelo de IA y API en cualquier tipo de datos.

• Proteja los datos cambiando de API a alojamiento y ajustando sus propios modelos en su propia infraestructura.

• Cambie de modelos de incrustación a otros proveedores de API. También pueden alojar sus modelos en HuggingFace u otras plataformas.

Superduper.io ofrece una variedad de casos de uso de muestra y cuadernos que los desarrolladores pueden usar para comenzar, incluida la búsqueda vectorial con MongoDB, generación de incrustaciones, búsqueda multimodal, RAG, aprendizaje por transferencia y muchos más.

Construir la solución

Cree la solución siguiendo las instrucciones de este repositorio de Github. La solución consta de dos pasos:

1. El script de inicialización divide los PDF en fragmentos y luego los convierte en incrustaciones vectoriales.

2. El paso de consulta permite al usuario interrogar los documentos.

Aprendizajes clave

• Las incrustaciones pueden usar diferentes modelos y opciones de implementación: puedes implementar un modelo localmente si tus datos deben permanecer en los servidores. De lo contrario, puedes llamar a una API y recuperar tus incrustaciones vectoriales, como se explica en este tutorial. Puedes usar Voyage AI o modelos de código abierto. Al crear tu sistema, ten en cuenta los requisitos de privacidad y seguridad.

• Superduper integra modelos de IA y flujos de trabajo: Superduper es el framework que provee una interfaz simple y estándar para interactuar con búsqueda vectorial y LLMs.

Autores

• Luca Napoli, Soluciones Industriales, MongoDB

• Clarence Ondieki, arquitecto de soluciones, MongoDB

• Pedro Bereilh, Soluciones Industriales, MongoDB