MongoDB World is back in NYC June 7 - 9!MongoDB World is back in NYC June 7 - 9!

El poder de la búsqueda vectorial en las bases de conocimientos empresariales

SECTOR

SaaS

PRODUCTOS

Base de datos Atlas
Atlas Vector Search

CASO DE USO

Búsqueda de productos,
Búsqueda en la aplicación

CLIENTE DESDE

2022
INTRODUCCIÓN

En búsqueda de satisfacer una necesidad del mercado

Fundada en 2011, con oficinas tanto en el Reino Unido como en la India, Kovai es una empresa privada y autofinanciada de software empresarial que ofrece múltiples productos tanto en el ámbito empresarial como en el de SaaS B2B. Desde su fundación, la empresa ha crecido hasta contar con casi 300 empleados que atienden a más de 2500 clientes. Mientras asistía a la Cumbre Global de MVP de Microsoft 2010, el fundador y CEO de Kovai, Saravana Kumar, identificó una brecha en el mercado en torno a las herramientas críticas para administrar y monitorear los entornos de Microsoft BizTalk Server (un sistema de middleware que automatiza procesos comerciales). Después de aproximadamente un año de desarrollo y compilación, se lanzó el primer producto de la empresa: BizTalk360.

BizTalk360 proporciona una vista única para la administración, la supervisión y el acceso a los análisis de un entorno de BizTalk Server. Después de la presentación inicial del producto, la escalada de la empresa fue rápida y llegó a 145 clientes para 2013 y se nombró a Saravana como “MVP de integración del año” en la Cumbre Global de MVP de Microsoft.

En 2018, Kovai lanzó Document360, una plataforma de base de conocimientos para empresas SaaS que buscan una solución de documentación de software de autoservicio. Document360 ofrece herramientas para crear contenido de manera rápida y eficiente, y proporciona un sitio de documentación autoalojado para que el contenido pueda consumirse eficazmente.

EL DESAFÍO

Un cambio en el comportamiento del usuario

A principios de 2023, Saravana y su equipo notaron dos cambios primarios en el comportamiento del cliente. Primero, sus clientes comenzaron a avanzar hacia hacer preguntas y buscar respuestas más personalizadas y relevantes sin la necesidad de las tradicionales “palabras clave de búsqueda”. Esto significaba que los clientes buscaban obtener respuestas más inmediatas y precisas, en lugar de tener que pasar el tiempo leyendo un artículo completo de la base de conocimientos. Lo segundo que Kovai notó fue la macrotendencia de una popularidad y un apetito crecientes por herramientas como ChatGPT y modelos de lenguaje grande (LLM) para casos de uso empresarial, donde los usuarios estaban escribiendo preguntas en lugar de palabras clave con el fin de obtener respuestas rápidamente.

Para capitalizar estas tendencias, Kovai lanzó recientemente su asistente de IA “Eddy”, que proporciona respuestas a las preguntas de los clientes utilizando LLM, basándose en la información de una base de conocimientos determinada. La búsqueda es una de las características críticas de una plataforma de base de conocimientos, ya que permite a los clientes encontrar fácilmente la información correcta en lugar de navegar por estructuras jerárquicas complejas para encontrar lo que están buscando. El objetivo de Eddy es proporcionar una experiencia del cliente atractiva que:

  • Ofrezca respuestas precisas a las preguntas de los usuarios
  • Proporcione una respuesta holística con baja latencia
  • Entienda la información contextual asociada con la pregunta
  • Ofrezca la capacidad de ajustar las preguntas en función de las respuestas

Durante la fase de creación del producto, los equipos de ingeniería y ciencia de datos de Document360 investigaron soluciones que permitirían a los clientes hacer preguntas y proporcionar rápidamente respuestas precisas a partir de sus artículos de base de conocimientos. Después de leer documentos técnicos sobre RAG, el equipo de Kovai estaba convencido de que un marco de RAG ayudaría a resolver su desafío específico, permitiéndole a Eddy limitar las respuestas a preguntas basadas en el contexto de una base de conocimientos y construir una respuesta basada en ese contexto. Las capacidades adicionales que el equipo requirió incluyeron las siguientes:

  • Creación de incrustaciones para los artículos de la base de conocimientos
  • Una base de datos vectorial para almacenar y recuperar las incrustaciones
  • Herramientas para almacenar en caché las respuestas para “preguntas exactas” formuladas por diferentes clientes
  • Herramientas de orquestación
LA SOLUCIÓN

Un enfoque unificado para la búsqueda vectorial

Kovai ya utilizaba MongoDB como su sistema de registro de bases de datos, pero ahora también necesitaba adquirir una solución de búsqueda vectorial. El equipo de ingeniería evaluó algunas bases de datos vectoriales en el mercado para almacenar y recuperar incrustaciones de artículos de la base de conocimientos. Sin embargo, no tardaron en descubrir que otras soluciones de bases de datos vectoriales tuvieron varios problemas para proporcionar respuestas precisas debido a la necesidad de mover y sincronizar muchos datos entre su base de datos MongoDB existente y cualquier base de datos vectorial adicional.Entonces, en julio de 2023, el equipo de ingeniería optó por aumentar su inversión en MongoDB Atlas utilizando el recientemente lanzado MongoDB Vector Search para almacenar y recuperar incrustaciones, asegurando que tanto el contenido como sus respectivas incrustaciones se alojen dentro de MongoDB. Atlas Vector Search ofrece al equipo una potente búsqueda para recuperar incrustaciones basadas en métricas de similitud con una latencia más baja, y se adapta perfectamente a su implementación Atlas existente. Saravana de Kovai también señala que Atlas Vector Search es “robusto, rentable e increíblemente rápido”, lo que es especialmente importante para su equipo en crecimiento. Las capacidades de MongoDB ayudan a los equipos de ingeniería y ciencia de datos de Document360 con su:

  • Simplicidad arquitectónica: La simplicidad arquitectónica de MongoDB Vector Search ayuda a Kovai a optimizar la arquitectura técnica necesaria para implementar Eddy
  • Eficiencia operativa: Atlas Vector Search permite a Kovai almacenar los artículos de la base de conocimientos y sus incrustaciones juntos en collections de MongoDB, eliminando los problemas de “sincronización de datos” que vienen con otros proveedores
  • Rendimiento: Kovai obtiene una respuesta a consultas más rápida de MongoDB Vector Search a escala para garantizar una experiencia de usuario positiva.
LOS RESULTADOS

Una búsqueda de vectores de gran velocidad

Algunos de los primeros puntos de referencia de Vector Search de MongoDB superaron las expectativas del equipo de ingeniería y ciencia de datos. En concreto, el equipo observó que el tiempo medio que tarda en devolver 3, 5 y 10 fragmentos oscila entre 2 milisegundos y 4 milisegundos y, si la pregunta es un bucle cerrado, el tiempo medio se reduce a menos de 2 milisegundos. Saravana continúa señalando que "una de las partes más difíciles con los marcos RAG es la necesidad de buscar todos los fragmentos basándose en las incrustaciones de texto de la pregunta a partir de "métricas de similitud", lo que puede resultar caro en términos computacionales, pero Atlas Vector Search reduce esta complejidad".
“¡Atlas Vector Search es robusto, rentable e increíblemente rápido!”

Saravana Kumar, CEO, Kovai

El equipo de Kovai notó que Atlas Vector Search es fácil de implementar y su equipo de ciencia de datos puede comprender con facilidad la funcionalidad de la API a través de la documentación de MongoDB. Los científicos de datos de la empresa colaboraron con los expertos de MongoDB para encontrar el equilibrio adecuado entre el rendimiento, la experiencia del usuario y la precisión de las respuestas generadas.
“MongoDB Vector Search es un conjunto de herramientas eficiente para implementar un marco de RAG”

Dr. Selvaraaju Murugesan, jefe de Ciencia de Datos, Kovai

A continuación se muestra un diagrama de cómo diseñaron su pila, utilizando la búsqueda vectorial combinada con OpenAI para la incrustación de vectores:
Un diagrama muestra la pila diseñada, que utiliza Vector Search junto con OpenAI para la incrustación de vectores
De acuerdo con la filosofía de diseño centrada en el ser humano de Kovai, el cuadro de búsqueda tradicional y el asistente de búsqueda de IA se combinan en uno solo, lo que le ofrece a sus clientes una experiencia única y perfecta. Los clientes pueden alternar entre la búsqueda semántica y de palabras clave según sus necesidades y tienen la posibilidad de configurar cualquier experiencia de búsqueda como predeterminada.
Imagen de una barra de búsqueda
Captura de pantalla del producto Kovai Eddy

Captura de pantalla del producto Eddy de Kovai

El nuevo producto ya mejoró la experiencia del usuario. Solo se proporcionan respuestas de la base de conocimientos relevantes para el contexto de la pregunta, y esas respuestas se cruzan con artículos relevantes para garantizar la confianza.

Luego trabajar con mucho amor en este producto, Saravana y su equipo notaron que fue posible gracias a la asociación y la asistencia técnica que han recibido de MongoDB y su inversión en Atlas Vector Search.

“Queremos hacer posible que los usuarios de la base de conocimientos de nuestros clientes reciban respuestas instantáneas, confiables y precisas a sus preguntas utilizando la búsqueda conversacional basada en Atlas Vector Search de MongoDB y las capacidades de IA generativa”.

Saravana Kumar, CEO, Kovai

¿Cuál será su historia?

MongoDB lo ayudará a encontrar la mejor solución.