BLOGAnnounced at MongoDB.local NYC 2024: A recap of all announcements and updates — Learn more >

Mettre la puissance de la recherche vectorielle au service des bases de connaissances des entreprises

SECTEUR D'ACTIVITÉ

SaaS

PRODUITS

Base de données Atlas
Atlas Vector Search

CAS D'UTILISATION

Recherche de produits,
Recherche dans l’application

CLIENT DEPUIS

2022
INTRODUCTION

Répondre à un besoin du marché

Fondée en 2011 et possédant des bureaux au Royaume-Uni et en Inde, Kovai est une société privée de logiciels d’entreprise autofinancée qui propose de nombreux produits dans le domaine du SaaS pour les entreprises et le B2B. Depuis sa création, l’entreprise s’est développée et compte aujourd’hui près de 300 employés au service de plus de 2 500 clients. Alors qu’il participait au Microsoft Global MVP Summit 2010, Saravana Kumar, CEO et fondateur de Kovai, a identifié une lacune sur le marché concernant les outils critiques de gestion et de surveillance des environnements Microsoft BizTalk Server (un système middleware qui automatise les processus métier). Après environ un an de développement et de mise au point, le premier produit de la société, BizTalk360, a été lancé.

BizTalk360 offre une vue centralisée pour l’administration, la surveillance et l’accès aux analyses d’un environnement BizTalk Server. Après le lancement du produit, l’entreprise s’est rapidement développée. Comptant 145 clients en 2013, Saravana Kumar a été nommé « MVP d’intégration de l’année » lors du Microsoft Global MVP Summit.

En 2018, Kovai a lancé Document360, une plateforme de base de connaissances pour les entreprises SaaS à la recherche d’une solution de documentation logicielle en libre-service. Document360 propose des outils permettant de créer du contenu rapidement et efficacement, et fournit un site de documentation auto-hébergé qui simplifie l’utilisation.

LE DÉFI

Un changement dans le comportement des utilisateurs

Début 2023, Saravana et son équipe ont remarqué deux changements principaux dans le comportement des clients. Premièrement, leurs clients ont commencé à poser des questions et à rechercher des réponses plus personnalisées et pertinentes sans avoir besoin des « mots-clés de recherche » traditionnels. Les clients cherchaient donc à obtenir des réponses plus immédiates et plus précises, plutôt que de prendre le temps de lire un article complet de la base de connaissances. Le deuxième changement constaté par M. Kovai est une tendance générale à la hausse de l’intérêt pour des outils tels que ChatGPT et les grands modèles de langage (LLM) pour les cas d’utilisation en entreprise, où les utilisateurs tapent des questions plutôt que des mots clés afin d’obtenir des réponses rapidement.

Pour capitaliser sur ces tendances, Kovai a récemment publié un article consacré à son assistant IA « Eddy », qui fournit des réponses aux questions des clients à l’aide d’un LLM à partir des données contenues dans une base de connaissances. La recherche est l’une des fonctions essentielles d’une plateforme de base de connaissances, permettant aux clients d’obtenir facilement la bonne information sans avoir à naviguer dans des structures hiérarchiques complexes pour trouver ce qu’ils recherchent. L’objectif d’Eddy est de fournir une expérience client plaisante qui :

  • Donne des réponses précises aux questions des utilisateurs
  • Fournit une réponse globale avec une faible latence
  • Comprend les informations contextuelles associées à la question
  • Permet d’affiner les questions en fonction des réponses

Au cours de la phase de développement du produit, les équipes d’ingénierie et de science des données de Document 360 ont recherché des solutions qui permettraient aux clients de poser des questions et de fournir rapidement des réponses précises à partir des articles de leur base de connaissances. Après avoir lu des livres blancs sur la génération augmentée de récupération (RAG), l’équipe de Kovai était convaincue qu’un framework RAG les aiderait à relever le défi en permettant à Eddy de limiter les réponses aux questions en fonction du contexte dans une base de connaissances et de générer une réponse basée sur ce contexte. L’équipe avait également besoin de capacités supplémentaires :

  • Possibilité de créer des intégrations pour les articles de la base de connaissances - Une base de données vectorielle pour stocker et récupérer les intégrations
  • Des outils pour mettre en cache les réponses aux « questions exactes » posées par les différents clients
  • Des outils d’orchestration
LA SOLUTION

Une approche unifiée de la recherche vectorielle

Kovai utilisait déjà MongoDB comme système de base de données, mais avait besoin d’une solution de recherche vectorielle. L’équipe d’ingénierie a évalué quelques bases de données vectorielles disponibles sur le marché pour stocker et récupérer des intégrations d’articles de la base de connaissances. Cependant, ils ont rapidement constaté que d’autres solutions de bases de données vectorielles créaient divers problèmes pour fournir des réponses précises en raison du fort volume de données à déplacer et à synchroniser entre leur base de données MongoDB et la base de données vectorielle supplémentaire.

En juillet 2023, l’équipe d’ingénierie a donc choisi d’augmenter son investissement dans MongoDB Atlas en utilisant la dernière version de MongoDB Vector Search. pour stocker et récupérer les intégrations, garantissant l’hébergement du contenu et des intégrations respectives dans MongoDB. Atlas Vector Search offre à l’équipe une fonction de recherche puissante pour récupérer les intégrations en fonction de métriques de similarité avec une latence plus faible, et s’intègre parfaitement à leur implémentation Atlas existante. Saravana de Kovai note également qu’Atlas Vector Search est « robuste, rentable et incroyablement rapide », un point particulièrement important pour leur équipe en pleine croissance. Les fonctionnalités de MongoDB offrent aux équipes d’ingénierie et de science des données de Document 360 les avantages suivants :

  • Simplicité architecturale : La simplicité architecturale de MongoDB Vector Search aide Kovai à optimiser l’architecture technique nécessaire à l’implémentation d’Eddy - Efficacité opérationnelle : Atlas Vector Search permet à Kovai de stocker à la fois les articles de la base de connaissances et leurs intégrations dans des collections MongoDB, éliminant ainsi les problèmes de synchronisation des données rencontrés avec d’autres fournisseurs
  • Performance : Kovai obtient une réponse plus rapide aux requêtes de MongoDB Vector Search à grande échelle pour garantir une expérience utilisateur positive
LES RÉSULTATS

Recherche vectorielle extrêmement rapide

Certains des premiers benchmarks de MongoDB Vector Search ont dépassé les attentes de l'équipe d'ingénierie et de science des données. Plus précisément, l'équipe a constaté que le temps moyen nécessaire pour renvoyer trois, cinq et dix chunks se situait entre deux et quatre millisecondes. Si la question est en boucle fermée, le temps moyen est réduit à moins de deux millisecondes. Saravana Kumar ajoute que « l'un des aspects les plus difficiles des frameworks RAG est la nécessité de rechercher tous les chunks en fonction des intégrations de texte de la question sur la base d'“indicateurs de similarité”, ce qui peut s'avérer coûteux en termes de calcul, mais Atlas Vector Search réduit réellement cette complexité ».
« Atlas Vector Search est robuste, rentable et incroyablement rapide ! »

Saravana Kumar, CEO, Kovai

L'équipe de Kovai a trouvé Atlas Vector Search facile à mettre en œuvre, et son équipe de science des données peut facilement comprendre les fonctionnalités de l'API grâce à la documentation de MongoDB. Les data scientists ont étroitement collaboré avec les experts de MongoDB pour trouver le juste milieu entre les performances, l'expérience utilisateur et la précision des réponses générées.

« MongoDB Vector Search est une boîte à outils efficace pour mettre en œuvre un framework de génération augmentée de récupération »

Dr. Selvaraaju Murugesan, Responsable de la science des données, Kovai

Un schéma de la façon dont ils ont architecturé leur pile, en utilisant Vector Search combiné à OpenAI pour les vector embeddings, est présenté ci-dessous :
Schéma montrant la pile architecturée qui utilise Vector Search combiné à OpenAI pour les représentations vectorielles
Conformément à la philosophie de conception centrée sur l'humain de Kovai, la boîte de recherche traditionnelle et l'assistant de recherche IA sont combinés en un seul outil. Les clients bénéficient ainsi d'une expérience unique et transparente. Ils peuvent passer de la recherche par mot-clé à la recherche sémantique en fonction de leurs besoins, et ont la possibilité de définir n'importe quelle expérience de recherche comme expérience par défaut.
Une image d’une barre de recherche
Capture d'écran d'Eddy, le produit de Kovai

Capture d’écran d’Eddy, produit de Kovai

Le nouveau produit a déjà amélioré l’expérience de l’utilisateur. Seules les réponses de la base de connaissances correspondant au contexte de la question sont fournies, et ces réponses sont croisées avec des articles pertinents pour garantir la confiance.

Saravana Kumar et son équipe se sont dévoués corps et âme à ce projet, qui est devenu une réalité grâce au partenariat et à l’assistance technique de MongoDB, et son investissement dans Atlas Vector Search.

« Nous voulons permettre aux utilisateurs de la base de connaissances de nos clients de recevoir des réponses instantanées, fiables et précises à leurs questions à l’aide de la recherche conversationnelle alimentée par MongoDB Atlas Vector Search et l’IA générative. »

Saravana Kumar, CEO, Kovai

Quelle sera votre histoire ?

MongoDB vous aidera à trouver la meilleure solution.