BLOGAnnounced at MongoDB.local NYC 2024: A recap of all announcements and updates — Learn more >

Portare la potenza della ricerca vettoriale nelle Knowledge Base aziendali

SETTORE

SaaS

PRODOTTI

Atlas Database
Atlas Vector Search

CASO D'USO

Ricerca prodotti
Ricerca in-app

CLIENTE DAL

2022
INTRODUZIONE

Soddisfare un’esigenza del mercato

Fondata nel 2011, con uffici sia nel Regno Unito che in India, Kovai è un'azienda privata di software aziendale che offre diversi prodotti sia in ambito aziendale che B2B SaaS. Dalla fondazione, l'azienda è cresciuta fino a contare quasi 300 dipendenti e servire oltre 2.500 clienti. Durante la partecipazione al Microsoft Global MVP Summit del 2010, il fondatore e CEO di Kovai, Saravana Kumar, ha individuato una lacuna nel mercato degli strumenti critici per la gestione e il monitoraggio degli ambienti Microsoft BizTalk Server (un sistema middleware che automatizza i processi aziendali). Dopo circa un anno di sviluppo e costruzione, il primo prodotto dell'azienda, BizTalk360, è stato lanciato.

BizTalk360 offre una visualizzazione singola per l'amministrazione, il monitoraggio e l'accesso agli analytics di un ambiente BizTalk Server. Dopo l'introduzione iniziale del prodotto, l'azienda è cresciuta rapidamente, raggiungendo 145 clienti entro il 2013 e Saravana è stato nominato "Integration MVP of the year" al Microsoft Global MVP Summit.

Nel 2018 Kovai ha lanciato Document360, una piattaforma di Knowledge Base per le aziende SaaS alla ricerca di una soluzione di documentazione software self-service. Document360 offre strumenti per creare contenuti in modo rapido ed efficiente e un sito di documentazione in self hosting in modo che i contenuti possano essere utilizzati in modo efficace.

LA SFIDA

Un cambiamento del comportamento degli utenti

All'inizio del 2023, Saravana e il team hanno notato due principali cambiamenti nel comportamento dei clienti. In primo luogo, i clienti hanno iniziato a porre domande e a cercare risposte più personalizzate e pertinenti senza affidarsi alle tradizionali "parole chiave di ricerca". Ciò significava che i clienti desideravano ricevere risposte più immediate e precise, anziché dover perdere tempo a leggere un intero articolo della Knowledge Base. Il secondo elemento che Kovai ha notato è stata la tendenza macro di crescente popolarità e interesse per strumenti come ChatGPT e Large Language Model (LLM) per i casi di utilizzo aziendali, in cui gli utenti digitavano domande anziché parole chiave per ottenere risposte rapidamente.

Per trarre vantaggio da queste tendenze, Kovai ha recentemente rilasciato il suo assistente IA "Eddy", che fornisce risposte alle domande dei clienti utilizzando LLM, sulla base delle informazioni contenute in una determinata Knowledge Base. La ricerca è una delle funzionalità fondamentali di una piattaforma di Knowledge Base, poiché consente ai clienti di trovare facilmente le informazioni giuste invece di navigare in complesse strutture gerarchiche per trovare ciò che cercano. L'obiettivo di Eddy è quello di offrire un'esperienza del cliente coinvolgente che:

  • Dia risposte accurate alle domande degli utenti
  • Offra una risposta olistica con bassa latency
  • Comprenda le informazioni contestuali connesse alla domanda
  • Offra la possibilità di ottimizzare le domande in base alle risposte

Durante la fase di creazione del prodotto, i team di ingegneria e data science di Document360 hanno ricercato soluzioni che consentissero ai clienti di porre domande e dare rapidamente risposte accurate dagli articoli della Knowledge Base. Dopo aver letto i whitepaper sulla Retrieval Augmented Generation (RAG), il team di Kovai si è convinto che un framework RAG li avrebbe aiutati a risolvere la loro sfida specifica, consentendo a Eddy di vincolare le risposte alle domande in base al contesto all'interno di una Knowledge Base e di sviluppare una risposta in base a tale contesto. Le ulteriori funzionalità richieste dal team includevano:

  • Creazione di incorporamenti per gli articoli della Knowledge Base
  • Un database vettoriale per l'archiviazione e il recupero degli incorporamenti
  • Strumenti per memorizzare nella cache le risposte per le "domande esatte" poste da clienti diversi
  • Strumenti di orchestrazione
LA SOLUZIONE

Un approccio unificato alla ricerca vettoriale

Kovai utilizzava già MongoDB come sistema di record di database, ma ora doveva anche procurarsi una soluzione di ricerca vettoriale. Il team di ingegneri ha valutato alcuni database vettoriali sul mercato per archiviare e recuperare gli incorporamenti degli articoli della Knowledge Base. Tuttavia, gli ingegneri hanno subito scoperto che altre soluzioni di database vettoriali creavano vari problemi nel dare risposte accurate a causa della necessità di spostare e sincronizzare molti dati tra il loro database MongoDB esistente e altri database vettoriali aggiuntivi.

Così, nel luglio del 2023, il team di ingegneri ha scelto di aumentare il proprio investimento in MongoDB Atlas utilizzando MongoDB Vector Search, rilasciato di recente, per archiviare e recuperare gli incorporamenti, assicurando che sia il contenuto che i rispettivi incorporamenti fossero ospitati all'interno di MongoDB. Atlas Vector Search offre al team una potente funzione di ricerca per recuperare incorporamenti in base a metriche di analogia a bassa latency e si adatta perfettamente all'implementazione Atlas esistente. Saravana di Kovai sottolinea inoltre che Atlas Vector Search è "solido, conveniente e incredibilmente veloce", caratteristica particolarmente importante per un team in crescita. Le funzionalità di MongoDB aiutano i team di ingegneria e data science di Document360 con:

  • Semplicità architetturale: la semplicità architetturale di MongoDB Vector Search aiuta Kovai a ottimizzare l'architettura tecnica necessaria per l'implementazione di Eddy
  • Efficienza operativa: Atlas Vector Search consente a Kovai di archiviare sia gli articoli della Knowledge Base che i relativi incorporamenti nelle collection MongoDB, eliminando i problemi di "sincronizzazione dei dati" riscontrati con altri fornitori
  • Prestazioni: Kovai ottiene una risposta più rapida alle query da MongoDB Vector Search su larga scala per garantire un'esperienza utente positiva
I RISULTATI

Ricerca vettoriale incredibilmente veloce

Alcuni dei primi benchmark di MongoDB Vector Search hanno superato le aspettative del team di ingegneria e data science. In particolare, il team ha osservato un tempo medio impiegato per restituire 3, 5 e 10 blocchi compreso tra 2 millisecondi e 4 millisecondi e, se la domanda è un ciclo chiuso, il tempo medio si riduce a meno di 2 millisecondi. Saravana prosegue sottolineando che "una delle parti più difficili dei framework RAG è la necessità di cercare tutti i blocchi in base agli incorporamenti di testo della domanda sulla base di "metriche di analogia" che possono essere computazionalmente dispendiose, ma Atlas Vector Search riduce davvero questo complessità".
“Atlas Vector Search è solido, conveniente e incredibilmente veloce!“

Saravana Kumar, CEO, Kovai

Il team Kovai ha trovato Atlas Vector Search facile da implementare e il suo team di data science può comprendere facilmente la funzionalità dell'API tramite la documentazione MongoDB. I data scientist dell'azienda hanno collaborato a lungo con gli esperti di MongoDB per individuare l'equilibrio adeguato tra prestazioni, esperienza utente e accuratezza delle risposte generate.
“MongoDB Vector Search è un toolkit efficiente per implementare un framework di Retrieval Augmented Generation“

Dr. Selvaraaju Murugesan, Head of Data Science, Kovai

Di seguito vediamo un diagramma di come hanno architettato il loro stack, utilizzando la ricerca vettoriale combinata con OpenAI per gli incorporamenti di vettori:
Un diagramma mostra lo stack architettato, utilizzando Vector Search con OpenAI per gli incorporamenti vettoriali
In linea con la filosofia di progettazione incentrata sull'uomo di Kovai, la casella di ricerca tradizionale e l'assistente di ricerca IA sono combinati in un'unica soluzione, offrendo ai clienti un'unica esperienza senza soluzione di continuità. I clienti possono passare dalla ricerca per parola chiave alla ricerca semantica in base alle loro esigenze e hanno la possibilità di impostare qualsiasi esperienza di ricerca come predefinita.
Immagine di una barra di ricerca
Screenshot del prodotto Kovai Eddy

Screenshot del prodotto Kovai Eddy

Il nuovo prodotto ha già migliorato l'esperienza utente. Vengono date solo le risposte della Knowledge Base pertinenti al contesto della domanda e tali risposte vengono incrociate con articoli pertinenti per garantire l'affidabilità.

Il prodotto è stato frutto della passione di Saravana e del suo team, anche grazie alla partnership e all'assistenza tecnica ricevute da MongoDB e al loro investimento in Atlas Vector Search.

“Vogliamo consentire agli utenti della Knowledge Base dei nostri clienti di ricevere risposte immediate, affidabili e precise alle loro domande utilizzando la ricerca conversazionale basata sulle funzionalità di MongoDB Atlas Vector Search e di IA generativa.“

Saravana Kumar, CEO, Kovai

E la tua storia, quale sarà?

MongoDB ti aiuterà a trovare la soluzione migliore.