BLOGAnnounced at MongoDB.local NYC 2024: A recap of all announcements and updates — Learn more >

Die Leistung der Vector Search in die Enterprise Knowledge Bases bringen

BRANCHE

SaaS

PRODUKTE

Atlas-Datenbank
Atlas Vector Search

ANWENDUNGSFALL

Produktsuche
In-App-Suche

KUNDE SEIT

2022
EINFÜHRUNG

Eine Marktlücke schließen

Das 2011 gegründete Unternehmen Kovai mit Niederlassungen im Vereinigten Königreich und in Indien ist ein in Privatbesitz befindliches Unternehmen für Unternehmenssoftware, das mehrere Produkte sowohl im Unternehmens- als auch im B2B-SaaS-Bereich anbietet. Seit seiner Gründung ist das Unternehmen auf fast 300 Mitarbeiter angewachsen, die über 2.500 Kunden betreuen. Während der Teilnahme am Microsoft Global MVP Summit 2010 erkannte Saravana Kumar, Gründer und CEO von Kovai, eine Marktlücke bei wichtigen Tools für die Verwaltung und Überwachung von Microsoft BizTalk Server-Umgebungen (ein Middleware-System zur Automatisierung von Geschäftsprozessen). Nach etwa einem Jahr der Entwicklung und des Aufbaus kam das erste Produkt des Unternehmens, BizTalk360, auf den Markt.

BizTalk360 bietet einen Single View für die Verwaltung, Überwachung und den Zugriff auf die Analysen einer BizTalk-Server-Umgebung. Nach der ersten Produkteinführung expandierte das Unternehmen schnell und erreichte 2013 schließlich 145 Kunden. Saravana wurde auf dem Microsoft Global MVP Summit als „Integration MVP of the Year“ ausgezeichnet.

Im Jahr 2018 brachte Kovai Document360 auf den Markt, eine Wissensdatenbank-Plattform für SaaS-Unternehmen, die eine Self-Service-Lösung für Software-Dokumentation suchen. Document360 bietet Tools zum schnellen und effizienten Erstellen von Inhalten und stellt eine selbst gehostete Dokumentationswebsite bereit, damit Inhalte effektiv genutzt werden können.

DIE HERAUSFORDERUNG

Verändertes Benutzerverhalten

Anfang 2023 stellten Saravana und sein Team zwei wesentliche Veränderungen im Kundenverhalten fest. Erstens begannen die Kunden dazu überzugehen, Fragen zu stellen und personalisierte, relevante Antworten zu suchen, ohne die traditionellen „Suchbegriffe“ zu verwenden. Das bedeutete, dass die Kunden schnellere und genauere Antworten suchten, anstatt sich die Zeit zu nehmen, einen ganzen Artikel in der Wissensdatenbank zu lesen. Der zweite Punkt, den Kovai feststellte, war der Makrotrend der zunehmenden Beliebtheit und des Interesses an Tools wie ChatGPT und Large Language Models (LLMs) für Anwendungsfälle in Unternehmen, bei denen die Benutzer eher Fragen als Schlüsselwörter eintippen, um schnell Antworten zu erhalten.

Um aus diesen Trends Kapital zu schlagen, hat Kovai vor kurzem seinen KI-Assistenten „Eddy“ veröffentlicht, der die Fragen der Kunden seines Unternehmens auf der Grundlage von KI-Sprachmodellen beantwortet, die auf den Informationen einer entsprechenden Wissensbasis basieren. Die Suchfunktion ist eine der wichtigsten Funktionen einer Knowledge Base Platform. Sie ermöglicht es den Kunden, die richtigen Informationen leicht zu finden, anstatt sich durch komplexe hierarchische Strukturen zu bewegen, um das Gesuchte zu ermitteln. Das Ziel von Eddy ist es, eine ansprechende Kundenerfahrung zu bieten, die:

  • akkurate Antworten auf Benutzerfragen gibt
  • eine ganzheitliche Antwort mit geringer Latenzzeit liefert
  • die kontextbezogenen Informationen im Zusammenhang mit der Frage versteht
  • die Möglichkeit bietet, Fragen auf Grundlage der Antworten zu verfeinern

Während der Produktentwicklungsphase untersuchten die Technik- und Datenwissenschaftsteams von Document 360 Lösungen, die es Kunden ermöglichen, Fragen zu stellen und schnell akkurate Antworten aus ihren Wissensdatenbankartikeln zu erhalten. Nach dem Lesen von Whitepapers über Retrieval Augmented Generation (RAG) war das Kovai-Team überzeugt, dass ein RAG-Framework zur Lösung ihrer spezifischen Herausforderung beitragen würde. Es sollte dafür sorgen, dass Eddy Antworten auf Grundlage des Kontextes einer bestimmten Knowledge Base einschränkt und konstruiert. Zu den zusätzlichen Funktionen, die das Team benötigte, gehörten:

  • Erstellung von Einbettungen für die Artikel der Wissensdatenbank
  • eine Vektordatenbank zum Speichern und Abrufen von Einbettungen
  • Werkzeuge zum Zwischenspeichern von Antworten auf „exakte Fragen“, die von verschiedenen Kunden gestellt wurden
  • Werkzeuge für die Orchestrierung
DIE LÖSUNG

Ein einheitlicher Ansatz für die Vektorsuche

Kovai nutzte bereits MongoDB als Datenbanksystem, musste nun aber auch eine Lösung für die Vektorsuche finden. Das Entwicklungsteam evaluierte einige Vector Databases auf dem Markt, um Einbettungen von Knowledge-Base-Artikeln speichern und abrufen zu können. Es stellte jedoch sehr schnell fest, dass andere Database-Lösungen verschiedene Probleme bei der Bereitstellung genauer Antworten verursachten, da viele Daten zwischen ihrer bestehenden MongoDB-Datenbank und jeder zusätzlichen Vector Database verschoben und synchronisiert werden mussten.

Daher beschloss das Ingenieurteam im Juli 2023, seine Investition in MongoDB Atlas zu erhöhen, indem es die kürzlich veröffentlichte MongoDB Vector Search zum Speichern und Abrufen von Einbettungen nutzte und damit sicherstellte, dass sowohl die Inhalte als auch die entsprechenden Einbettungen in MongoDB untergebracht sind. Atlas Vector Search bietet dem Team eine leistungsstarke Suche zum Abrufen von Einbettungen auf der Grundlage von Ähnlichkeitsmetriken bei geringerer Latenz und fügt sich nahtlos in die bestehende Atlas-Implementierung ein. Saravana Kumar von Kovai weist außerdem darauf hin, dass Atlas Vector Search „robust, kostengünstig und unglaublich schnell“ sei, was für das wachsende Team besonders wichtig ist. Die Fähigkeiten von MongoDB unterstützen die Engineering- und Data-Science-Teams von Document 360 durch:

  • Architektonische Einfachheit: Die architektonische Einfachheit von MongoDB Vector Search hilft Kovai, die technische Architektur zu optimieren, die für die Implementierung von Eddy erforderlich ist.
  • Operative Effizienz: Atlas Vector Search ermöglicht es Kovai, sowohl die Artikel der Wissensdatenbank als auch ihre Einbettungen gemeinsam in MongoDB Collections zu speichern, wodurch Probleme mit der „Datensynchronisierung“, die bei anderen Anbietern auftreten, vermieden werden.
  • Performance: Kovai erhält eine schnellere Antwort auf Abfragen von MongoDB Vector Search im großen Maßstab, um eine positive Benutzererfahrung zu gewährleisten.
DIE ERGEBNISSE

Blitzschnelle Vektorsuche

Einige der frühen Benchmarks von MongoDB Vector Search konnten die Erwartungen des Entwicklungs- und Data Science-Teams übertreffen.Konkret hat das Team festgestellt, dass die durchschnittliche Zeit für die Rückgabe von 3, 5 und 10 Blöcken zwischen 2 und 4 Millisekunden beträgt. Ist die Frage eine geschlossene Schleife, sinkt die durchschnittliche Zeit auf weniger als 2 Millisekunden.Dazu merkt Saravana an: „Einer der schwierigsten Teile bei RAG-Frameworks ist die Suche nach allen Blöcken auf Grundlage der Texteinbettungen der Frage gemäß ,Ähnlichkeitsmetriken', was rechenintensiv sein kann. Doch mit Atlas Vector Search lässt sich diese Komplexität deutlich reduzieren.“
„Atlas Vector Search ist robust, kostengünstig und unglaublich schnell!“

Saravana Kumar, CEO, Kovai

Das Kovai-Team hat festgestellt, dass Atlas Vector Search einfach zu implementieren ist. Das Data-Science-Team kann die API-Funktionalität anhand der MongoDB-Dokumentation nun problemlos anwenden. Die Datenwissenschaftler des Unternehmens arbeiteten intensiv mit MongoDB-Experten zusammen, um das richtige Gleichgewicht zwischen Leistung, Benutzerfreundlichkeit und Genauigkeit der generierten Antworten zu finden.
„MongoDB Vector Search ist ein effizientes Toolkit zur Implementierung eines Retrieval Augmented Generation Frameworks.“

Dr. Selvaraaju Murugesan, Head of Data Science, Kovai

Das nachstehende Diagramm zeigt, wie der Stack aufgebaut wurde, indem man die Vektorsuche mit OpenAI für Vektoreinbettungen kombiniert:
Das Diagramm zeigt den Architektur-Stack, der die Vector Search in Kombination mit OpenAI für Vektoreinbettungen verwendet
In Übereinstimmung mit der Designphilosophie von Kovai, bei der der Mensch im Zentrum steht, sind das herkömmliche Suchfeld und die Suche mit dem KI-Assistenten in einem einzigen Feld untergebracht und bieten Kunden somit ein nahtloses Erlebnis. Kunden können je nach Bedarf zwischen Schlüsselwort-Suche und Semantic Search wechseln und haben die Möglichkeit, jede Sucherfahrung als Standard festzulegen.
Bild einer Suchleiste
Screenshot des Eddy-Produkts von Kovai

Screenshot des Produkts „Eddy“ von Kovai

Das neue Produkt hat das Benutzererlebnis bereits verbessern können. Es werden nur Antworten aus der Knowledge Base bereitgestellt, die für den Kontext der Frage relevant sind. Diese Antworten werden mit relevanten Artikeln verglichen, um das Vertrauen in die Antworten zu sichern.

Das Produkt war für Saravana und sein Team eine Herzensangelegenheit und wurde seiner Meinung nach durch die Partnerschaft und die technische Unterstützung von MongoDB und die Investition in Atlas Vector Search ermöglicht.

„Wir wollen es den Nutzern der Wissensdatenbank unserer Kunden ermöglichen, sofortige, vertrauenswürdige und genaue Antworten auf ihre Fragen zu erhalten, indem sie die dialogorientierte Suche nutzen, die von der MongoDB Atlas Vector Search und den generativen KI-Funktionen unterstützt wird.“

Saravana Kumar, CEO, Kovai

Wie wird Ihre Geschichte sein?

MongoDB hilft Ihnen dabei, die beste Lösung zu finden.