Das 2011 gegründete Unternehmen Kovai mit Niederlassungen im Vereinigten Königreich und in Indien ist ein in Privatbesitz befindliches Unternehmen für Unternehmenssoftware, das mehrere Produkte sowohl im Unternehmens- als auch im B2B-SaaS-Bereich anbietet. Seit seiner Gründung ist das Unternehmen auf fast 300 Mitarbeiter angewachsen, die über 2.500 Kunden betreuen. Während der Teilnahme am Microsoft Global MVP Summit 2010 erkannte Saravana Kumar, Gründer und CEO von Kovai, eine Marktlücke bei wichtigen Tools für die Verwaltung und Überwachung von Microsoft BizTalk Server-Umgebungen (ein Middleware-System zur Automatisierung von Geschäftsprozessen). Nach etwa einem Jahr der Entwicklung und des Aufbaus kam das erste Produkt des Unternehmens, BizTalk360, auf den Markt.

BizTalk360 bietet einen Single View für die Verwaltung, Überwachung und den Zugriff auf die Analysen einer BizTalk-Server-Umgebung. Nach der ersten Produkteinführung expandierte das Unternehmen schnell und erreichte 2013 schließlich 145 Kunden. Saravana wurde auf dem Microsoft Global MVP Summit als „Integration MVP of the Year“ ausgezeichnet.

Im Jahr 2018 brachte Kovai Document360 auf den Markt, eine Wissensdatenbank-Plattform für SaaS-Unternehmen, die eine Self-Service-Lösung für Software-Dokumentation suchen. Document360 bietet Tools zum schnellen und effizienten Erstellen von Inhalten und stellt eine selbst gehostete Dokumentationswebsite bereit, damit Inhalte effektiv genutzt werden können.

Anfang 2023 stellten Saravana und sein Team zwei wesentliche Veränderungen im Kundenverhalten fest. Erstens begannen die Kunden dazu überzugehen, Fragen zu stellen und personalisierte, relevante Antworten zu suchen, ohne die traditionellen „Suchbegriffe“ zu verwenden. Das bedeutete, dass die Kunden schnellere und genauere Antworten suchten, anstatt sich die Zeit zu nehmen, einen ganzen Artikel in der Wissensdatenbank zu lesen. Der zweite Punkt, den Kovai feststellte, war der Makrotrend der zunehmenden Beliebtheit und des Interesses an Tools wie ChatGPT und Large Language Models (LLMs) für Anwendungsfälle in Unternehmen, bei denen die Benutzer eher Fragen als Schlüsselwörter eintippen, um schnell Antworten zu erhalten.

Um aus diesen Trends Kapital zu schlagen, hat Kovai vor kurzem seinen KI-Assistenten „Eddy“ veröffentlicht, der die Fragen der Kunden seines Unternehmens auf der Grundlage von KI-Sprachmodellen beantwortet, die auf den Informationen einer entsprechenden Wissensbasis basieren. Die Suchfunktion ist eine der wichtigsten Funktionen einer Knowledge Base Platform. Sie ermöglicht es den Kunden, die richtigen Informationen leicht zu finden, anstatt sich durch komplexe hierarchische Strukturen zu bewegen, um das Gesuchte zu ermitteln. Das Ziel von Eddy ist es, eine ansprechende Kundenerfahrung zu bieten, die:

• akkurate Antworten auf Benutzerfragen gibt
• eine ganzheitliche Antwort mit geringer Latenzzeit liefert
• die kontextbezogenen Informationen im Zusammenhang mit der Frage versteht
• die Möglichkeit bietet, Fragen auf Grundlage der Antworten zu verfeinern

Während der Produktentwicklungsphase untersuchten die Technik- und Datenwissenschaftsteams von Document 360 Lösungen, die es Kunden ermöglichen, Fragen zu stellen und schnell akkurate Antworten aus ihren Wissensdatenbankartikeln zu erhalten. Nach dem Lesen von Whitepapers über Retrieval Augmented Generation (RAG) war das Kovai-Team überzeugt, dass ein RAG-Framework zur Lösung ihrer spezifischen Herausforderung beitragen würde. Es sollte dafür sorgen, dass Eddy Antworten auf Grundlage des Kontextes einer bestimmten Knowledge Base einschränkt und konstruiert. Zu den zusätzlichen Funktionen, die das Team benötigte, gehörten:

• Erstellung von Einbettungen für die Artikel der Wissensdatenbank
• eine Vektordatenbank zum Speichern und Abrufen von Einbettungen
• Werkzeuge zum Zwischenspeichern von Antworten auf „exakte Fragen“, die von verschiedenen Kunden gestellt wurden
• Werkzeuge für die Orchestrierung

Kovai nutzte bereits MongoDB als Datenbanksystem, musste nun aber auch eine Lösung für die Vektorsuche finden. Das Entwicklungsteam evaluierte einige Vector Databases auf dem Markt, um Einbettungen von Knowledge-Base-Artikeln speichern und abrufen zu können. Es stellte jedoch sehr schnell fest, dass andere Database-Lösungen verschiedene Probleme bei der Bereitstellung genauer Antworten verursachten, da viele Daten zwischen ihrer bestehenden MongoDB-Datenbank und jeder zusätzlichen Vector Database verschoben und synchronisiert werden mussten.

Daher beschloss das Ingenieurteam im Juli 2023, seine Investition in MongoDB Atlas zu erhöhen, indem es die kürzlich veröffentlichte MongoDB Vector Search zum Speichern und Abrufen von Einbettungen nutzte und damit sicherstellte, dass sowohl die Inhalte als auch die entsprechenden Einbettungen in MongoDB untergebracht sind. Atlas Vector Search bietet dem Team eine leistungsstarke Suche zum Abrufen von Einbettungen auf der Grundlage von Ähnlichkeitsmetriken bei geringerer Latenz und fügt sich nahtlos in die bestehende Atlas-Implementierung ein. Saravana Kumar von Kovai weist außerdem darauf hin, dass Atlas Vector Search „robust, kostengünstig und unglaublich schnell“ sei, was für das wachsende Team besonders wichtig ist. Die Fähigkeiten von MongoDB unterstützen die Engineering- und Data-Science-Teams von Document 360 durch:

• Architektonische Einfachheit: Die architektonische Einfachheit von MongoDB Vector Search hilft Kovai, die technische Architektur zu optimieren, die für die Implementierung von Eddy erforderlich ist.
• Operative Effizienz: Atlas Vector Search ermöglicht es Kovai, sowohl die Artikel der Wissensdatenbank als auch ihre Einbettungen gemeinsam in MongoDB Collections zu speichern, wodurch Probleme mit der „Datensynchronisierung“, die bei anderen Anbietern auftreten, vermieden werden.
• Performance: Kovai erhält eine schnellere Antwort auf Abfragen von MongoDB Vector Search im großen Maßstab, um eine positive Benutzererfahrung zu gewährleisten.

Saravana Kumar, CEO, Kovai

Dr. Selvaraaju Murugesan, Head of Data Science, Kovai

Das neue Produkt hat das Benutzererlebnis bereits verbessern können. Es werden nur Antworten aus der Knowledge Base bereitgestellt, die für den Kontext der Frage relevant sind. Diese Antworten werden mit relevanten Artikeln verglichen, um das Vertrauen in die Antworten zu sichern.

Das Produkt war für Saravana und sein Team eine Herzensangelegenheit und wurde seiner Meinung nach durch die Partnerschaft und die technische Unterstützung von MongoDB und die Investition in Atlas Vector Search ermöglicht.

Saravana Kumar, CEO, Kovai