產業

SaaS

產品

Atlas Database
Atlas Vector Search

使用案例

產品搜索
應用內搜索

合作始自

2022年

簡介

滿足市場需求

Kovai 成立於2011年，在英國和印度設有辦事處，是一家自負盈虧的私營軟體公司，在企業和 B2B SaaS 領域提供多種產品。發展至今，公司已有近 300 名員工，為 2,500 多家客戶提供服務。在參加 2010 年微軟全球 MVP 峰會期間，Kovai 創始人兼首席執行長 Saravana Kumar 發現市場上存在管理和監控 Microsoft BizTalk Server 環境（一種實現業務流程自動化的中介系統）方面存在關鍵工具的缺口。經過大約一年的開發和建設，公司的第一款產品 BizTalk360，正式發布。BizTalk360 提供用於管理、監控和存取 BizTalk Server 環境分析的單一視圖。產品推出後，公司迅速擴大規模，2013 年已有 145 個客戶，Saravana 在 Microsoft 全球 MVP 峰會上被評為『Integration MVP of the year』。2018 年Kovai 推出 Document360，這是為尋求自助式軟體文件解決方案的 SaaS 公司打造的知識庫平台。Document360 具備快速高效創建內容的工具，並提供了一個自主管理的文檔網站，以便高效地使用內容。

挑戰

用戶行為的轉變

2023 年初，Saravana 和團隊注意到客戶行為發生了兩個主要變化。首先，客戶開始傾向於直接提問並尋求更加個性化的相關答案，而不使用傳統的「關鍵字搜索」。這意味著客戶希望獲得更直接、更準確的答案，而不想費時翻遍知識庫閱讀整篇文章。Kovai 注意到的第二個趨勢是，像 ChatGPT 和大型語言模型（LLMs）這樣的工具在企業使用案例中的受歡迎程度和需求正在增加，使用者傾向於輸入問題而非關鍵字，以快速獲取答案。Kovai 充分利用這些趨勢，最新發布他們的的AI 助理『Eddy』，可依據指定的知識庫，使用大型語言模型來回答客戶的提問。搜索是知識庫平臺的關鍵功能之一，它使客戶能夠輕鬆找到正確的資訊，而不是讓他們在複雜的層層結構中迷航。Eddy 的目標是提供的客戶體驗，其中包括：

提供準確的答案
以低延遲給出全方位完整解答
理解與問題相關的上下文信息
根據回答進行問題的微調

在產品開發階段，Document 360 的開發和數據科學團隊研究了能夠讓客戶提出問題並快速從知識庫文章中提供準確答案的解決方案。在閱讀有關檢索增強生成 (RAG) 的白皮書後，Kovai 團隊確信 RAG 框架有助於他們解決面臨的具體挑戰，允許 Eddy 根據知識庫中的情境限制對問題的回應，並根據對話上下文構建回應。團隊提出額外附加功能包括：

為知識庫文章創建嵌入
用於存儲和檢索嵌入的向量資料庫
緩存工具暫存不同客戶提出的「具體問題」的對答
編排工具

解決方案

讓 Vector Search 化繁為簡的方向

Kovai 已經使用 MongoDB 作為他們的資料庫記錄系統，但現在還需要採購一個向量搜索解決方案。工程團隊評估了市場上的一些向量資料庫來儲存和取得知識庫文章的嵌入。然而，他們很快發現，由於需要在現有 MongoDB 資料庫和其他向量資料庫之間移動並同步大量數據，其他向量資料庫在提供準確答案方面的解決方案存在各種問題。

因此，在 2023 年 7 月，開發團隊選擇增加對 MongoDB Atlas 的投資，使用新發布的 MongoDB Vector Search 來存儲和檢索嵌入，確保內容及其相應的嵌入都存儲在 MongoDB 中。Atlas Vector Search 為團隊提供強大的搜尋功能，可以根據相似度指標以較低的延遲取得嵌入內容，並無縫地融入在已實施的 Atlas。Kovai 的 Saravana 也指出，Atlas Vector Search「強大、具成本效益且速度極快」，這對正在成長的團隊來說格外重要。MongoDB 的功能幫助 Document 360 的開發和數據科學團隊實現：

架構簡單：MongoDB Vector Search 的架構簡單性幫助 Kovai 優化實施 Eddy 所需的技術架構
運營效率： Atlas Vector Search 允許 Kovai 將知識庫文章及其嵌入一起存儲在 MongoDB 集合中，消除了其他供應商帶來的「數據同步」問題
性能：Kovai 從 MongoDB Vector Search 獲得可擴展且更快的查詢響應，確保用戶體驗良好

成果

極快的Vector Search

一些早期的 MongoDB Vector Search 基準測試超出了開發和數據科學團隊的預期。具體來說，團隊發現返回 3、5 和 10 個區塊所需的平均時間在 2 毫秒到 4 毫秒之間，如果問題是閉環的，則平均時間會減少到低於 2 毫秒。Saravana 繼續指出：「RAG 框架最難的部分之一是需要根據問題的文本嵌入，基於『相似度』指標搜索所有的區塊，這可能會導致計算成本高昂，但 AAtlas Vector Search 確實降低了這種複雜性。」

「Atlas Vector Search 功能強大、經濟高效且速度極快！」

Saravana Kumar —— Kovai 首席執行長

Kovai 團隊發現 Atlas Vector Search 易於實施，他們的資料科學團隊可以透過 MongoDB 文件輕鬆了解 API 功能。Kovai 的數據科學家與 MongoDB 專家緊密合作，找到了一個在性能、用戶體驗和生成響應的準確性之間的適當平衡點。

「MongoDB Vector Search 是實施檢索增強生成框架的高效工具包」

Selvaraaju Murugesan 博士 —— Kovai 數據科學主任

下圖展示了他們如何利用 Vector Search 和 OpenAI 進行向量嵌入的堆棧架構：

圖中顯示利用 Vector Search 與OpenAI相結合進行向量嵌入的架構堆棧

維持 Kovai 以人為本的設計理念，將傳統的搜索框和 AI 助手搜索合二為一，為客戶提供一體化的流暢體驗。客戶可以根據自己的需求在關鍵字和語義搜索之間切換，並能夠將任何搜索經驗設為默認。

Kovai Eddy產品截圖

新產品已經提升了使用者體驗。只從知識庫中提供與問題背景相關的答案，這些答案與相關文章相互參照，以確保可信度。

該產品是 Saravana 和團隊的心血結晶，他指出，這得益於 MongoDB 提供的合作夥伴關係和技術支援，以及他們對 Atlas Vector Search 的投資。

「我們希望由 MongoDB Atlas Vector Search 和生成式人工智慧功能提供支持的對話式搜索，能讓客戶知識庫的用戶獲得即時、值得信賴和準確的問題解答。」