2011년에 설립되어 영국과 인도에 지사를 두고 있는 Kovai는 개인 소유의 부트스트랩 엔터프라이즈 소프트웨어 회사로, 엔터프라이즈 및 B2B SaaS 영역 모두에서 다양한 제품을 제공합니다. 창립 이래 직원 수가 300명에 육박하는 규모로 성장하여 2,500명 이상의 고객에게 서비스를 제공하고 있습니다. Kovai의 설립자이자 CEO인 Saravana Kumar는 2010 Microsoft Global MVP Summit에 참석하던 중, Microsoft BizTalk Server 환경(비즈니스 프로세스를 자동화하는 미들웨어 시스템)을 관리하고 모니터링하기 위한 중요한 도구와 관련하여 시장의 격차를 발견했습니다. 약 1년간의 개발 및 구축 끝에 회사의 첫 번째 제품인 BizTalk360이 출시되었습니다.

BizTalk360은 BizTalk Server 환경의 분석을 관리, 모니터링, 액세스하기 위한 Single View를 제공합니다. 초기에 제품을 도입한 후 회사는 빠르게 확장하여 2013년에는 145개 고객사를 확보했으며, Saravana는 Microsoft Global MVP Summit에서 'Integration MVP of the year(올해의 통합 MVP)'로 선정되었습니다.

2018년 Kovai는 셀프서비스 소프트웨어 문서화 솔루션을 찾는 SaaS 기업을 위한 지식 기반 플랫폼인 Document360을 출시했습니다. Document360은 빠르고 효율적으로 콘텐츠를 제작할 수 있는 도구를 제공하며, 콘텐츠를 효과적으로 소비할 수 있도록 자체 호스팅 문서 사이트를 제공합니다.

2023년 초에 Saravana와 팀은 고객 행동에서 두 가지 주요 변화를 발견했습니다. 첫째, 고객들은 기존의 '검색 키워드'에 의존하지 않고 질문하며 보다 개인화되고 관련성 높은 답변을 찾는 방향으로 움직이기 시작했습니다. 그 결과 고객들은 지식 기반 문서 전체를 읽는 데 시간을 할애하기보다는 보다 즉각적이고 정확한 답변을 얻고자 했습니다. 두 번째로 Kovai는 사용자가 답변을 빠르게 얻기 위해 키워드 대신 질문을 입력하는 엔터프라이즈 사용 사례와 관련하여 도구(예:ChatGPT, 거대 언어 모델(LLM))에 대한 인기와 수요가 증가하고 있는 거시적 추세에 주목했습니다.

이러한 트렌드를 활용하기 위해 Kovai는 AI 비서 'Eddy'를 최근 출시했습니다. Eddy는 주어진 지식 기반의 정보를 바탕으로 LLM을 활용하여 고객의 질문에 대한 답변을 제공합니다. 검색은 지식 기반 플랫폼의 중요한 기능 중 하나로, 고객이 원하는 정보를 찾기 위해 복잡한 계층 구조를 탐색하는 대신 올바른 정보를 쉽게 찾을 수 있도록 해줍니다. Eddy의 목표는 다음과 같은 매력적인 고객 경험을 제공하는 것입니다.

• 사용자 질문에 대한 정확한 답변 제공
• 짧은 지연 시간으로 총체적인 답변 제공
• 질문과 관련된 문맥 정보 이해
• 답변을 기반으로 질문을 미세 조정할 수 있는 기능 제공

제품 구축 단계에서 Document 360 엔지니어링팀과 데이터 과학팀은 고객이 지식 기반 문서를 통해 질문하고 정확한 답변을 신속하게 제공할 수 있는 솔루션을 연구했습니다. 검색 증강 생성(RAG)에 관한 백서를 읽은 후, Kovai 팀은 Eddy가 지식 기반 내의 컨텍스트에 따라 질문에 대한 답변을 제한하고 그 컨텍스트에 따라 응답을 구성할 수 있는 RAG 프레임워크가 팀이 직면한 특정 과제를 해결하는 데 도움이 될 것이라고 확신했습니다. 팀에 필요한 추가 기능은 다음과 같습니다.

• 지식 기반 문서에 대한 임베딩 생성
• 임베딩을 저장하고 검색하기 위한 벡터 데이터베이스
• 다양한 고객이 묻는 '정확한 질문'에 대한 응답을 캐시하는 도구
• 오케스트레이션 도구

Kovai는 이미 MongoDB를 기록 데이터베이스 시스템으로 사용하고 있었지만 이제는 벡터 검색 솔루션도 마련해야 했습니다. 엔지니어링팀은 지식 기반 문서의 임베딩을 저장하고 조회하기 위해 시장에 있는 몇 가지 벡터 데이터베이스를 평가했습니다. 하지만 다른 벡터 데이터베이스 솔루션으로는 팀의 기존 MongoDB 데이터베이스와 추가 벡터 데이터베이스 간에 수많은 데이터를 이동하고 동기화해야 하므로 정확한 답변을 제공하는 데 여러 가지 문제가 발생한다는 사실을 곧 알게 되었습니다.그래서 2023년 7월, 엔지니어링팀은 최근 출시된 MongoDB Vector Search를 사용하여 MongoDB Atlas에 대한 투자를 늘리기로 결정했습니다. MongoDB Vector Search를 통해 임베딩을 저장하고 검색하여 콘텐츠와 해당 임베딩을 모두 MongoDB에 보관할 수 있습니다. Atlas Vector Search는 팀에게 짧은 대기 시간으로 유사성 지표에 기반하여 임베딩을 검색할 수 있는 강력한 검색 기능을 제공하며, 기존 Atlas 구현에 완벽하게 들어맞습니다. 또한 Kovai의 Saravana는 Atlas Vector Search가 "강력하고 비용 효율적이며 놀라울 정도로 빠르다"면서, 이는 성장하는 팀에게 특히 중요하다고 말합니다. MongoDB 기능은 Document 360 엔지니어링팀과 데이터 과학팀을 다음과 같이 지원합니다.

• 아키텍처 단순성: MongoDB Vector Search의 아키텍처 단순성은 Kolbai가 Eddy를 구현하는 데 필요한 기술 아키텍처를 최적화하는 데 도움이 됩니다.
• 운영 효율성: Atlas Vector Search를 통해 Kobai는 지식 기반 문서와 임베딩을 모두 MongoDB collection에 함께 저장할 수 있으므로, 다른 공급업체에서 발생하는 '데이터 동기화' 문제를 제거할 수 있습니다.
• 성능: Kovai는 MongoDB Vector Search에서 대규모로 더 빠른 쿼리 응답을 얻어 긍정적인 사용자 경험을 보장합니다.

Saravana Kumar, Kovai의 CEO

Selvaraaju Murugesan 박사, Kovai의 데이터 과학팀 책임자

새로운 제품이 이미 사용자 경험을 개선하였습니다. 질문의 컨텍스트에 맞는 지식 기반의 답변만을 제공하며, 이러한 답변을 관련 문서와 상호 참조하여 신뢰성을 보장합니다.

Saravana에 따르면 이 제품은 Saravana와 팀원들이 애정을 쏟은 노력의 결과물이며, MongoDB로부터 받은 파트너십과 기술 지원, Atlas Vector Search에 대한 투자가 있었기에 가능했습니다.

Saravana Kumar, Kovai의 CEO