BLOGAnnounced at MongoDB.local NYC 2024: A recap of all announcements and updates — Learn more >

엔터프라이즈 지식 기반에 벡터 검색의 강력한 기능 도입

INDUSTRY

SaaS

제품

Atlas 데이터베이스
Atlas Vector Search

USE CASE

제품 검색
인앱 검색

CUSTOMER SINCE

2022
도입

시장의 니즈 충족

2011년에 설립되어 영국과 인도에 지사를 두고 있는 Kovai는 개인 소유의 부트스트랩 엔터프라이즈 소프트웨어 회사로, 엔터프라이즈 및 B2B SaaS 영역 모두에서 다양한 제품을 제공합니다. 창립 이래 직원 수가 300명에 육박하는 규모로 성장하여 2,500명 이상의 고객에게 서비스를 제공하고 있습니다. Kovai의 설립자이자 CEO인 Saravana Kumar는 2010 Microsoft Global MVP Summit에 참석하던 중, Microsoft BizTalk Server 환경(비즈니스 프로세스를 자동화하는 미들웨어 시스템)을 관리하고 모니터링하기 위한 중요한 도구와 관련하여 시장의 격차를 발견했습니다. 약 1년간의 개발 및 구축 끝에 회사의 첫 번째 제품인 BizTalk360이 출시되었습니다.

BizTalk360은 BizTalk Server 환경의 분석을 관리, 모니터링, 액세스하기 위한 Single View를 제공합니다. 초기에 제품을 도입한 후 회사는 빠르게 확장하여 2013년에는 145개 고객사를 확보했으며, Saravana는 Microsoft Global MVP Summit에서 'Integration MVP of the year(올해의 통합 MVP)'로 선정되었습니다.

2018년 Kovai는 셀프서비스 소프트웨어 문서화 솔루션을 찾는 SaaS 기업을 위한 지식 기반 플랫폼인 Document360을 출시했습니다. Document360은 빠르고 효율적으로 콘텐츠를 제작할 수 있는 도구를 제공하며, 콘텐츠를 효과적으로 소비할 수 있도록 자체 호스팅 문서 사이트를 제공합니다.

과제 (THE CHALLENGE)

사용자 행동의 변화

2023년 초에 Saravana와 팀은 고객 행동에서 두 가지 주요 변화를 발견했습니다. 첫째, 고객들은 기존의 '검색 키워드'에 의존하지 않고 질문하며 보다 개인화되고 관련성 높은 답변을 찾는 방향으로 움직이기 시작했습니다. 그 결과 고객들은 지식 기반 문서 전체를 읽는 데 시간을 할애하기보다는 보다 즉각적이고 정확한 답변을 얻고자 했습니다. 두 번째로 Kovai는 사용자가 답변을 빠르게 얻기 위해 키워드 대신 질문을 입력하는 엔터프라이즈 사용 사례와 관련하여 도구(예:ChatGPT, 거대 언어 모델(LLM))에 대한 인기와 수요가 증가하고 있는 거시적 추세에 주목했습니다.

이러한 트렌드를 활용하기 위해 Kovai는 AI 비서 'Eddy'를 최근 출시했습니다. Eddy는 주어진 지식 기반의 정보를 바탕으로 LLM을 활용하여 고객의 질문에 대한 답변을 제공합니다. 검색은 지식 기반 플랫폼의 중요한 기능 중 하나로, 고객이 원하는 정보를 찾기 위해 복잡한 계층 구조를 탐색하는 대신 올바른 정보를 쉽게 찾을 수 있도록 해줍니다. Eddy의 목표는 다음과 같은 매력적인 고객 경험을 제공하는 것입니다.

  • 사용자 질문에 대한 정확한 답변 제공
  • 짧은 지연 시간으로 총체적인 답변 제공
  • 질문과 관련된 문맥 정보 이해
  • 답변을 기반으로 질문을 미세 조정할 수 있는 기능 제공

제품 구축 단계에서 Document 360 엔지니어링팀과 데이터 과학팀은 고객이 지식 기반 문서를 통해 질문하고 정확한 답변을 신속하게 제공할 수 있는 솔루션을 연구했습니다. 검색 증강 생성(RAG)에 관한 백서를 읽은 후, Kovai 팀은 Eddy가 지식 기반 내의 컨텍스트에 따라 질문에 대한 답변을 제한하고 그 컨텍스트에 따라 응답을 구성할 수 있는 RAG 프레임워크가 팀이 직면한 특정 과제를 해결하는 데 도움이 될 것이라고 확신했습니다. 팀에 필요한 추가 기능은 다음과 같습니다.

  • 지식 기반 문서에 대한 임베딩 생성
  • 임베딩을 저장하고 검색하기 위한 벡터 데이터베이스
  • 다양한 고객이 묻는 '정확한 질문'에 대한 응답을 캐시하는 도구
  • 오케스트레이션 도구
해결책

벡터 검색에 대한 통합 접근 방식

Kovai는 이미 MongoDB를 기록 데이터베이스 시스템으로 사용하고 있었지만 이제는 벡터 검색 솔루션도 마련해야 했습니다. 엔지니어링팀은 지식 기반 문서의 임베딩을 저장하고 조회하기 위해 시장에 있는 몇 가지 벡터 데이터베이스를 평가했습니다. 하지만 다른 벡터 데이터베이스 솔루션으로는 팀의 기존 MongoDB 데이터베이스와 추가 벡터 데이터베이스 간에 수많은 데이터를 이동하고 동기화해야 하므로 정확한 답변을 제공하는 데 여러 가지 문제가 발생한다는 사실을 곧 알게 되었습니다.그래서 2023년 7월, 엔지니어링팀은 최근 출시된 MongoDB Vector Search를 사용하여 MongoDB Atlas에 대한 투자를 늘리기로 결정했습니다. MongoDB Vector Search를 통해 임베딩을 저장하고 검색하여 콘텐츠와 해당 임베딩을 모두 MongoDB에 보관할 수 있습니다. Atlas Vector Search는 팀에게 짧은 대기 시간으로 유사성 지표에 기반하여 임베딩을 검색할 수 있는 강력한 검색 기능을 제공하며, 기존 Atlas 구현에 완벽하게 들어맞습니다. 또한 Kovai의 Saravana는 Atlas Vector Search가 "강력하고 비용 효율적이며 놀라울 정도로 빠르다"면서, 이는 성장하는 팀에게 특히 중요하다고 말합니다. MongoDB 기능은 Document 360 엔지니어링팀과 데이터 과학팀을 다음과 같이 지원합니다.

  • 아키텍처 단순성: MongoDB Vector Search의 아키텍처 단순성은 Kolbai가 Eddy를 구현하는 데 필요한 기술 아키텍처를 최적화하는 데 도움이 됩니다.
  • 운영 효율성: Atlas Vector Search를 통해 Kobai는 지식 기반 문서와 임베딩을 모두 MongoDB collection에 함께 저장할 수 있으므로, 다른 공급업체에서 발생하는 '데이터 동기화' 문제를 제거할 수 있습니다.
  • 성능: Kovai는 MongoDB Vector Search에서 대규모로 더 빠른 쿼리 응답을 얻어 긍정적인 사용자 경험을 보장합니다.
결과 (THE RESULTS)

놀랍도록 빠른 벡터 검색

MongoDB Vector Search의 초기 벤치마크 중 일부는 엔지니어링 및 데이터 과학 팀의 기대치를 뛰어넘었습니다. 특히 3, 5, 10개 청크를 반환하는 데 걸리는 평균 시간은 2밀리초에서 4밀리초 사이이며, 질문이 폐루프인 경우 평균 시간이 2밀리초 미만으로 줄어드는 것을 확인했습니다. Saravana는 이어서 설명합니다. "RAG 프레임워크에서 가장 어려운 부분 중 하나는 계산 비용이 많이 드는 '유사성 지표'에 기반한 질문의 텍스트 임베딩을 바탕으로 모든 청크를 검색해야 한다는 점인데, Atlas Vector Search는 이러한 복잡성을 크게 줄여줍니다."
“Atlas Vector Search는 강력하고, 비용 효율적이며, 놀라울 정도로 빠릅니다!”

Saravana Kumar, Kovai의 CEO

Kovai 팀은 Atlas Vector Search를 쉽게 구현할 수 있다는 사실을 알게 되었으며, 데이터 과학 팀은 MongoDB 문서를 통해 API 기능을 쉽게 이해할 수 있습니다. Kovai의 데이터 과학자들은 성능, 사용자 경험, 생성된 응답의 정확성 사이에서 적절한 균형을 찾기 위해 MongoDB 전문가들과 광범위하게 협업했습니다.
“MongoDB Vector Search는 검색 증강 생성 프레임워크를 구현하는 데 효율적인 툴킷입니다”

Selvaraaju Murugesan 박사, Kovai의 데이터 과학팀 책임자

Kovai 팀이 벡터 임베딩을 위해 OpenAI와 결합된 Vector Search를 활용하여 스택을 설계한 방식을 보여주는 다이어그램은 아래와 같습니다.
벡터 임베딩을 위해 OpenAI와 결합된 벡터 검색을 활용하는 아키텍처 스택을 보여주는 다이어그램.
Kovai는 인간 중심의 설계 철학에 따라 기존 검색창과 AI 비서 검색을 하나로 통합하여 고객에게 단 하나의 원활한 환경을 제공합니다. 고객은 필요에 따라 키워드 검색과 시맨틱 검색 간에 전환할 수 있으며, 어떠한 검색 환경도 기본값으로 설정할 수 있는 기능을 누릴 수 있습니다.
검색창 이미지
Kovai Eddy 제품의 스크린샷

Kovai Eddy 제품의 스크린샷

새로운 제품이 이미 사용자 경험을 개선하였습니다. 질문의 컨텍스트에 맞는 지식 기반의 답변만을 제공하며, 이러한 답변을 관련 문서와 상호 참조하여 신뢰성을 보장합니다.

Saravana에 따르면 이 제품은 Saravana와 팀원들이 애정을 쏟은 노력의 결과물이며, MongoDB로부터 받은 파트너십과 기술 지원, Atlas Vector Search에 대한 투자가 있었기에 가능했습니다.

“우리는 고객사의 지식 기반 사용자가 MongoDB Atlas Vector Search 및 생성형 AI 기능으로 구동되는 대화형 검색을 통해 질문에 대해 즉각적이고 신뢰할 수 있으며 정확한 답변을 얻을 수 있도록 하고자 합니다.”

Saravana Kumar, Kovai의 CEO

당신의 이야기는 무엇인가요?

MongoDB가 최적의 솔루션을 찾을 수 있도록 도와드립니다.