환각의 아키텍처적 근원

LLM이 실제로 존재하지 않는 데이터 포인트, 엔티티 또는 기업 정책을 만들어내는 경우, 이는 거의 항상 프롬프트에 데이터를 제공한 검색 파이프라인이 부정확하거나, 오래되었거나, 불완전하기 때문입니다. 기본적인 답변을 반환하는 시스템과 프로덕션에서 자신 있게 행동할 수 있는 답변을 제공하는 시스템 사이의 공간에는 정확한 명칭이 있습니다. 바로 '신뢰 격차'입니다.

어제의 고객 스냅샷을 기반으로 추론하는 에이전트나, 기본 레코드를 재처리하지 않고 교체된 임베딩 모델은 심각한 운영 위험을 초래합니다. 이는 명백히 틀린 답을 내놓는 것이 아니라, 지나치게 확신에 찬 환각을 만들어냅니다. 샌드박스 데모 환경에서 발생하는 환각 현상은 흥미로운 현상일 뿐이지만, 동일한 오류가 분당 수천 건의 실제 상호작용에 걸쳐 반복된다면 심각한 문제로 여겨져야 합니다.

컨텍스트적 무결성 도입

정확도는 컨텍스트적 무결성으로 가장 잘 정의되는 기본 아키텍처 속성입니다. 즉, 실시간 운영 데이터, 벡터 임베딩, 검색 인덱스 및 에이전트 상태를 사후에 수동으로 조정하기보다는 자동으로 일관성을 유지하는 원칙입니다.

이 네 가지 변수가 완전히 동일한 쿼리 경로로 제공되는 동일한 기본 레코드에 있으면 동기화 단계에서 정확도가 누출되지 않습니다. 에이전트가 수신하는 검색 결과는 요청이 발행된 밀리초의 순간에 대한 운영적 정보에 안전하게 근거합니다.

Voyage AI의 모델은 에이전트가 실제로 실행하는 엔터프라이즈 RAG 작업에서 Gemini, Cohere 및 OpenAI의 유사한 모델을 능가하여, 검색 임베딩 벤치마크(RTEB)를 선도합니다.

MongoDB는 데이터 계층 내에서 기본적으로 신뢰 격차를 줄이는 데 필요한 구성 요소를 제공합니다.

• Voyage 4 시리즈 상호운용성: 완전 호환 가능한 임베딩을 생성하는 공유 임베딩 공간 모델 계열(voyage-4-large, voyage-4, voyage-4-lite, voyage-4-nano). 주력 제품인 voyage-4-large는 MoE(Mixture-of-Experts) 아키텍처를 기반으로 구축된 최초의 프로덕션급 임베딩 모델로, 동급의 고밀도 모델에 비해 약 40% 더 낮은 서비스 비용으로 최첨단 정확도를 제공합니다. 덕분에 비용 또는 지연 시간 프로필을 변경할 때 전체 데이터 컬렉션을 재처리할 필요가 없습니다.
• 비대칭 검색: 최대 기준 정확도를 위해, 업계 최초로 문서는 voyage-4-large로 한 번 임베딩하고, 지속적인 쿼리는 지연 시간과 토큰 비용을 낮게 유지하기 위해 voyage-4-lite로 임베딩하는 방식입니다.

스킬 습득: Voyage AI와 MongoDB

솔루션 살펴보기

빌더의 여정: 핵심 필터링 규칙

개념적 논의를 넘어서 실제로 구현하려는 엔지니어링 팀이라면 실제 부하 상태에서 필터 로직을 검토해야 합니다. 대표적인 예가 필터링된 벡터 검색입니다.

MongoDB는 먼저 속성(예: 사용자 ID)으로 필터링한 후 벡터 검색을 실행하여 이를 처리합니다. 반면에 대체 관계형 플래너는 벡터 검색을 먼저 실행하고 나중에 필터를 적용하려고 시도하는 경우가 많습니다. 관계형 검색 엔진이 먼저 검색을 시작하면, 점수를 매기기 전에도 관련성이 높은 결과가 후보 평가 설정에서 제외되는 경우가 자주 발생합니다. 이 작은 아키텍처 차이는 엔터프라이즈 운영 규모에서 정확도에 큰 영향을 미칩니다.

영상 보기: 빌더의 여정: MongoDB를 활용한 AI 앱 개발

LG U+, 월간 상담 건수 350만 건 달성

개념적 아키텍처에 대한 논의는 월 350만 건의 고객 문의를 처리하는 콜센터를 운영하는 기업의 사례에서 운영 상의 한계를 보여주었습니다. 한국의 대형 통신사 LG U+는 4,000명의 상담사에게 실시간 문자 변환, 자동 문의 분류, 실시간 상담 중 상황별 요약 기능을 제공하는 지능형 내부 도구인 ‘에이전트 어시스트(Agent Assist)’를 구축하기 시작했습니다.

레거시 관계형 데이터베이스로는 동일한 애플리케이션 경로 내에서 벡터 임베딩, 트랜잭션 데이터 및 실시간 쿼리 테스트를 동시에 처리할 수 없었습니다. 핵심 운영 기록을 Postgres에서 마이그레이션하고 MongoDB Atlas로 통합함으로써, 서로 다른 시스템 간의 지연 시간이 발생하기 쉬운 동기화 계층을 완전히 제거했습니다. $vectorSearch는 인간 에이전트가 트랜잭션 내역을 조회하는 것과 동일한 데이터 컬렉션에 대해 네이티브 방식으로 시맨틱 유사도 알고리즘을 실행합니다.

이 서비스는 개발이 시작된 지 4개월 만에 출시되었으며, 오전의 피크 시간대에도 쿼리 지연 시간을 1초 미만으로 유지했습니다. 호출당 처리 시간은 7% 감소하고 리소스 효율성은 30% 향상되었습니다. 처음에는 1,200개 에이전트를 배포한 시스템은 현재 주당 백만 건 이상의 쿼리를 처리하며, 2,300개 에이전트로 확장하고 있습니다.

출하 전 생산 점검 목록

LG U+의 사례는 프로덕션 에이전트를 신뢰하기 전에 데이터 레이어가 반드시 갖춰야 할 필수 체크리스트를 보여줍니다.

1. 동일 위치 인덱스: 에이전트가 하나의 정보 소스에서 검색하는 동시에 다른 소스에서 작업하는 일이 없도록, AI 검색 인덱스와 실시간 운영 데이터는 반드시 동일한 데이터베이스 클러스터에 있어야 합니다.
2. 1초 미만의 지연 시간: 시맨틱 쿼리는 과부하 상태에서도 1초 이내에 실행되어야 합니다. 그렇지 않으면 에이전트 응답이 너무 늦게 도착하여 운영에 유용하지 않습니다.
3. 자동 확장 인프라: 플랫폼은 엔지니어가 노드를 수동으로 다시 프로비저닝할 필요 없이 자동으로 확장되어 호출 급증을 완화해야 합니다.
4. 스키마 유연성: 기본 데이터 모델은 비즈니스가 변경될 때마다 경직된 스키마 마이그레이션을 강요하지 않고 다양한 대화 형태를 동적으로 수용할 수 있어야 합니다.