산업: 제조
제품: MongoDB Atlas Search, MongoDB Atlas Vector Search, MongoDB Atlas의 하이브리드 검색
솔루션 개요
CMVR은 인도 Motor 자동차법에 따라 발행된 규칙입니다. 그들은 차량이 국내에서 제조, 판매 또는 등록되기 전에 충족해야 하는 기술 및 안전 요건을 설정합니다. AI는 ARAI에서 개발하고 유지관리하는 기술 표준으로 구성되어 있습니다. 이들은 차량 또는 부품이 주어진 CMVR 요구 사항을 충족하는지 입증하기 위해 어떻게 테스트되어야 하는지를 명시합니다. 인도 시장을 대상으로 자동차를 제작하는 OEM은 다음 문서를 사용합니다. CMVR에서는 차량이 충족해야 할 안전 요구 사항을 지정하고, 이에 해당하는 AIS에서는 이러한 요구 사항이 어떻게 테스트 및 인증되는지를 정합니다.
규제 및 표준 콘텐츠는 사람들이 적시에 올바른 요구 사항을 찾을 수 있을 때에만 가치가 있습니다. 인도 OEM을 위해 헤드램프 조립을 마치는 부품 공급업체의 엔지니어를 예로 들어 봅시다. 부품이 ARAI에 인증을 받으러 가기 전에 엔지니어는 AIS-xyz의 현재 개정판을 확인하고 마지막 제출 이후 CMVR의 "rule abc"가 수정되었는지 확인해야 합니다. 관보 알림 및 표준 PDF 폴더에서 해당 조항을 검색하는 데 몇 시간이 걸리며, 오래된 개정판을 인용하면 인증이 거부되고 출시가 지연됩니다.
이 솔루션은 CMVR 및 AIS 콘텐츠 검색을 위한 MongoDB 구현을 설명합니다. 이 구현은 다음과 같은 특징을 갖습니다:
CMVR 규칙 텍스트, AI 표준 및 해당 개정 알림과 같은 소스 자료를 가져옵니다.
이 자료를 검색 가능한 기록으로 변환합니다.
사용자 쿼리에 대한 관련 문서나 섹션을 조회합니다.
결과 컨텍스트(제목, 섹션 또는 규칙 번호, 출처 및 문서 버전)를 반환합니다.
애플리케이션은 MongoDB Search를 사용하여 규칙 및 섹션 텍스트에 대해 쿼리를 일치시키고, 일치하는 구절을 소스 로케이터와 함께 반환합니다.
제조업체가 두 개 이상의 시장에 판매하는 경우에는 어디에서나 동일한 문제가 발생합니다. 유럽으로 배송하는 공급업체는 UNECE 규정을 확인하고, 미국으로 배송하는 공급업체는 FMVSS를 확인하며, 중국으로 배송하는 공급업체는 GB 표준을 확인합니다. 각 규제 기관은 고유의 개정 주기, 고유의 번호 체계, 그리고 고유의 실행 일자를 가집니다. 검색 가능한 텍스트와 함께 섹션, 버전 및 소스 로케이터를 유지하는 이 솔루션의 패턴은 이러한 규제 기관에 적용됩니다.
이 솔루션은 사용자가 도메인별 질문에 대한 답변이 될 수 있는 소스 자료를 찾고 확인하도록 돕습니다. 개략적으로 이 솔루션은 다음 워크플로를 사용합니다.
수집: CMVR 규칙 텍스트, AI 표준, 및 이를 수정하는 관보 알림 또는 ARAI 공람을 읽습니다.
준비: 각 소스를 문서, 섹션 또는 규칙 번호, 개정 번호, 발효일 및 구절의 출처를 추적하는 데 필요한 로케이터 메타데이터를 포함하는 기록으로 정규화합니다.
조회: MongoDB Search 경로, 필터 및 순위 지정 로직을 적용하데, 현재 적용되는 개정 또는 수정을 고려합니다.
제시: 일치하는 콘텐츠를 규칙 번호, 표준 식별자, 버전 및 소스 컨텍스트와 함께 반환하여 컴플라이언스 엔지니어가 현재 텍스트를 읽고 있는지 확인할 수 있도록 합니다.
애플리케이션이 처리하는 대표적인 쿼리에는 표준 식별자(예: AIS-xyz), CMVR 규칙 번호 또는 약어, 자연 언어 요구 사항(예: "승용차의 뒷좌석 안전벨트 요구 사항은 무엇인가요?"), 카테고리 또는 개정 날짜로 제한된 쿼리가 포함됩니다. 이러한 쿼리는 검색 어휘를 구체화하고 평가 작업의 시작점을 제공합니다.
규정 및 표준 검색이 어려운 이유
CMVR 규칙은 관보에 게시된 G.S.R. 알림을 통해 개정됩니다. 단일 규칙에 원본 텍스트 위에 중청된 여러 개정사항이 포함될 수 있습니다. AI 표준은 고유의 수정 주기를 거치며, ARAI에서 AIS-xyz Rev B 등의 수정 문자로 관리합니다. 키워드로 검색하는 컴플라이언스 엔지니어는 찾은 내용이 현재 버전인지 나중 버전인지 확실하게 확인할 수 없습니다. 삭제된 조항에 대하여 서류를 제출하면 거부된 형식 승인 신청이 trigger되어 차량 출시가 수 주 동안 연기될 수 있습니다. 두 번째 인증 라운드의 비용이 추가로 발생합니다.
용어는 어려움을 두 번째 단계로 더합니다. 엔지니어, 공급업체 및 규제 기관은 종종 동일한 요구 사항을 다른 용어로 언급합니다. 예를 들어, 공급업체는 "전조등 비메 패턴"을 검색할 수 있지만 표준 자체는 "하향등의 광도 측정 요구 사항"을 사용합니다. 정확한 키워드 일치에만 기반한 검색은 이러한 연결을 놓칩니다. 어휘 검색은 단어, 접두어 또는 식별자와 일치합니다. 시맨틱 검색은 텍스트의 수치적 표현인 벡터 임베딩을 통해 의미를 매칭합니다. 이러한 검색 방법을 함께 사용하면 RAG 파이프라인이 LLM에 올바른 컨텍스트를 제공할 수 있습니다.
자동차 분야 외부에서도 동일한 문제가 나타납니다. AIS 개정으로 인해 보험 커버리지가 변경될 수 있기 때문에, 자동차 보험 청구를 검토하는 인수자는 차량이 제조될 때 어떤 충돌 시험 기준이 적용되었는지 확인해야 합니다. 유럽, 미국, 중국에 동시에 판매하는 OEM은 UNECE, FMVSS, GB 개정 사항을 동시에 추적해야 하며, 각 개정 사항에는 고유한 개정 기록과 발효일이 있습니다. 모든 경우에서 기본 요구사항은 동일합니다. 검색 가능한 텍스트와 함께 섹션, 버전 및 소스 로케이터를 보유하는 것입니다. 이 패턴은 사용자에게 요구 사항이 무엇을 말하는지 그리고 언제 적용되는지 알려줍니다.
참조 아키텍처
이 해결책은 엔지니어링, 인증 및 컴플라이언스 팀이 결과를 검증하는 데 필요한 수정 및 소스 컨텍스트를 잃지 않고 공신력 있는 CMVR 및 AI 콘템츠를 찾도록 도움을 줍니다. 하이브리드 검색 패턴을 사용합니다. 어휘 검색은 CMVR 규칙 번호 또는 AI 표준과 같은 식별자에 대한 고정밀 조회를 지원하며, 벡터 검색은 사용자가 일반 언어로 요구 사항을 설명할 때 관련 구절을 표시합니다.
모든 입력 문서는 수집 프로세스를 거치며 텍스트를 특정 규칙, 섹션 또는 개별 청크와 같은 과리한 단위로 구문분석합니다. 변환 동안, 출처 및 유효성 메타데이터가 추가됩니다. 이 메타데이터는 출처 ID, 정확한 섹션 또는 조항 찾기, 카테고리, 문서 버전/수정, 유효 날짜 및 현재 라이프사이클 상태를 포함합니다. MongoDB는 그 다음 키워드 검색을 위한 텍스트 데이터와 시맨틱 검색을 위한 벡터 임베딩 모두를 저장하고 인덱스합니다. 마지막으로 시스템은 어휘적 및 의미적 쿼리 후보를 병합하여 원본 자료에 기반한 순위가 매겨진, 검증 가능한 결과를 생성하고 제시합니다.
그림 1. 전체 구간 참조 아키텍처 다이어그램
AIS-[standard identifier]과 같은 쿼리, CMVR 규칙 번호 또는 "승용차 뒷좌석 안전벨트 요건"은 동일한 상위 수준 경로를 따릅니다.
애플리케이션은 적용 가능한 검색 텀과 카테고리, 개정, 발효일 또는 활성 상태와 같은 선택 사항 필터를 식별합니다.
MongoDB Search는 소스 텍스트의 정확한 식별자, 약어 및 텀에 대한 어휘 일치를 조회합니다.
MongoDB 벡터 검색은 자연어 요구사항 및 용어 변형에 대해 의미적으로 유사한 구절을 조회합니다.
애플리케이션은 후보 세트를 병합하고 순위를 매겹이며, 사이클 필터를 적용하고, 검증에 필요한 출처 필드를 프로젝트합니다.
결과 보기에서는 일치하는 구절과 소스 컨텍스트를 함께 제공합니다.
그림 2. 하이브리드 검색 시탰임 다이어그램
데이터 모델 접근 방식
검색 가능한 기록에는 조회된 텍스트와 해당 텍스트를 검증할 수 있게 하는 컨텍스트가 모두 포함되어야 합니다. 규제 관련 자료의 경우, 애플리케이션은 문서 ID, 섹션 또는 규칙 계층 구조, 인덱스된 개정판, 원본 자료에 대한 안정적인 로케이터를 유지해야 합니다.
그림 3. 문서에서 기록으로의 변환 시각자료
다음은 예시용 스키마일 뿐입니다.
{ _id: '<documentId>:rule:<ruleNumber>', AIS: { 'AIS-XXX': 'Summary of what this standard requires.', 'AIS-YYY': 'Summary of another referenced standard.' }, canonicalKey: '<documentId>:rule:<ruleNumber>', canonicalTitle: '<Short descriptive title of the rule>', chapterId: '<documentId>:chapter:<chapterNumber>', createdAt: ISODate('<YYYY-MM-DDTHH:mm:ss.sssZ>'), documentId: '<documentId>', ruleNumber: '<ruleNumber>', ruleText: '<Full rule text, including sub-rules, provisos, tables and footnotes>', source: { documentName: '<Official title of the source document>', pdfFile: '<source-file>.pdf', pages: [], chunkCount: NumberInt('<numberOfChunksExtracted>'), extractionModel: '<extraction-model-name>' }, status: 'active', updatedAt: ISODate('<YYYY-MM-DDTHH:mm:ss.sssZ>'), ruleTextEmbedding: [/* float[<dimensions>] */]}ruleText 필드에는 프라이머리 규제 구절이 포함되어 있으며, canonicalTitle 및 ruleNumber를 통해 요구 사항을 신속하게 확인할 수 있습니다. documentId 및 chapterId를 포함한 구조적 메타데이터는 특정 기록과 상위 챕터 계층 간의 관계를 유지합니다. source 객체는 원본 PDF, 페이지 번호 및 추출 모델에 대한 추적 가능성에 필요한 출처를 제공합니다. 표준별 컨텍스트의 경우 AI 객체는 상호 참조 및 연결된 요구 사항의 요약을 캡처합니다. 기록 수명 주기는 status, createdAt 및 updatedAt을 통해 추적됩니다. 마지막으로 ruleTextEmbedding 및 관련 메타데이터 필드는 의미론적 검색을 지원하는 수치 벡터 표현과 모델 세부 정보를 저장합니다.
솔루션 빌드
이 섹션에서는 하이브리드 검색 구현을 위한 빌드 흐름을 설명합니다. GitHub 리포지토리에서 전체 소스 코드에 액세스하세요.
하이브리드 검색 인덱스 만들기
정확한 식별자 및 텍스트 일치용 MongoDB Search 검색 인덱스를 생성하고, 임베딩 필드용 MongoDB 벡터 검색 인덱스를 생성합니다. 검증된 구현에서 매핑, 분석기, 필터, 벡터 차원 및 유사성 지표를 설정합니다.
검색 인덱스
{ mappings: { dynamic: false, fields: { canonicalTitle: { type: "string", analyzer: "lucene.english" }, ruleText: { type: "string", analyzer: "lucene.english" }, documentId: { type: "token" } } }}벡터 검색 인덱스
{ fields: [ { type: "vector", path: "ruleTextEmbedding", numDimensions: 1024, similarity: "cosine" }, { type: "filter", path: "documentId" } ]}
주요 학습 사항
전문 규제 검색에는 텍스트 일치 이상이 필요합니다: 어휘 및 의미 검색을 결합하면 정확한 표준 식별자와 사용자가 동일한 요구 사항에 적용하는 다양한 언어를 제공합니다.
출처는 제품의 필수 요건입니다: 조회된 모든 구절은 사용자가 기본 자료를 검증할 수 있도록 안정적인 출처 식별자, 로케이터, 문서 개정 버전 및 수명 주기 상태를 유지해야 합니다.
문서 개정은 적합성의 일부입니다: 적합하지만 대체된 조항은 현재 요구 사항으로 제시되어서는 안 됩니다.
하이브리드 검색은 대표적인 사용자 쿼리를 기준으로 평가해야 합니다. 후보 수, 결과 제한, 융합 가중치 및 지연 시간 목표는 기본값으로 복사하는 대신 실제 워크로드에서 선택해야 합니다.
원본 기반 검색 환경으로 확인 속도 향상: 이 개선된 환경은 사용자가 자료를 더 빠르게 찾고 확인할 수 있도록 지원합니다. 자체적으로 컴플라이언스 결정을 수행하지 않습니다.
작성자
Utsav Talwar, MongoDB 솔루션 아키텍트
Humza Akhtar, 제조 산업 부문 필드 CTO, MongoDB