기술 Docs 용 컨텍스트 인식 RAG

수집 파이프라인 계층

수집 파이프라인 계층은 원본 PDF를 콘텐츠와 컨텍스트를 보존하는 구조화된 데이터로 변환합니다. 이렇게 하면 청크 프로세스 중에 기술적 관계, 계층 구조 및 컨텍스트 종속성을 그대로 유지하여 중요한 정보 손실을 방지함으로써 RAG 시스템의 품질과 안정성이 향상됩니다. 자동차 매뉴얼 데이터 수집 노트북을 사용하여 수집 파이프라인 계층을 개발하세요. 이 파일 이 계층을 구현 방법에 대한 자세한 가이드 제공하고 다음 프로세스 안내합니다.

1. 이동식 문서를 구조 데이터 프레임으로 변환

수집 파이프라인 계층을 개발하려면 먼저 google-cloud-documentai Python 라이브러리를 사용하여 PDF 소스를 프로세스 . API 응답을 구조화된 Pandas DataFrame으로 구문 분석합니다. 각 행은 다음에 대한 열이 있는 고유한 텍스트 차단 나타냅니다.

• 경계 상자 좌표

• 페이지 번호

• 텍스트 콘텐츠

2. 구조 추론에 대한 규칙 적용

그런 다음 DataFrame을 반복하고 다음과 같이 규칙 기반 엔진 적용 컨텍스트를 추론합니다.

• 헤더 감지: 모두 대문자이거나 더 큰 글꼴 크기의 텍스트 블록은 섹션 헤더로 식별됩니다.

• 목록 및 절차 인식: 가로 경계 상자 위치는 목록이나 절차 단계를 나타내는 들여쓰기 패턴을 나타냅니다.

• 시맨틱 청크 전략: 텍스트를 의미 있는 청크로 집계하여 주요 제목이 발생할 때까지 계속하여 절차와 테이블을 그대로 유지합니다.

3. 고품질 검색을 위한 데이터 보강

breadcrumb_trail 이라는 문자열 변수를 만들어 각 청크 의 계층 경로를 캡처합니다. 이 문자열을 청크의 텍스트 앞에 추가한 후 Google Vertex AI textembedding-gecko 모델로 전송합니다. 이 디자인은 벡터 임베딩을 사용하여 청크의 텍스트와 문서 계층 구조에서의 컨텍스트 위치를 인코딩하여 시맨틱 검색 관련성을 향상시킵니다.

4. 대체 접근 방식 사용

voyage-context-3 와 같은 상황별 청크 임베딩 모델을 사용하여 프로세스 간소화합니다. 이러한 모델은 임베딩을 생성할 때 문서 의 전역 컨텍스트를 분석 다음과 같은 이점을 제공합니다.

• 수집 간소화: 변수를 만들고 앞에 붙이는등 수동으로 컨텍스트 보강 단계를 breadcrumb_trail 수행할 필요가 없습니다. 모델은 임베딩 중에 컨텍스트 주입을 자동으로 처리합니다.

• 더 높은 검색 정확도: 로컬 컨텍스트가 없는 청크의 검색 품질을 향상시키는 뉘앙스의 임베딩을 생성합니다.

• 청크에 대한 민감도 감소: 청크에 덜 의존하는 조회 프로세스 구현합니다. 이 모델의 글로벌 인식은 최적이 아닌 세분화를 보완합니다.

쿼리 계층

쿼리 계층은 정확한 일치와 시맨틱 검색 결합하는 계층화된 검색 접근 방식을 구현합니다. 각 계층 독립적으로 실행되며 다음과 같이 점수 통합을 사용하여 결과가 결합됩니다.

• 계층 1 는 고정밀 키워드 일치를 제공합니다.

• 계층 2 은 최종 순위 점수에 의미론적 이해를 추가합니다.

이 섹션에서는 점수 투명성을 유지하면서 정밀도와 재현율의 균형을 맞추는 쿼리 계층을 빌드 방법을 설명합니다. 프로덕션 시스템은 검색 관련성을 위해 계층화된 접근 방식을 사용하여 검색된 문서 사용자의 쿼리 얼마나 정확하게 충족하는지 측정합니다.

계층 1: 복합 텍스트 검색의 정밀도

산업 애플리케이션에서는 오류 코드나 부품 번호와 같은 용어를 찾기 위해 정밀도가 필요합니다. 다음과 같이 Atlas Search 의 compound 연산자 내에서 다계층 전략을 사용하면 이러한 정밀도를 달성할 수 있습니다.

{
   "$search": {
      "index": "manual_text_search_index",
      "compound": {
         "should": [
            // High-Precision: Exact phrase matching with highest boost
            {
               "phrase": {
                  "query": "car won't start",
                  "path": "breadcrumb_trail",
                  "score": { "boost": { "value": 10 } }
               }
            },
            // Balanced Relevance: Individual word matching with medium boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "score": { "boost": { "value": 4 } }
               }
            },
            // High-Recall: Fuzzy matching to catch typos with low boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "fuzzy": {},
                  "score": { "boost": { "value": 1.5 } }
               }
            }
         ]
      }
   }
}

이 쿼리 복합 검색 쿼리를 빌드 수 있는 should 절을 사용합니다. 결과 점수는 다음과 같이 일치하는 모든 절의 합계와 같습니다.

• 정확한 구문 일치는 정확한 구문이 있는 문서에 대해 가장 높은 순위를 보장하기 위해 10 의 점수 배수를 적용합니다.

• 개별 단어 일치는 개별 검색 가 포함된 문서에 4 의 점수 배율을 적용합니다. 이 기능 단어가 별도로 표시되는 경우에도 관련 콘텐츠를 캡처합니다.

• 퍼지 매칭은 1.5의 점수 배수를 적용합니다. 이 기능 오타나 변형이 있는 문서를 포착하여 정확히 일치하는 문서보다 순위가 높은 것을 방지합니다.

계층 2: 투명성을 위한 하이브리드 검색 분해

$rankFusion 를 사용하여 계층 1 의 정확한 compound 텍스트 쿼리 와 계층 2의 시맨틱 벡터 검색 결합합니다. 이 집계 연산자 키워드 매칭의 정밀도와 의미론적 이해를 제공합니다. 또한 최종 점수를 세분화하여 텍스트 및 벡터 검색 각 결과의 순위에 정확히 어떤 영향을 미치는지 확인할 수도 있습니다. 이러한 투명성을 통해 개발자는 다음을 수행할 수 있습니다.

• 검색 관련성을 디버그하여 텍스트 검색 또는 벡터 검색 순위 결과를 결정하는지 여부를 식별합니다.

• 명확한 점수 분석을 통해 특정 문서의 순위가 더 높은 이유를 이해합니다.

• 다양한 가중치 전략으로 A/B 테스트 시나리오를 최적화합니다.

search_new.py 파일 사용하여 하이브리드 검색 구현합니다. 이 파일 에는 다음을 수행하는 코드가 포함되어 있습니다.

1. 다음 집계 파이프라인 사용하여 scoreDetails 와 함께 $rankFusion 를 실행합니다.

   {
      $rankFusion: {
         input: {
            pipelines: {
               <myPipeline1>: <expression>,
               <myPipeline2>: <expression>,
               ...
            }
         },
         combination: {
            weights: {
               <myPipeline1>: <numeric expression>,
               <myPipeline2>: <numeric expression>,
               ...
            }
         },
         scoreDetails: <bool>
      }
   }

2. $addFields 연산자 사용하여 메타데이터 추출합니다.

   {
      $addFields: {
         scoreDetails: {
            $meta: "scoreDetails"
         }
      }
   }

3. $filter 및 $arrayElemAt 연산자를 사용하여 scoreDetails 배열 구문 분석하여 파이프라인 기여도를 격리합니다. 이 접근 방식은 vectorPipeline 및 fullTextPipeline의 특정 순위 및 점수에 대한 필드를 만듭니다.

4. 사용자 정의 가중치를 곱한 RRF 공식을 사용하여 각 검색 방법의 실제 기여도를 계산합니다. 상수 k 를 로 설정하여 60 순위가 낮은 결과 영향을 제어합니다.

5. 다음과 같이 검색 순위에 대한 투명한 결과를 제공합니다.

   SearchResult(
      score=0.0123,           # Final combined RRF score
      vector_score=0.0086,    # Vector pipeline contribution
      text_score=0.0037       # Text pipeline contribution
   )