技術ドキュメントのためのコンテキストを認識するための RG

取り込みパイプライン層

取り込みパイプラインレイヤーは、未加工の PDF をコンテンツとコンテキストを保持する構造化データに変換します。これにより、チャンク化プロセス中に技術的関係、階層構造、コンテキストに応じた依存関係が正常に保たれ、重要な情報の損失を防ぐことで、RAG システムの品質と信頼性が向上します。取り込みパイプラインレイヤーを開発するには、 カーマニュアルのデータ取り込みノート を使用します。このファイルは、このレイヤーを実装する方法に関する詳細なガイドを提供し、次のプロセスをガイドします。

1。移植性のあるドキュメントを構造データフレームワークに変換する

取り込みパイプラインレイヤーを開発するには、まず google-cloud-documentai Pythonライブラリを使用して PDF ソースを処理します。API応答を構造化された Panas DataFrame に解析します。各行は、次の列を含む個別のテキスト ブロックを表します。

• 境界ボックスの座標

• ページ番号

• テキスト コンテンツ

2。構造推論のルールを適用する

次に、次のように Data Frame を反復処理し、ルールベースのエンジンを適用してコンテキストを推論します。

• ヘッダーの検出: すべてが上限付きのテキスト ブロックまたはフォント サイズが大きいテキスト ブロックは、セクション ヘッダーとして識別されます。

• リストと手順の認識: 水平境界ボックスの位置により、リストまたは手順ステップを示すインデント パターンが表示されます。

• セマンティック チャンク戦略: テキストは意味のあるチャンクに集約され、主要な見出しが発生するまで継続され、手順とテーブルが完全な状態に保たれます。

3。高品質の検索のためのデータの強化

各チャンクの階層パスを取得するには、breadcrumb_trail という名前の string 変数を作成します。この string を、Google Vertex AI textembedding-gecko モデルに送信する前に、チャンクのテキストに先頭に追加します。この設計では、チャンクのテキストとドキュメント階層内のそのコンテキスト位置をベクトル埋め込みでエンコードすることで、セマンティック検索の関連性が向上します。

4。代替のアプローチを使用する

プロセスを簡素化するために、 mongoage-context-3 などのコンテキストに応じたチャンク埋め込みモデルを使用します。これらのモデルは、埋め込みの生成時にドキュメントのグローバルなコンテキストを分析し、次の利点を提供します。

• 取り込みの簡素化: breadcrumb_trail 変数の作成や前追加などの手動コンテキスト認証の手順を減らします。モデルは埋め込み中にコンテキストインジェクションを自動的に処理します。

• 取得精度の向上: ローカル コンテキストを持たないチャンクの取得品質を向上させるニュアンスのある埋め込みを生成します。

• チャンクへの影響の軽減: チャンクへの依存度が低い検索プロセスを実装します。モデルのグローバル認識は、セグメンテーションが非最適であることを埋め合わせます。

クエリ層

クエリレイヤーは、完全一致とセマンティック検索を組み合わせた階層型検索アプローチを実装します。各階層は独立して実行され、その結果は次のように スコア統合 を使用して結合されます。

• 階層 1 は高精度のキーワード一致を提供します。

• 階層 2 は、最終ランキング スコアにセマンティックな理解を追加します。

このセクションでは、スコアの可視性を維持しつつ、精度と再現率のバランスするクエリレイヤーを構築する方法を説明します。実稼働システムは検索関連性のために階層化されたアプローチを使用して、検索されたドキュメントがユーザーのクエリを満たしているかどうかを測定します。

階層 1: 複合テキスト検索の精度

業種では、エラー コードや部分番号などの用語を検索するための精度が必要です。この精度を実現するには、次のように Atlas Search の compound 演算子内で多層戦略を使用します。

{
   "$search": {
      "index": "manual_text_search_index",
      "compound": {
         "should": [
            // High-Precision: Exact phrase matching with highest boost
            {
               "phrase": {
                  "query": "car won't start",
                  "path": "breadcrumb_trail",
                  "score": { "boost": { "value": 10 } }
               }
            },
            // Balanced Relevance: Individual word matching with medium boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "score": { "boost": { "value": 4 } }
               }
            },
            // High-Recall: Fuzzy matching to catch typos with low boost
            {
               "text": {
                  "query": "car won't start",
                  "path": "text",
                  "fuzzy": {},
                  "score": { "boost": { "value": 1.5 } }
               }
            }
         ]
      }
   }
}

このクエリでは、複合検索クエリを作成できる should 句を使用します。結果として得られるスコアは、次のように、一致するすべての 句の合計と等しくなります。

• 完全一致では、10 のスコア乗数が適用され、完全一致のドキュメントの最高ランクが確保されます。

• 一致する個々の単語は、個々の検索タームを含むドキュメントに 4 のスコア乗数を適用します。この機能は、単語が別々に表示される場合でも、関連するコンテンツをキャプチャします。

• ファジー一致では、1.5 のスコア乗数が適用されます。この機能は、type またはバリエーションのあるドキュメントを検出し、完全一致のランク付けを防ぎます。

階層 2: 透過性を高めるためのハイブリッド検索の分割

$rankFusion を使用して、階層 1 からの正確な compound テキストクエリと階層 2 からのセマンティックベクトル検索を組み合わせます。この集計演算子は、キーワード一致の精度とセマンティックの理解性を提供します。最終スコアを分割して、テキスト検索とベクトル検索が各結果のランキングにどのように影響するかを正確に示すこともできます。この透過性により、開発者は次のことが可能になります。

• 検索の関連性をデバッグして、テキスト検索とベクトル検索のどちらがランキング結果を後押しするかを識別します。

• スコアの内訳を明確に示すことで、特定のドキュメントが高ランクにランク付けされる理由を把握します。

• さまざまな重み戦略で A/B テスト シナリオを最適化します。

search_new.pyファイルを使用してハイブリッド検索を実装します。このファイルには、次の操作を実行するコードが含まれています。

1. 次の集計パイプラインを使用して、scoreDetails で $rankFusion を実行します。

   {
      $rankFusion: {
         input: {
            pipelines: {
               <myPipeline1>: <expression>,
               <myPipeline2>: <expression>,
               ...
            }
         },
         combination: {
            weights: {
               <myPipeline1>: <numeric expression>,
               <myPipeline2>: <numeric expression>,
               ...
            }
         },
         scoreDetails: <bool>
      }
   }

2. $addFields 演算子を使用してメタデータを抽出します。

   {
      $addFields: {
         scoreDetails: {
            $meta: "scoreDetails"
         }
      }
   }

3. $filter 演算子と $arrayElemAt 演算子を使用してパイプライン貢献を分離し、scoreDetails 配列を解析します。このアプローチでは、vectorPipeline と fullTextPipeline から特定のランクとスコアのフィールドを作成します。

4. RTF 式を使用して、各検索メソッドの実際の貢献度を計算し、ユーザー定義の重みを掛けます。低ランクの結果への影響を制御するには、定数 k を 60 に設定します。

5. 次のような、検索ランキングの透過的な結果を提供します。

   SearchResult(
      score=0.0123,           # Final combined RRF score
      vector_score=0.0086,    # Vector pipeline contribution
      text_score=0.0037       # Text pipeline contribution
   )