에이전트 실행 추적 검사

개요

실행 추적은 에이전트 요청 처리하는 동안 발생하는 모든 것을 기록 . 실행 단계, 각 단계에 걸리는 시간, 각 모델 호출에 사용되는 토큰의 수가 표시됩니다. Atlas Agent Engine은 에이전트 실행될 때마다 자동으로 추적을 기록합니다.

추적을 사용하여 두 가지 종류의 질문에 답변 .

• 무슨 일이? 추적은 도구 호출, 모델 호출 및 에이전트 응답을 생성하기 위해 취하는 기타 단계의 순서를 보여줍니다. 실행 예기치 않거나 잘못된 결과를 생성하는 경우 이 옵션을 선택합니다.

• 속도가 느린 이유는 무엇인가요? 추적은 각 단계에 걸리는 시간을 보여주므로 추측하는 대신 느린 실행 의 원인이 되는 특정 단계를 찾을 수 있습니다.

추적은 세션, 해당 실행, 각 실행 단계의 세 가지 수준으로 구성됩니다. 세션은 에이전트 호출될 때마다 생성되는 고유한 세션 ID 가진 대화 스레드입니다. 세션에는 각 실행 차례마다 하나씩 여러 개의 실행이 포함될 수 있습니다. 실행 에는 모델 호출 또는 도구 호출과 같이 에이전트 수행하는 개별 작업 등 여러 단계가 포함될 수 있습니다. 각 단계 종류의 의미를 학습 이 페이지 뒷부분의 단계 종류를 참조하세요.

다음 두 곳에서 추적을 볼 수 있습니다.

• The Playground, where a Traces drawer on the right side of the page shows the trace for your own interactive test sessions as they run.

• Traces 페이지의 Monitor 아래에는 모든 작업 공간에 걸쳐 프로젝트 의 모든 세션이 표시됩니다. 에이전트 플레이그라운드, UI, REST API 또는 CLI 를 통해 호출되었는지 여부에 관계없이 세션이 여기에 표시되므로 실제 최종 사용자 활동을 찾을 수 있습니다. 플레이그라운드에는 자신의 세션만 표시됩니다.

전제 조건 및 액세스

모든 조직 또는 프로젝트 수준 읽기 역할 로 프로젝트의 추적을 볼 수 있습니다. 이러한 역할에는 조직 관리자, 조직 구성원, 프로젝트 소유자, 프로젝트 구성원 및 에이전트 개발자가 포함됩니다.

조직 의 허가를 받으면 MongoDB 지원 엔지니어가 읽기 전용 데이터 뷰어를 통해 추적을 볼 수도 있습니다. 조직 관리자는 제한된 시간 동안 이 액세스 부여합니다. 권한 부여가 활성화된 동안 데이터 뷰어에는 추적 페이지와 동일한 세션, 실행 및 단계가 표시됩니다. 데이터 뷰어의 배너에는 뷰가 읽기 전용이라는 내용과 함께 권한 부여의 만료가 표시됩니다. 도구 호출 입력 및 출력과 같은 단계 페이로드는 이 보기에서 수정됩니다. 이 액세스 부여하는 방법을 학습 지원 액세스 권한 부여를 참조하세요.

플레이그라운드에서 트레이스 보기

Atlas Agent Engine은 Playground 채팅 패널 옆에 Traces 창을 표시합니다. 현재 실행 실행되면 드로어가 실시간으로 업데이트됩니다. 채팅 옆에 단계 지속 시간 표시줄을 표시하려면 Timeline 토글을 켜세요.

창 상단의 실행 요약에는 실행 프롬프트가 표시되며 실행 중지되었거나 차단된 경우 상태 배지가 표시됩니다.

프롬프트 아래에 있는 요약 줄은 실행의 총 지속 시간, 첫 번째 이벤트 까지의 시간, "2 도구"와 같은 종류별 단계 수를 보고합니다. 첫 번째 이벤트 까지의 시간은 에이전트가 첫 번째로 표시되는 단계까지의 지연입니다. 이는 실행의 총 지속 시간과 별개이므로 실행 느리게 완료되지 않고 시작되거나 완료될 수 있습니다.

실행 의 각 단계는 종류에 따라 아이콘, 레이블 및 토큰 수, 기간 또는 둘 다와 함께 타임라인에 표시됩니다. 단계를 선택하여 세부 정보를 확인합니다. 모델 호출은 프롬프트, 완료 및 총 토큰 수를 표시하고 도구 호출은 입력 및 출력을 표시합니다. LLM 또는 Tools와 같은 카테고리별로 목록을 필터링하여 실행 에 단계가 많은 경우 한 단계 종류를 분리합니다.

진행 중인 실행 을 중지하려면 채팅 입력 표시줄의 중지 컨트롤을 사용합니다. 자세한 학습 은 플레이그라운드에서 실행 중지를 참조하세요.

추적 페이지에서 추적 보기

추적 페이지는 모든 작업 공간에서 프로젝트 의 모든 세션을 다룹니다. 이를 사용하여 특정 최종 사용자의 세션 또는 직접 호출을 찾을 수 있습니다.

실행 타임라인 읽기

세션을 열면 해당 실행이 공유 타임라인으로 표시됩니다. 맨 위에 있는 세 개의 요약 카드는 표시된 모든 실행 에서 세션의 지속 시간, 토큰 및 메모리 활동(리콜 및 저장)을 합산합니다. 토큰과 메모리 총합은 하한선입니다. 즉, 완료된 실행과 단계만 반영하므로 실행 아직 활성화된 동안에는 과소 계산될 수 있습니다.

정렬 드롭다운과 Elapsed time/Tokens 토글은 타임라인이 읽는 방식을 변경합니다. 드롭다운은 가장 먼저 표시되는 실행 제어합니다. 토글은 막대의 길이가 측정하는 항목, 즉 Elapsed time 보기의 지속 시간과 Tokens 보기의 토큰 수를 제어합니다.

Elapsed time 보기에서 가로축은 실행 시작된 이후 경과된 시간을 나타냅니다. 단계의 표시줄은 시작 시점과 실행 시간에 따라 위치와 크기가 결정됩니다. 이를 통해 순차적으로 실행 단계와 겹치는 단계를 결정할 수 있습니다. 세션의 모든 실행 동일한 축을 공유하기 때문에 개별 실행을 서로 한 눈에 비교할 수도 있습니다. Tokens 보기에는 시간 축이 없습니다: 막대는 각 단계의 토큰 수에 비례하여 왼쪽 정렬되고 크기가 조정됩니다.

다음 이미지는 실행 진행 중일 때 세션의 실행 타임라인을 보여줍니다.

클릭하여 확대

각 실행의 헤더는 상대적 시작 시간, 총 기간, 첫 번째 이벤트 까지의 시간, 총 토큰 및 포함된 가장 느린 단계를 slowest: <step> (<duration>) 형식으로 보고합니다.

진행 중인 실행 중지 제어를 표시합니다. 실행 중지하면 상태가 중지 중...으로 변경되었다가 중지되면 중지됨으로 변경됩니다. 단계가 현재 작업을 먼저 완료해야 할 수 있으므로 취소가 항상 즉각적이지는 않습니다. 중단된 단계에는 일치하는 중지됨 배지가 표시되어 중지가 중단된 단계를 정확히 식별합니다.

각 단계 행에는 아이콘과 이름이 표시됩니다. 단계의 상태 에 따라 기간 또는 상태 레이블이 표시됩니다. 완료된 단계에는 기간이 표시되며, LLM 호출에는 토큰 개수도 표시됩니다. 아직 진행 중인 단계에 Running...이 표시됩니다.

단계를 선택하여 사이드 패널에서 종류, 상태, 기간, 실행 호출한 사람 등 세부 정보를 엽니다. 이 패널에는 모델 호출에서 보내고 반환된 메시지와 같은 단계의 입력 및 출력도 표시됩니다.

느린 실행의 원인 찾기

실행 예상보다 오래 걸리는 경우 다음 신호를 사용하여 원인이 되는 특정 단계를 찾습니다.

• slowest: <step> (<duration>) 형식의 실행 헤더에서 가장 느린 단계 콜아웃으로 시작합니다. 해당 단계를 선택하여 세부 정보를 직접 검사합니다.

• 실행 이 완료되는 것이 아니라 시작이 느린 경우 가장 느린 단계 대신 첫 번째 이벤트 까지의 시간을 확인합니다. 실행 전반에 걸쳐 일관되게 높은 값은 검사할 수 있는 단계가 시작되기 전에 지연이 발생한다는 의미입니다.

• 실행의 총 토큰 수가 높지만 Elapsed time 보기에서 눈에 띄는 단일 단계가 없는 경우 Tokens 보기로 전환합니다. 벽시계 시간에 따라 가장 느린 단계가 아닌 한 단계가 토큰 병목 현상이 될 수 있습니다.

• 실행의 총 지속 시간이 길지만 모든 단계가 빨라 보이는 경우, 실행 사람의 검토 기다리고 있는지 확인합니다. 실행된 경우 실행 헤더는 기간 및 첫 번째 이벤트까지의 시간 필드를 active / review 분할(예: "2min 3s active - 1h 30최소 검토'. 검토 시간이 길다 검토 것은 실행 실제로 느리게 실행 는 않는다는 의미입니다.자세한 학습 은 휴먼 인 루프(Human-in-Loop) 에이전트 실행을 참조하세요.

다음 단계

에이전트 모니터링 및 호출에 대해 자세히 학습 다음 가이드를 참조하세요.

• 에이전트 모니터링

• 에이전트 호출