에이전트 실행의 추론을 결정하는 것은 문제 해결 및 디버깅에 중요합니다. 그러나 복잡한 에이전트는 다음과 같은 여러 가지 이유로 어려울 수 있습니다.
- 응답을 생성하는 데 많은 단계가 관련될 수 있으므로 모든 단계를 추적하기가 어려울 수 있습니다.
- 단계 시퀀스는 사용자 입력에 따라 달라질 수 있습니다.
- 각 단계의 입력/출력은 길 수 있으며 보다 자세한 검사를 받을 자격이 있습니다.
- 에이전트 런타임의 각 단계에는 중첩도 포함될 수 있습니다. 예를 들어 에이전트는 다른 프로세스를 사용하는 도구를 호출한 다음 다른 도구를 호출할 수 있습니다. 최상위 에이전트 실행에서 이상하거나 잘못된 출력을 발견하면 실행에서 문제가 발생한 위치를 정확히 확인하기 어려울 수 있습니다.
추적은 특정 에이전트 실행에 관련된 각 기본 형식의 입력 및 출력을 호출된 순서대로 명확하게 볼 수 있도록 하여 이 문제를 해결합니다.
Azure AI Foundry 에이전트 플레이그라운드에서 추적
Azure AI Foundry 포털의 에이전트 플레이그라운드를 사용하면 에이전트가 생성하는 스레드 및 실행을 추적할 수 있습니다. 추적을 열려면 활성 스레드에서 스레드 정보를 선택합니다. 또한 선택적으로 메트릭을 선택하여 여러 차원의 AI 품질 및 위험 및 안전성에서 모델의 성능을 자동으로 평가할 수 있습니다.
비고
평가 결과는 만료되기 전에 24시간 동안 사용할 수 있습니다. 평가 결과를 얻으려면 원하는 메트릭을 선택하고 에이전트와 채팅합니다.
- 평가는 다음 지역에서 사용할 수 없습니다.
australiaeastjapaneastsouthindiauksouth
스레드 정보를 선택하면 표시되는 화면에서 스레드, 실행, 실행 단계 및 수행된 모든 도구 호출을 볼 수 있습니다. 에이전트와 사용자 간의 입력 및 출력뿐만 아니라 연결된 메타데이터 및 선택한 모든 평가를 볼 수 있습니다.
팁 (조언)
이전 스레드의 추적을 보려면 에이전트 화면에서 내 스레드를 선택합니다. 스레드를 선택한 다음, 플레이그라운드에서 시도를 선택합니다.
화면 맨 위에 스레드 정보 단추를 표시하여 추적을 볼 수 있습니다.
비고
위험 및 안전 평가와 같은 관찰 기능의 요금은 Azure 가격 책정 페이지에 나열된 소비량에 따라 청구됩니다.
OpenTelemetry 및 Application Insights 리소스를 사용하는 추적 에이전트
추적을 사용하면 OpenTelemetry를 사용하고 Azure AI Foundry 프로젝트에 Application Insights 리소스를 추가하여 에이전트의 성능과 동작을 분석할 수 있습니다.
Application Insights 리소스를 추가하려면 Azure AI Foundry 포털의 왼쪽 창에서 관찰 기능을 선택하고 추적을 선택한 다음, 아직 없는 경우 새 리소스를 만듭니다.
만든 후에는 Application Insights 연결 문자열 가져와서 에이전트를 구성하고 Azure Monitor를 통해 에이전트의 전체 실행 경로를 관찰할 수 있습니다. 일반적으로 에이전트를 만들기 전에 추적을 사용하도록 설정하려고 합니다.
에이전트를 관찰하다
pip install 먼저 OpenTelemetry 및 Azure SDK 추적 플러그 인을 설치합니다.
pip install opentelemetry-sdk
pip install azure-core-tracing-opentelemetry
또한 결과를 관찰성 백 엔드로 보내려면 내보내기가 필요합니다. 추적을 콘솔에 인쇄하거나 Aspire 대시보드와 같은 로컬 뷰어를 사용할 수 있습니다. Aspire 대시보드 또는 다른 OpenTelemetry 호환 백 엔드에 연결하려면 OTLP(OpenTelemetry Protocol) 내보내기를 설치합니다.
pip install opentelemetry-exporter-otlp
패키지가 설치되면 다음 Python 샘플 중 하나를 사용하여 에이전트로 추적을 구현할 수 있습니다. 콘솔 추적을 사용하는 샘플은 콘솔에 로컬로 결과를 표시합니다. Azure Monitor를 사용하는 샘플은 Azure AI Foundry 포털의 관측 탭에 있는 Azure Monitor로 추적을 보냅니다.
비고
에이전트 추적 기능에 알려진 버그가 있습니다. 이 버그로 인해 콘텐츠 녹화를 사용하도록 설정되지 않은 경우에도 에이전트의 함수 도구가 관련 정보(중요한 정보를 포함할 수 있는 함수 이름 및 매개 변수 값)를 추적에 포함하도록 합니다.
Azure Monitor 사용
콘솔 추적 사용