Azure AI Foundry 포털의 모델 순위표(미리 보기)

Azure AI Foundry 포털의 모델 순위표(미리 보기)를 사용하면 Azure AI Foundry 모델 카탈로그에서 모델 선택 프로세스를 간소화할 수 있습니다. 업계 표준 벤치마크를 통해 지원되는 모델 순위표는 사용자 지정 AI 솔루션에 가장 적합한 모델을 찾는 데 도움이 될 수 있습니다. 모델 카탈로그의 모델 순위표 섹션에서 다음과 같이 순위표를 찾아 사용 가능한 모델을 비교할 수 있습니다.

• 품질, 안전성, 비용 및 성능 순위표 는 단일 메트릭(품질, 안전, 비용 또는 처리량)을 따라 모델 리더를 신속하게 식별합니다.
• 트레이드오프 차트를 사용하여 품질과 비용 같은 서로 다른 메트릭에서 모델의 성능을 비교할 수 있습니다.
• 시나리오별 순위표로 당신의 시나리오에 가장 적합한 순위표를 찾으십시오.

원하는 모델을 찾을 때마다 모델을 선택하고 모델 카탈로그 내에서 모델의 세부 벤치마킹 결과를 확대할 수 있습니다. 모델에 만족하는 경우 모델을 배포하거나, 플레이그라운드에서 사용해 보거나, 데이터에서 평가할 수 있습니다. 순위표는 텍스트 언어 모델(LLM(큰 언어 모델) 및 작은 언어 모델(SLLM))에서 벤치마킹 및 모델 포함을 지원합니다.

모델 벤치마크는 품질, 안전성, 비용 및 처리량 범주에서 LLM 및 SLLM을 평가합니다. 또한 표준 벤치마크를 사용하여 포함 모델의 품질을 평가합니다. 순위표는 더 나은 불포화 벤치마크가 등록되고 모델 카탈로그에 새 모델이 추가됨에 따라 정기적으로 업데이트됩니다.

언어 모델의 품질 벤치마크

Azure AI는 추론, 지식, 질문 답변, 수학 및 코딩과 같은 모델 기능을 측정하는 표준 포괄적인 벤치마크 데이터 세트의 정확도 점수를 사용하여 LLM 및 SLLM의 품질을 평가합니다.

품질 인덱스는 0에서 1까지의 크기로 제공됩니다. 품질 인덱스의 값이 높을수록 좋습니다. 품질 인덱스에 포함된 데이터 세트는 다음과 같습니다.

정확도 점수에 대한 자세한 내용을 참조하세요.

정확도 점수는 0에서 1까지의 척도로 제공됩니다. 값이 높을수록 좋습니다.

언어 모델의 안전 벤치마크

평가를 위한 안전 벤치마크 선택을 안내하기 위해 관련성과 엄격성을 모두 보장하도록 설계된 구조적 필터링 및 유효성 검사 프로세스를 적용합니다. 벤치마크는 우선 순위가 높은 위험을 해결하는 경우 온보딩할 자격이 있습니다. 안전 순위표의 경우 안전과 관련된 특정 관심 항목에 대한 신호를 제공할 수 있을 만큼 신뢰할 수 있는 것으로 간주될 수 있는 다양한 벤치마크를 살펴봅니다. 모델 보안을 프록시하기 위해 HarmBench 를 선택하고 다음과 같이 시나리오 순위표를 구성합니다.

유해한 동작 모델링

HarmBench 벤치마크는 모델 유해 동작을 측정하고 모델의 불법적인 유해한 행동에 대한 프롬프트를 포함합니다. 안전과 관련하여 벤치마크는 7가지 의미 체계 동작 범주를 다룹니다.

• 사이버 범죄 및 무단 침입
• 화학 무기/약물
• 저작권 위반
• 잘못된 정보 및 허위 정보
• 괴롭힘 및 따돌림
• 불법 활동
• 일반적인 피해

이러한 7개 범주는 3가지 기능 범주로 요약할 수 있습니다.

• 표준 유해한 동작
• 상황에 맞는 유해한 동작
• 저작권 위반

각 기능 범주는 별도의 시나리오 순위표에 있습니다. HarmBench(공격 없음) 및 HarmBench 평가자의 직접 프롬프트를 사용하여 ASR(공격 성공률)을 계산합니다. ASR 값이 낮으면 모델이 더 안전합니다. 평가에 대한 공격 전략은 탐색하지 않으며 모델 벤치마킹은 Azure AI 콘텐츠 안전 필터를 해제하여 수행됩니다.

독성 콘텐츠를 감지하는 모델 기능

Toxigen 은 악의적이고 암시적인 증오 음성 검색을 위한 대규모 기계 생성 데이터 세트입니다. 그것은 13개의 소수 집단을 언급하면서 암시적으로 독성이 있는 문장과 양성 문장을 포함하고 있습니다. 평가를 위해 Toxigen의 주석이 추가된 샘플을 사용하고 F1 점수를 계산하여 분류 성능을 측정합니다. 이 데이터 세트에서 높은 점수를 매기면 모델이 독성 콘텐츠를 더 잘 감지할 수 있습니다. 모델 벤치마킹은 Azure AI 콘텐츠 안전 필터를 해제하여 수행됩니다.

중요한 도메인의 모델 지식

WMDP( 대량살상무기 프록시 ) 벤치마크는 생물 보안, 사이버 보안 및 화학 보안을 포함한 중요한 도메인의 모델 지식을 측정합니다. 순위표는 사이버 보안, 생물 보안 및 화학 보안 전반에서 평균 정확도 점수를 사용합니다. WMDP 정확도 점수가 높을수록 위험한 기능에 대한 더 많은 지식이 표시됩니다(안전 관점에서 더 나쁜 동작). 모델 벤치마킹은 기본 Azure AI 콘텐츠 안전 필터를 사용하여 수행됩니다. 이러한 안전 필터는 폭력, 자해, 성적, 증오 및 불공정에서 콘텐츠 피해를 감지하고 차단하지만 사이버 보안, 생물 보안 및 화학 보안의 범주를 대상으로 하지 않습니다.

안전 벤치마크의 제한 사항

우리는 안전이 복잡한 주제이며 여러 차원을 가지고 있음을 이해하고 인정합니다. 현재 오픈 소스 벤치마크는 다른 시나리오에서 시스템의 전체 안전성 테스트 또는 표시를 수행할 수 없습니다. 또한 이러한 벤치마크의 대부분은 포화 또는 벤치마크 디자인과 위험 정의 간의 정렬 불일치로 인해 발생할 수 있으며, 대상 위험이 개념화되고 운영되는 방식에 대한 명확한 설명서가 부족하여 벤치마크가 위험의 뉘앙스를 정확하게 포착하는지 여부를 평가하기가 어려울 수 있습니다. 이러한 제한으로 인해 실제 안전 시나리오에서 모델 성능을 과대 평가하거나 과소 평가할 수 있습니다.

언어 모델의 성능 벤치마크

성능 메트릭은 매 트레일 사이에 1시간 간격으로 매일 전송되는 24개의 트레일(트레일당 두 개의 요청)을 기반으로 14일 동안 집계로 계산됩니다. 모델 엔드포인트에 대한 각 요청에 다음 기본 매개 변수가 사용됩니다.

LLM 및 SLLM의 성능은 다음 메트릭에서 평가됩니다.

또한 Azure AI는 다음과 같이 대기 시간 및 처리량에 대한 성능 인덱스를 표시합니다.

대기 시간 또는 처리량과 같은 성능 메트릭의 경우 첫 번째 토큰에 대한 시간과 초당 생성된 토큰은 모델의 일반적인 성능 및 동작에 대한 전반적인 감각을 향상합니다. 정기적인 주기에 따라 성능 번호를 새로 고칩니다.

언어 모델의 비용 벤치마크

비용 계산은 Azure AI 플랫폼에서 호스트되는 LLM 또는 SLM 모델 엔드포인트를 사용하기 위한 추정치입니다. Azure AI는 서버리스 API 배포 및 Azure OpenAI 모델의 비용 표시를 지원합니다. 이러한 비용은 변경될 수 있으므로 정기적으로 비용 계산을 새로 고칩니다.

LLM 및 SLLM의 비용은 다음 메트릭에서 평가됩니다.

또한 Azure AI는 다음과 같이 비용 인덱스를 표시합니다.

임베딩 모델의 품질 기준

포함 모델의 품질 인덱스는 정보 검색, 문서 클러스터링 및 요약 작업을 대상으로 하는 포괄적인 서버리스 API 벤치마크 데이터 세트 집합의 평균 정확도 점수로 정의됩니다.

각 데이터 세트와 관련된 정확도 점수 정의에 대한 자세한 내용을 참조하세요.

점수 계산

개별 점수

벤치마크 결과는 언어 모델 평가에 일반적으로 사용되는 공용 데이터 세트에서 비롯됩니다. 대부분의 경우 데이터는 데이터의 작성자 또는 큐레이터가 유지 관리하는 GitHub 리포지토리에서 호스팅됩니다. Azure AI 평가 파이프라인은 원래 원본에서 데이터를 다운로드하고, 각 예제 행에서 프롬프트를 추출하고, 모델 응답을 생성한 다음, 관련 정확도 메트릭을 계산합니다.

프롬프트 생성은 데이터 세트 및 업계 표준을 소개하는 문서에서 지정한 대로 각 데이터 세트에 대한 모범 사례를 따릅니다. 대부분의 경우 각 프롬프트에는 여러 샷이 포함됩니다. 즉, 모델을 작업에 맞추어 준비시키기 위한 완전한 질문과 답변의 몇 가지 예가 있습니다. 평가 파이프라인은 평가에서 제외된 데이터의 일부에서 질문과 답변을 샘플링하여 샷을 만듭니다.

관련 콘텐츠

• Azure AI Foundry 포털에서 모델 순위표를 사용하여 모델 비교 및 선택
• Azure AI Foundry 포털의 모델 카탈로그 및 컬렉션