Azure AI Foundry에 모델 추가 및 구성 - Azure AI Foundry

Azure AI Foundry 리소스에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 모델을 구성할 때 요청에서 모델 이름 또는 배포 이름을 지정하여 모델을 통해 예측을 생성할 수 있습니다. 모델을 사용하기 위해 코드에서 다른 변경을 수행할 필요가 없습니다.

이 문서에서는 Azure AI Foundry 모델 엔드포인트에 새 모델을 추가하는 방법을 알아봅니다.

필수 조건

이 문서를 완료하려면 다음이 필요합니다.

Azure 구독. GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 해당 경우에는 GitHub 모델에서 Azure AI Foundry 모델로 업그레이드하기를 참조하세요.
Azure AI Foundry 프로젝트입니다. 이러한 종류의 프로젝트는 Azure AI Foundry 리소스(이전의 Azure AI Services 리소스)에서 관리됩니다. Foundry 프로젝트가 없는 경우 Azure AI Foundry(Foundry 프로젝트)에 대한 프로젝트 만들기를 참조하세요.
파트너 및 커뮤니티의 모델은Azure Marketplace에 대한 액세스 권한이 필요합니다. 모델 제품을 구독하는 데 필요한 권한이 있는지 확인합니다. Azure에서 직접 판매하는 모델에 는 이 요구 사항이 없습니다.

모델 추가

다음 단계에 따라 Foundry Models 엔드포인트에 모델을 추가합니다.

Azure AI Foundry 포털의 모델 카탈로그 섹션으로 이동합니다.
원하는 모델을 선택합니다. 이 문서에서는 일러스트레이션을 위해 Mistral-Large-2411을 사용합니다.
모델 카드에서 모델의 세부 정보를 검토합니다.
이 모델 사용을 선택합니다.
파트너 및 커뮤니티의 Foundry 모델의 경우 Azure Marketplace를 구독해야 합니다. 예를 들어 이 요구 사항은 Mistral-Large-2411에 적용됩니다. 동의를 선택하고 계속하여 약관에 동의합니다.
배포 설정을 구성합니다. 기본적으로 배포는 배포하는 모델의 이름을 받습니다. 배포 이름은 이 특정 모델 배포에 대한 요청을 라우팅하기 위한 model 매개 변수에 사용됩니다. 이 명명 규칙을 사용하면 특정 구성을 연결할 때 모델의 특정 이름을 구성할 수 있습니다. 예를 들어 엄격한 콘텐츠 필터가 있는 모델에 사용합니다 o1-preview-safe .

팁 (조언)

각 모델은 다양한 배포 유형을 지원하여 서로 다른 데이터 상주 또는 처리량 보장을 제공합니다. 자세한 내용은 배포 유형을 참조하세요.
포털은 프로젝트에 따라 Azure AI Foundry 연결을 자동으로 선택합니다. 사용자 지정 옵션을 사용하여 필요에 따라 연결을 변경합니다. 서버리스 API 배포 유형으로 배포하는 경우 Azure AI Foundry 리소스의 지역에서 모델을 사용할 수 있어야 합니다.

팁 (조언)

원하는 리소스가 나열되지 않은 경우 해당 리소스에 대한 연결을 만들어야 할 수도 있습니다. Azure AI Foundry 포털의 내 프로젝트에서 Azure AI Foundry 모델 구성을 참조하세요.
배포를 선택합니다.
배포가 완료되면 새 모델이 페이지에 나열되고 사용할 준비가 됩니다.

모델 관리

Azure AI Foundry 포털을 사용하여 리소스에서 기존 모델 배포를 관리할 수 있습니다.

Azure AI Foundry 포털의 모델 + 엔드포인트 섹션으로 이동합니다.
포털은 연결당 모델 배포를 그룹화하고 표시합니다. Azure AI Foundry 리소스에 대한 섹션에서 Mistral-Large-2411 모델 배포를 선택합니다. 이 작업을 수행하면 모델의 배포 페이지가 열립니다.

플레이그라운드에서 배포 테스트

플레이그라운드를 사용하여 Azure AI Foundry 포털에서 새 모델과 상호 작용할 수 있습니다.

모델의 배포 페이지에서 플레이그라운드에서 열기를 선택합니다. 이 작업을 수행하면 배포 이름이 이미 선택된 채팅 플레이그라운드가 열립니다.
프롬프트를 입력하고 출력을 확인합니다.
보기 코드를 사용하여 프로그래밍 방식으로 모델 배포에 액세스하는 방법에 대한 세부 정보를 확인합니다.

Azure AI Foundry 리소스에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 모델을 구성할 때 요청에서 모델 이름 또는 배포 이름을 지정하여 모델을 통해 예측을 생성할 수 있습니다. 모델을 사용하기 위해 코드에서 다른 변경을 수행할 필요가 없습니다.

이 문서에서는 Azure AI Foundry 모델 엔드포인트에 새 모델을 추가하는 방법을 알아봅니다.

필수 조건

이 문서를 완료하려면 다음이 필요합니다.

Azure 구독. GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 해당 경우에는 GitHub 모델에서 Azure AI Foundry 모델로 업그레이드하기를 참조하세요.
Azure AI Foundry 프로젝트입니다. 이러한 종류의 프로젝트는 Azure AI Foundry 리소스(이전의 Azure AI Services 리소스)에서 관리됩니다. Foundry 프로젝트가 없는 경우 Azure AI Foundry(Foundry 프로젝트)에 대한 프로젝트 만들기를 참조하세요.
파트너 및 커뮤니티의 모델은Azure Marketplace에 대한 액세스 권한이 필요합니다. 모델 제품을 구독하는 데 필요한 권한이 있는지 확인합니다. Azure에서 직접 판매하는 모델에 는 이 요구 사항이 없습니다.

Azure CLI 및 cognitiveservices Azure AI Services에 대한 확장을 설치합니다.
```
az extension add -n cognitiveservices
```
이 자습서의 일부 명령은 시스템에 설치되지 않을 수 있는 도구를 사용합니다 jq . 설치 지침은 다운로드를 참조 하세요 jq.
다음 정보를 식별합니다.
- Azure 구독 ID.
- Azure AI Services 리소스 이름입니다.
- Azure AI Services 리소스를 배포한 리소스 그룹입니다.

모델 추가

모델을 추가하려면 먼저 배포하려는 모델을 식별합니다. 다음과 같이 사용 가능한 모델을 쿼리할 수 있습니다.

Azure 구독에 로그인합니다.
```
az login
```
구독이 두 개 이상인 경우 리소스가 위치한 구독을 선택하십시오.
```
az account set --subscription $subscriptionId
```
사용하려는 Azure AI Services 리소스 및 리소스 그룹의 이름으로 다음 환경 변수를 설정합니다.
```
accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"
___location="eastus2"
```

Azure AI Services 계정을 아직 만들지 않은 경우 계정을 만듭니다.

az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-___domain $accountName --___location $___location --kind AIServices --sku S0

사용할 수 있는 모델과 해당 SKU를 확인합니다. 배포 유형이라고도 하는 SKU는 Azure 인프라를 사용하여 요청을 처리하는 방법을 정의합니다. 모델은 다양한 배포 유형을 제공할 수 있습니다. 다음 명령은 사용 가능한 모든 모델 정의를 나열합니다.
```
az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
```

출력은 다음과 같습니다.

{
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

배포하려는 모델을 식별합니다. 속성 name, format, version, 및 sku가 필요합니다. 이 속성 format 은 모델을 제공하는 공급자를 나타냅니다. 배포 유형에 따라 용량이 필요할 수도 있습니다.

리소스에 모델 배포를 추가합니다. 다음 예제에서는 다음을 추가합니다.Phi-3.5-vision-instruct

az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

모델을 사용할 준비가 되었습니다.

다른 배포 이름 아래에 있는 한 필요한 경우 동일한 모델을 여러 번 배포할 수 있습니다. 이 기능은 콘텐츠 필터를 포함하여 지정된 모델에 대한 다양한 구성을 테스트하려는 경우에 유용할 수 있습니다.

모델 사용

배포된 모델은 리소스에 대한 Azure AI 모델의 유추 엔드포인트 를 사용하여 사용할 수 있습니다. 요청을 생성할 때 매개 변수 model 를 지정하고 만든 모델 배포 이름을 삽입합니다. 다음 코드를 사용하여 유추 엔드포인트에 대한 URI를 프로그래밍 방식으로 가져올 수 있습니다.

유추 엔드포인트

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Azure AI Foundry Models 엔드포인트를 요청하려면 경로를 models추가합니다(예: https://<resource>.services.ai.azure.com/models). Azure AI 모델 유추 API 참조 페이지에서 엔드포인트에 대한 API 참조를 볼 수 있습니다.

유추 키

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

배포 관리

CLI를 사용하여 사용 가능한 모든 배포를 볼 수 있습니다.

다음 명령을 실행하여 모든 활성 배포를 확인합니다.

az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

지정된 배포의 세부 정보를 볼 수 있습니다.

az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

지정된 배포는 다음과 같이 삭제할 수 있습니다.

az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Azure AI Foundry 리소스에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 모델을 구성할 때 요청에서 모델 이름 또는 배포 이름을 지정하여 모델을 통해 예측을 생성할 수 있습니다. 모델을 사용하기 위해 코드에서 다른 변경을 수행할 필요가 없습니다.

이 문서에서는 Azure AI Foundry 모델 엔드포인트에 새 모델을 추가하는 방법을 알아봅니다.

필수 조건

이 문서를 완료하려면 다음이 필요합니다.

Azure 구독. GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 해당 경우에는 GitHub 모델에서 Azure AI Foundry 모델로 업그레이드하기를 참조하세요.
Azure AI Foundry 프로젝트입니다. 이러한 종류의 프로젝트는 Azure AI Foundry 리소스(이전의 Azure AI Services 리소스)에서 관리됩니다. Foundry 프로젝트가 없는 경우 Azure AI Foundry(Foundry 프로젝트)에 대한 프로젝트 만들기를 참조하세요.
파트너 및 커뮤니티의 모델은Azure Marketplace에 대한 액세스 권한이 필요합니다. 모델 제품을 구독하는 데 필요한 권한이 있는지 확인합니다. Azure에서 직접 판매하는 모델에 는 이 요구 사항이 없습니다.

Azure CLI를 설치합니다.
다음 정보를 식별합니다.
- Azure 구독 ID.
- Azure AI Foundry 리소스(이전 명칭: Azure AI 서비스 리소스) 이름.
- Azure AI Foundry 리소스가 배포되는 리소스 그룹입니다.
- 배포하려는 모델 이름, 공급자, 버전 및 SKU입니다. Azure AI Foundry 포털 또는 Azure CLI를 사용하여 이 정보를 찾을 수 있습니다. 이 예제에서는 다음 모델을 배포합니다.
  - 모델 이름:: Phi-3.5-vision-instruct
  - 공급자: Microsoft
  - 버전:2
  - 배포 유형: 글로벌 표준

이 자습서 정보

이 문서의 예제는 Azure-Samples/azureai-model-inference-bicep 리포지토리에 포함된 코드 샘플을 기반으로 합니다. 파일 콘텐츠를 복사하거나 붙여넣지 않고 로컬로 명령을 실행하려면 다음 명령을 사용하여 리포지토리를 복제하고 코딩 언어의 폴더로 이동합니다.

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

이 예의 파일은 다음 위치에 있습니다.

cd azureai-model-inference-bicep/infra

배포에 사용할 수 있는 파트너 및 커뮤니티의 Foundry 모델(예: Cohere 모델)에는 Azure Marketplace가 필요합니다. 모델 공급자는 사용 조건을 정의하고 Azure Marketplace를 사용하여 모델을 사용하기 위한 가격을 설정합니다.

타사 모델을 배포할 때 계정에 다음 권한이 있는지 확인합니다.

Azure 구독에서:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
리소스 그룹에서 SaaS 리소스를 만들고 사용하려면 다음을 수행합니다.
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write

모델 추가

템플릿 ai-services-deployment-template.bicep 을 사용하여 모델 배포를 설명합니다.

ai-services-deployment-template.bicep

@description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'xAI'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'DataZoneStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

배포를 실행합니다.

RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

모델 사용

배포된 모델은 리소스에 대한 Azure AI 모델의 유추 엔드포인트 를 사용하여 사용할 수 있습니다. 요청을 생성할 때 매개 변수 model 를 지정하고 만든 모델 배포 이름을 삽입합니다. 다음 코드를 사용하여 유추 엔드포인트에 대한 URI를 프로그래밍 방식으로 가져올 수 있습니다.

유추 엔드포인트

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Azure AI Foundry Models 엔드포인트를 요청하려면 경로를 models추가합니다(예: https://<resource>.services.ai.azure.com/models). Azure AI 모델 유추 API 참조 페이지에서 엔드포인트에 대한 API 참조를 볼 수 있습니다.

유추 키

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

다음을 통해 공유

Azure AI Foundry 모델에 모델 추가 및 구성

필수 조건

모델 추가

모델 관리

플레이그라운드에서 배포 테스트

필수 조건

모델 추가

모델 사용

배포 관리

필수 조건

이 자습서 정보

파트너 및 커뮤니티에서 모델을 구독하는 데 필요한 권한

모델 추가

모델 사용

다음 단계

피드백

추가 리소스