Azure AI Foundry 리소스에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 지정된 모델이 구성된 경우 요청에 모델 이름 또는 배포 이름을 표시하여 해당 모델에서 예측을 생성할 수 있습니다. 코드를 사용하는 데 더 이상의 변경은 필요 없습니다.
이 문서에서는 Azure AI Foundry에 새 모델을 추가하는 방법을 알아봅니다.
필수 조건
이 문서를 완료하려면 다음이 필요합니다.
Azure 구독. GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 해당 경우에는 GitHub 모델에서 Azure AI Foundry 모델로 업그레이드하기를 참조하세요.
Azure AI Foundry 리소스(이전의 Azure AI Services). 자세한 내용은 Azure AI Foundry 모델에 대한 모든 리소스 만들기 및 구성을 참조하세요.
파트너 및 커뮤니티의 모델은Azure Marketplace에 대한 액세스 권한이 필요합니다. 모델 제품을 구독하는 데 필요한 권한이 있는지 확인합니다. Azure에서 직접 판매하는 모델에 는 이 요구 사항이 없습니다.
Azure AI Foundry 리소스에 연결된 AI 프로젝트로, Foundry Models 서비스에 모델을 배포하는 기능이 활성화되어 있습니다.
- Azure AI Foundry에서 내 프로젝트의 Foundry Models 서비스 구성을 따를 수 있습니다.
모델 추가
다음 단계를 사용하여 Foundry 모델 엔드포인트에 모델을 추가할 수 있습니다.
Azure AI 파운드리 포털의 모델 카탈로그 섹션으로 이동합니다.
관심 있는 모델로 스크롤하여 선택합니다.
모델 카드에서 모델의 세부 정보를 검토할 수 있습니다.
배포를 선택합니다.
더 많은 계약 조건을 요구하는 모델 공급자의 경우 해당 사용 약관에 동의하라는 메시지가 표시됩니다. 예를 들어, Mistral 모델의 경우가 그렇습니다. 구독 및 배포를 선택하여 해당 사례의 사용 약관에 동의합니다.
이때 배포 설정을 구성할 수 있습니다. 기본적으로 배포는 배포하는 모델의 이름을 받습니다. 배포 이름은 이 특정 모델 배포에 대한 요청을 라우팅하기 위한
model
매개 변수에 사용됩니다. 이를 통해 특정 구성을 첨부할 때 모델에 대한 특정 이름도 구성할 수 있습니다. 예를 들어o1-preview-safe
엄격한 콘텐츠 필터가 있는 모델의 경우입니다.팁 (조언)
각 모델은 다양한 배포 형식을 지원하여 다양한 데이터 보존 또는 처리량 보장을 제공합니다. 자세한 내용은 배포 유형을 참조하세요.
프로젝트에 따라 Azure AI Foundry 연결을 자동으로 선택합니다. 사용자 지정 옵션을 사용하여 필요에 따라 연결을 변경합니다. 서버리스 API 배포 유형으로 배포하는 경우 Azure AI Foundry 리소스의 지역에서 모델을 사용할 수 있어야 합니다.
팁 (조언)
원하는 리소스가 나열되지 않은 경우 해당 리소스에 대한 연결을 만들어야 할 수도 있습니다. Azure AI Foundry 포털의 내 프로젝트에서 Azure AI Foundry 모델 구성을 참조하세요.
배포를 선택합니다.
배포가 완료되면 새 모델이 페이지에 나열되고 사용할 준비가 됩니다.
모델 관리
Azure AI 파운드리 포털을 사용하여 리소스의 기존 모델 배포를 관리할 수 있습니다.
Azure AI 파운드리 포털의 모델 + 엔드포인트 섹션으로 이동합니다.
Azure AI Foundry 리소스에 대한 연결로 스크롤합니다. 모델 배포는 연결별로 그룹화되어 표시됩니다.
각 연결 아래에 사용 가능한 모델 목록이 표시됩니다. 관심 있는 모델 배포를 선택합니다.
필요에 따라 배포를 편집하거나 삭제합니다.
플레이그라운드에서 배포 테스트
Azure AI 파운드리 포털에서 플레이그라운드를 사용하여 새 모델과 상호 작용할 수 있습니다.
비고
플레이그라운드는 Azure AI 파운드리에서 AI 프로젝트로 작업할 때만 사용할 수 있습니다. Azure AI 파운드리의 모든 기능에 대한 모든 권한을 가져오려면 AI 프로젝트를 만듭니다.
Azure AI 파운드리 포털의 플레이그라운드 섹션으로 이동합니다.
배포한 모델 형식에 따라 필요한 플레이그라운드를 선택합니다. 이 경우에는 채팅 플레이그라운드를 선택합니다.
배포 드롭다운의 설정에서 만든 모델 배포의 이름을 선택합니다.
프롬프트를 입력하고 출력을 확인합니다.
또한 코드 보기를 사용하여 모델 배포에 프로그래밍 방식으로 액세스하는 방법에 대한 자세한 내용을 볼 수 있습니다.
Azure AI Foundry 리소스에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 지정된 모델이 구성된 경우 요청에 모델 이름 또는 배포 이름을 표시하여 해당 모델에서 예측을 생성할 수 있습니다. 코드를 사용하는 데 더 이상의 변경은 필요 없습니다.
이 문서에서는 Azure AI Foundry에 새 모델을 추가하는 방법을 알아봅니다.
필수 조건
이 문서를 완료하려면 다음이 필요합니다.
Azure 구독. GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 해당 경우에는 GitHub 모델에서 Azure AI Foundry 모델로 업그레이드하기를 참조하세요.
Azure AI Foundry 리소스(이전의 Azure AI Services). 자세한 내용은 Azure AI Foundry 모델에 대한 모든 리소스 만들기 및 구성을 참조하세요.
파트너 및 커뮤니티의 모델은Azure Marketplace에 대한 액세스 권한이 필요합니다. 모델 제품을 구독하는 데 필요한 권한이 있는지 확인합니다. Azure에서 직접 판매하는 모델에 는 이 요구 사항이 없습니다.
Azure CLI 및
cognitiveservices
Azure AI Services에 대한 확장을 설치합니다.az extension add -n cognitiveservices
이 자습서의 일부 명령은 시스템에 설치되지 않을 수 있는 도구를 사용합니다
jq
. 설치 지침은 다운로드를 참조 하세요jq
.다음 정보를 식별합니다.
Azure 구독 ID.
Azure AI Services 리소스 이름입니다.
Azure AI Services 리소스가 배포되는 리소스 그룹입니다.
모델 추가
모델을 추가하려면 먼저 배포하려는 모델을 식별해야 합니다. 다음과 같이 사용 가능한 모델을 쿼리할 수 있습니다.
Azure 구독에 로그인합니다.
az login
구독이 1개 이상인 경우 리소스가 있는 구독을 선택합니다.
az account set --subscription $subscriptionId
사용하려는 Azure AI Services 리소스 및 리소스 그룹의 이름으로 다음 환경 변수를 설정합니다.
accountName="<ai-services-resource-name>" resourceGroupName="<resource-group>" ___location="eastus2"
Azure AI Services 계정이 아직 만들어지지 않은 경우 다음과 같이 만들 수 있습니다.
az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-___domain $accountName --___location $___location --kind AIServices --sku S0
먼저 사용할 수 있는 모델과 해당 SKU를 살펴보겠습니다. 배포 유형이라고도 하는 SKU는 Azure 인프라를 사용하여 요청을 처리하는 방법을 정의합니다. 모델은 다양한 배포 유형을 제공할 수 있습니다. 다음 명령은 사용 가능한 모든 모델 정의를 나열합니다.
az cognitiveservices account list-models \ -n $accountName \ -g $resourceGroupName \ | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
출력은 다음과 같습니다.
{ "name": "Phi-3.5-vision-instruct", "format": "Microsoft", "version": "2", "sku": "GlobalStandard", "capacity": 1 }
배포하려는 모델을 식별합니다. 속성
name
,format
,version
, 및sku
가 필요합니다. 이 속성format
은 모델을 제공하는 공급자를 나타냅니다. 배포 유형에 따라 용량이 필요할 수도 있습니다.리소스에 모델 배포를 추가합니다. 다음 예제에서는 다음을 추가합니다.
Phi-3.5-vision-instruct
az cognitiveservices account deployment create \ -n $accountName \ -g $resourceGroupName \ --deployment-name Phi-3.5-vision-instruct \ --model-name Phi-3.5-vision-instruct \ --model-version 2 \ --model-format Microsoft \ --sku-capacity 1 \ --sku-name GlobalStandard
해당 모델은 소비될 준비가 되었습니다.
다른 배포 이름 아래에 있는 한 필요한 경우 동일한 모델을 여러 번 배포할 수 있습니다. 이 기능은 콘텐츠 필터를 포함하여 지정된 모델에 대한 다양한 구성을 테스트하려는 경우에 유용할 수 있습니다.
모델 사용
배포된 모델은 리소스에 대한 Azure AI 모델의 유추 엔드포인트 를 사용하여 사용할 수 있습니다. 요청을 생성할 때 매개 변수 model
를 지정하고 만든 모델 배포 이름을 삽입합니다. 다음 코드를 사용하여 유추 엔드포인트에 대한 URI를 프로그래밍 방식으로 가져올 수 있습니다.
유추 엔드포인트
az cognitiveservices account show -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'
Azure AI Foundry Models 엔드포인트를 요청하려면 경로를 models
추가합니다(예: https://<resource>.services.ai.azure.com/models
). Azure AI 모델 유추 API 참조 페이지에서 엔드포인트에 대한 API 참조를 볼 수 있습니다.
유추 키
az cognitiveservices account keys list -n $accountName -g $resourceGroupName
배포 관리
CLI를 사용하여 사용 가능한 모든 배포를 볼 수 있습니다.
다음 명령을 실행하여 모든 활성 배포를 확인합니다.
az cognitiveservices account deployment list -n $accountName -g $resourceGroupName
지정된 배포의 세부 정보를 볼 수 있습니다.
az cognitiveservices account deployment show \ --deployment-name "Phi-3.5-vision-instruct" \ -n $accountName \ -g $resourceGroupName
지정된 배포는 다음과 같이 삭제할 수 있습니다.
az cognitiveservices account deployment delete \ --deployment-name "Phi-3.5-vision-instruct" \ -n $accountName \ -g $resourceGroupName
Azure AI Foundry 리소스에서 유추에 사용할 수 있는 모델을 결정하고 구성할 수 있습니다. 지정된 모델이 구성된 경우 요청에 모델 이름 또는 배포 이름을 표시하여 해당 모델에서 예측을 생성할 수 있습니다. 코드를 사용하는 데 더 이상의 변경은 필요 없습니다.
이 문서에서는 Azure AI Foundry에 새 모델을 추가하는 방법을 알아봅니다.
필수 조건
이 문서를 완료하려면 다음이 필요합니다.
Azure 구독. GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. 해당 경우에는 GitHub 모델에서 Azure AI Foundry 모델로 업그레이드하기를 참조하세요.
Azure AI Foundry 리소스(이전의 Azure AI Services). 자세한 내용은 Azure AI Foundry 모델에 대한 모든 리소스 만들기 및 구성을 참조하세요.
파트너 및 커뮤니티의 모델은Azure Marketplace에 대한 액세스 권한이 필요합니다. 모델 제품을 구독하는 데 필요한 권한이 있는지 확인합니다. Azure에서 직접 판매하는 모델에 는 이 요구 사항이 없습니다.
Azure CLI를 설치합니다.
다음 정보를 식별합니다.
Azure 구독 ID.
Azure AI Foundry(이전에는 Azure AI Services로 알려진) 리소스 이름입니다.
Azure AI Foundry 리소스가 배포되는 리소스 그룹입니다.
배포하려는 모델 이름, 공급자, 버전 및 SKU입니다. Azure AI Foundry 포털 또는 Azure CLI를 사용하여 식별할 수 있습니다. 이 예제에서는 다음 모델을 배포합니다.
- 모델 이름::
Phi-3.5-vision-instruct
- 공급자:
Microsoft
- 버전:
2
- 배포 유형: 글로벌 표준
- 모델 이름::
이 자습서 정보
이 문서의 예제는 Azure-Samples/azureai-model-inference-bicep 리포지토리에 포함된 코드 샘플을 기반으로 합니다. 파일 콘텐츠를 복사하거나 붙여넣지 않고 로컬로 명령을 실행하려면 다음 명령을 사용하여 리포지토리를 복제하고 코딩 언어의 폴더로 이동합니다.
git clone https://github.com/Azure-Samples/azureai-model-inference-bicep
이 예의 파일은 다음 위치에 있습니다.
cd azureai-model-inference-bicep/infra
파트너 및 커뮤니티에서 모델을 구독하는 데 필요한 권한
배포에 사용할 수 있는 파트너 및 커뮤니티의 모델(예: Cohere 모델)에는 Azure Marketplace가 필요합니다. 모델 공급자는 사용 조건을 정의하고 Azure Marketplace를 사용하여 모델을 사용하기 위한 가격을 설정합니다.
타사 모델을 배포할 때 계정에 다음 권한이 있는지 확인합니다.
- Azure 구독에서:
Microsoft.MarketplaceOrdering/agreements/offers/plans/read
Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
Microsoft.SaaS/register/action
- 리소스 그룹에서 SaaS 리소스를 만들고 사용하려면 다음을 수행합니다.
Microsoft.SaaS/resources/read
Microsoft.SaaS/resources/write
모델 추가
템플릿
ai-services-deployment-template.bicep
을 사용하여 모델 배포를 설명합니다.ai-services-deployment-template.bicep
@description('Name of the Azure AI services account') param accountName string @description('Name of the model to deploy') param modelName string @description('Version of the model to deploy') param modelVersion string @allowed([ 'AI21 Labs' 'Cohere' 'Core42' 'DeepSeek' 'xAI' 'Meta' 'Microsoft' 'Mistral AI' 'OpenAI' ]) @description('Model provider') param modelPublisherFormat string @allowed([ 'GlobalStandard' 'DataZoneStandard' 'Standard' 'GlobalProvisioned' 'Provisioned' ]) @description('Model deployment SKU name') param skuName string = 'GlobalStandard' @description('Content filter policy name') param contentFilterPolicyName string = 'Microsoft.DefaultV2' @description('Model deployment capacity') param capacity int = 1 resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = { name: '${accountName}/${modelName}' sku: { name: skuName capacity: capacity } properties: { model: { format: modelPublisherFormat name: modelName version: modelVersion } raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName } }
배포를 실행합니다.
RESOURCE_GROUP="<resource-group-name>" ACCOUNT_NAME="<azure-ai-model-inference-name>" MODEL_NAME="Phi-3.5-vision-instruct" PROVIDER="Microsoft" VERSION=2 az deployment group create \ --resource-group $RESOURCE_GROUP \ --template-file ai-services-deployment-template.bicep \ --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER
모델 사용
배포된 모델은 리소스에 대한 Azure AI 모델의 유추 엔드포인트 를 사용하여 사용할 수 있습니다. 요청을 생성할 때 매개 변수 model
를 지정하고 만든 모델 배포 이름을 삽입합니다.