Microsoft Foundry의 모델 카탈로그는 생성 AI 애플리케이션을 빌드하기 위해 광범위한 Foundry 모델을 검색하고 사용하는 허브입니다. 유추 요청을 수신하는 데 사용할 수 있도록 모델을 배포해야 합니다. Foundry는 요구 사항 및 모델 요구 사항에 따라 Foundry 모델에 대한 포괄적인 배포 옵션 제품군을 제공합니다.
배포 옵션
Foundry는 프로비전해야 하는 모델 및 리소스의 유형에 따라 몇 가지 배포 옵션을 제공합니다. 다음 배포 옵션을 사용할 수 있습니다.
- Foundry 리소스의 표준 배포
- 서버리스 API 엔드포인트에 배포
- 관리되는 컴퓨팅 시스템에 배포
Foundry 포털은 환경 및 구성에 따라 배포 옵션을 자동으로 선택할 수 있습니다. 가능한 경우 배포에 Foundry 리소스를 사용합니다. 여러 배포 옵션을 지원하는 모델은 기본적으로 배포용 Foundry 리소스로 설정됩니다. 다른 배포 옵션에 액세스하려면 배포에 Azure CLI 또는 Azure Machine Learning SDK를 사용합니다.
Foundry 리소스의 표준 배포
Foundry 리소스(이전의 Azure AI Services 리소스라고 함)는 Foundry에서 기본 배포 옵션 입니다. 지역, 데이터 영역 또는 전역 처리를 포함하여 가장 광범위한 기능을 제공하며 표준 및 프로비전된 처리량(PTU) 옵션을 제공합니다. Foundry 모델의 플래그십 모델은 이 배포 옵션을 지원합니다.
이 배포 옵션은 다음에서 사용할 수 있습니다.
- 주조소 자원
- Azure OpenAI 리소스1
- Foundry 리소스에 연결된 경우 Azure AI 허브
1Azure OpenAI 리소스를 사용하는 경우 모델 카탈로그는 배포를 위해 Foundry 모델의 Azure OpenAI만 표시합니다. Foundry 리소스로 업그레이드하여 Foundry 모델의 전체 목록을 가져올 수 있습니다.
Foundry 리소스에서 표준 배포를 시작하려면 방법: Foundry 모델에 모델 배포를 참조하세요.
서버리스 API 엔드포인트
이 배포 옵션은 Azure AI 허브 리소스에서만 사용할 수 있습니다. 이를 통해 API를 통해 액세스할 수 있는 모델을 호스트하는 전용 엔드포인트를 만들 수 있습니다. Foundry Models는 종량제 청구를 사용하여 서버리스 API 엔드포인트를 지원하며 서버리스 API 엔드포인트에 대한 지역 배포만 만들 수 있습니다.
서버리스 API 엔드포인트에 대한 배포를 시작하려면 서버리스 API 배포로 모델 배포를 참조하세요.
관리되는 컴퓨팅
이 배포 옵션은 Azure AI 허브 리소스에서만 사용할 수 있습니다. 전용 컴퓨팅에서 모델을 호스트하는 전용 엔드포인트를 만들 수 있습니다. 모델을 호스트하려면 구독에 컴퓨팅 할당량이 있어야 하며 컴퓨팅 작동 시간당 요금이 청구됩니다.
다음을 포함하는 모델 컬렉션에는 관리형 컴퓨팅 배포가 필요합니다.
- 포옹하는 얼굴
- NVIDIA 유추 마이크로 서비스(NIM)
- 산업 모델(Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
- 데이터브릭스
- 사용자 지정 모델
시작하려면 관리되는 컴퓨팅 배포를 배포 및 추론하는 방법과 종량제 청구를 사용하는 관리형 컴퓨팅에 Foundry 모델을 배포하는 방법을 참조하세요.
배포 옵션에 대한 기능
가능한 경우 Foundry 리소스에서 표준 배포를 사용합니다. 이 배포 옵션은 사용 가능한 배포 옵션 중에서 가장 많은 기능을 제공합니다. 다음 표에서는 각 배포 옵션에 대한 특정 기능에 대한 세부 정보를 나열합니다.
| 역량 | Foundry 리소스의 표준 배포 | 서버리스 API 엔드포인트 | 관리되는 컴퓨팅 |
|---|---|---|---|
| 어떤 모델을 배포할 수 있나요? | Foundry Models | 종량제 청구를 사용하는 파운드리 모델 | 열기 및 사용자 지정 모델 |
| 배포 리소스 | 파운드리 리소스 | AI 프로젝트(AI 허브 리소스) | AI 프로젝트(AI 허브 리소스) |
| AI 허브가 필요합니다. | 아니오 | 예 | 예 |
| 데이터 처리 옵션 | 지역 데이터 영역 글로벌 |
지역 | 지역 |
| 개인 네트워크 | 예 | 예 | 예 |
| 콘텐츠 필터링 | 예 | 예 | 아니오 |
| 사용자 지정 콘텐츠 필터링 | 예 | 아니오 | 아니오 |
| 키가 없는 인증 | 예 | 아니오 | 아니오 |
| 청구 기준 | 토큰 사용량 및 프로비전된 처리량 단위 | 토큰 사용량2 | 컴퓨팅 코어 시간3 |
2 최소 엔드포인트 인프라는 분당 요금이 청구됩니다. 서버를 사용하지 않는 배포에서 모델을 호스트하는 인프라에 대해서는 요금이 청구되지 않습니다. 엔드포인트를 삭제한 후에는 추가 요금이 발생하지 않습니다.
3 청구는 제품 계층 및 생성 시점 이후 배포에 사용된 인스턴스 수에 따라 분당 청구됩니다. 엔드포인트를 삭제한 후에는 추가 요금이 발생하지 않습니다.