Foundry 포털에서 Microsoft Foundry 모델 배포

Foundry 포털에서 다음 단계를 수행하여 모델을 배포합니다.

1. Microsoft Foundry 포털의 모델 카탈로그 섹션으로 이동합니다.

2. 모델을 선택하고 모델 카드에서 세부 정보를 검토합니다. 이 문서에서는 일러스트레이션에 사용합니다 Llama-3.2-90B-Vision-Instruct .

3. 이 모델 사용을 선택합니다.

4. 파트너 및 커뮤니티의 Foundry 모델의 경우 Azure Marketplace를 구독해야 합니다. 이 요구 사항은 Llama-3.2-90B-Vision-Instruct에 적용됩니다, 예를 들어. 사용 약관을 읽고 동의를 선택하고 약관 에 동의하려면 계속 진행합니다.

   비고

   Azure OpenAI 모델과 같이 Azure에서 직접 판매하는 Foundry 모델의gpt-4o-mini 경우 Azure Marketplace를 구독하지 않습니다.

5. 배포 설정을 구성합니다. 기본적으로 배포는 배포하려는 모델의 이름을 받지만 모델을 배포하기 전에 필요에 따라 이름을 수정할 수 있습니다. 나중에 추론하는 동안 배포 이름은 매개 변수에서 model 이 특정 모델 배포로 요청을 라우팅하는 데 사용됩니다. 이 규칙을 사용하면 모델 배포에 대한 특정 이름을 구성할 수 있습니다.

   팁 (조언)

   각 모델은 다양한 배포 유형을 지원하여 서로 다른 데이터 상주 또는 처리량 보장을 제공합니다. 자세한 내용은 배포 유형을 참조하세요. 이 예제에서 모델은 Global Standard 배포 유형을 지원합니다.

6. Foundry 포털은 프로젝트와 연결된 Foundry 리소스를 연결된 AI 리소스로 자동으로 선택합니다. 필요한 경우 사용자 지정 을 선택하여 연결을 변경합니다. 서버리스 API 배포 유형으로 배포하는 경우 프로젝트 및 리소스는 모델에 대해 지원되는 배포 지역 중 하나에 있어야 합니다.

   

7. 배포를 선택합니다. 배포를 만드는 동안 모델의 배포 세부 정보 페이지가 열립니다.

8. 배포가 완료되면 모델을 사용할 준비가 됩니다. Foundry Playgrounds를 사용하여 모델을 대화형으로 테스트할 수도 있습니다.

Foundry 포털에서 다음 단계를 수행하여 모델을 배포합니다.

1. Foundry 포털 홈페이지에서 오른쪽 위 탐색에서 Discover를 선택한 다음 왼쪽 창의 Models를 선택합니다.

2. 모델을 선택하고 모델 카드에서 세부 정보를 검토합니다. 이 문서에서는 일러스트레이션에 사용합니다 Llama-3.2-90B-Vision-Instruct .

3. 사용자 지정 설정>를 선택하여 배포를 사용자 지정합니다. 또는 기본 배포 설정을 선택하여 >기본 배포 설정을 사용할 수 있습니다.

4. 파트너 및 커뮤니티의 Foundry 모델의 경우 Azure Marketplace를 구독해야 합니다. 이 요구 사항은 특히 Llama-3.2-90B-Vision-Instruct에 적용됩니다. 사용 약관을 읽고 동의를 선택하고 약관 에 동의하려면 계속 진행합니다.

   비고

   Azure OpenAI 모델과 같이 Azure에서 직접 판매하는 Foundry 모델의gpt-4o-mini 경우 Azure Marketplace를 구독하지 않습니다.

5. 배포 설정을 구성합니다. 기본적으로 배포는 배포하려는 모델의 이름을 받지만 모델을 배포하기 전에 필요에 따라 이름을 수정할 수 있습니다. 나중에 추론하는 동안 배포 이름은 매개 변수에서 model 이 특정 모델 배포로 요청을 라우팅하는 데 사용됩니다. 이 규칙을 사용하면 모델 배포에 대한 특정 이름을 구성할 수 있습니다. 배포를 선택하여 배포를 만듭니다.

   팁 (조언)

   각 모델은 다양한 배포 유형을 지원하여 서로 다른 데이터 상주 또는 처리량 보장을 제공합니다. 자세한 내용은 배포 유형을 참조하세요. 이 예제에서 모델은 Global Standard 배포 유형을 지원합니다.

6. Foundry 포털은 프로젝트와 연결된 Foundry 리소스에 모델을 자동으로 배포합니다. 프로젝트 및 리소스는 모델에 대해 지원되는 배포 지역 중 하나에 있어야 합니다.

7. 배포를 선택합니다. 배포가 완료되면 모델을 대화형으로 테스트할 수 있는 Foundry Playgrounds 에 배치됩니다.

Foundry 포털을 사용하여 리소스에서 기존 모델 배포를 관리할 수 있습니다.

1. Foundry 포털의 모델 + 엔드포인트 섹션으로 이동합니다.

2. 포털은 리소스당 모델 배포를 그룹화하고 표시합니다. Foundry 리소스에 대한 섹션에서 Llama-3.2-90B-Vision-Instruct 모델 배포를 선택합니다. 이 작업을 수행하면 모델의 배포 페이지가 열립니다.

   

Foundry 포털을 사용하여 리소스에서 기존 모델 배포를 관리할 수 있습니다.

1. 오른쪽 위 탐색 영역에서 빌드 를 선택합니다.

2. 왼쪽 창에서 모델을 선택하여 리소스의 배포 목록을 확인합니다.

플레이그라운드를 사용하여 Foundry 포털에서 새 모델과 상호 작용할 수 있습니다. 플레이그라운드는 모델과 실시간으로 상호 작용할 수 있는 웹 기반 인터페이스입니다. 플레이그라운드를 사용하여 다양한 프롬프트로 모델을 테스트하고 모델의 응답을 확인합니다.

1. 모델의 배포 페이지에서 플레이그라운드에서 열기를 선택합니다. 이 작업을 수행하면 배포 이름이 이미 선택된 채팅 플레이그라운드가 열립니다.

   

2. 프롬프트를 입력하고 출력을 확인합니다.

3. 보기 코드를 사용하여 프로그래밍 방식으로 모델 배포에 액세스하는 방법에 대한 세부 정보를 확인합니다.

플레이그라운드를 사용하여 Foundry 포털에서 새 모델과 상호 작용할 수 있습니다. 플레이그라운드는 모델과 실시간으로 상호 작용할 수 있는 웹 기반 인터페이스입니다. 플레이그라운드를 사용하여 다양한 프롬프트로 모델을 테스트하고 모델의 응답을 확인합니다.

1. 배포 목록에서 Llama-3.2-90B-Vision-Instruct 배포를 선택하여 플레이그라운드 페이지를 엽니다.

2. 프롬프트를 입력하고 출력을 확인합니다.

3. 프로그래밍 방식으로 모델 배포에 액세스하는 방법에 대한 세부 정보를 보려면 코드 탭을 선택합니다.