Microsoft Fabric을 사용하여 모델 학습 및 점수 매기기

데이터를 수집, 탐색 및 전처리한 경우 데이터를 사용하여 모델을 학습시킬 수 있습니다. 모델 학습은 반복적인 프로세스이며, 이를 수행할 경우 진행 중인 작업을 추적할 수 있기를 원합니다.

Microsoft Fabric은 MLflow와 통합되어 작업을 쉽게 추적하고 기록할 수 있으므로 언제든지 작업을 검토하여 최종 모델을 학습시키는 가장 좋은 방법을 결정할 수 있습니다. 작업을 추적하면 결과를 쉽게 재현할 수 있습니다.

추적하려는 모든 작업은 실험으로 추적할 수 있습니다.

실험 이해

추적하려는 Notebook에서 모델을 학습시킬 때마다 Microsoft Fabric에서 실험을 만듭니다.

실험은 여러 실행으로 구성될 수 있습니다. 각 실행은 기계 학습 모델 학습 같이 Notebook에서 실행한 작업을 나타냅니다.

예를 들어 판매 예측을 위해 기계 학습 모델을 학습시키려면 동일한 알고리즘을 사용하여 다양한 학습 데이터 세트를 시도할 수 있습니다. 다른 데이터 세트로 모델을 학습시킬 때마다 새 실험 실행을 만듭니다. 그런 다음, 실험 실행을 비교하여 가장 성능이 뛰어난 모델을 결정할 수 있습니다.

메트릭 추적 시작

실험 실행을 비교하려면 각 실행에 대한 매개 변수, 메트릭 및 아티팩트를 추적할 수 있습니다.

실험 실행에서 추적하는 모든 매개 변수, 메트릭 및 아티팩트가 실험 개요에 표시됩니다. 실행 세부 정보 탭에서 실험 실행을 개별적으로 보거나 실행 목록에서 여러 실행을 비교할 수 있습니다.

MLflow를 사용하여 작업을 추적하여 모델 학습 반복을 비교하고 사용 사례에 가장 적합한 모델을 생성한 구성을 결정할 수 있습니다.

모델 이해

모델을 학습한 후에는 채점에 사용하길 원합니다. 채점을 사용하면 새 데이터에 대한 모델을 사용하여 예측 또는 인사이트를 생성합니다. MLflow를 사용하여 모델을 학습하고 추적하면 아티팩트가 실험 실행 내에 저장되어 모델 및 해당 메타데이터를 나타냅니다. 이러한 아티팩트는 Microsoft Fabric에 모델로 저장할 수 있습니다.

모델 아티팩트를 Microsoft Fabric에 등록된 모델로 저장하면 모델을 쉽게 관리할 수 있습니다. 새 모델을 학습시키고 동일한 이름으로 저장할 때마다 모델에 새 버전을 추가하게 됩니다.

모델을 사용하여 인사이트 생성

예측을 생성하기 위해 모델을 사용하려는 경우 Microsoft Fabric에서 PREDICT 함수를 사용할 수 있습니다. PREDICT 함수는 MLflow 모델과 쉽게 통합할 수 있도록 빌드되었으며, 일괄 처리 예측을 생성하는 데 모델을 사용할 수 있게 해 줍니다.

매주 여러 저장소에서 판매 데이터를 받는다고 예를 들어 보겠습니다. 기록 데이터를 기반으로 지난 몇 주 동안의 판매량을 따라 다음 주의 판매량을 예측할 수 있는 모델을 학습시켰습니다. MLflow를 사용하여 모델을 추적하고 Microsoft Fabric에 저장했습니다. 새 주간 판매량 데이터가 들어올 때마다 PREDICT 함수를 사용하여 모델이 다음 주에 대한 예측을 생성할 수 있도록 합니다. 예측 판매량 데이터는 레이크하우스에 테이블로 저장되며, 비즈니스 사용자가 사용할 수 있도록 Power BI 보고서에서 시각적 개체로 표시됩니다.