다음을 통해 공유

Lakeflow 선언적 파이프라인 릴리스 정보 및 릴리스 업그레이드 프로세스

이 문서에서는 Lakeflow 선언적 파이프라인 릴리스 프로세스, Lakeflow 선언적 파이프라인 런타임을 관리하는 방법 및 각 Lakeflow 선언적 파이프라인 릴리스에 대한 릴리스 정보 링크를 제공합니다.

Lakeflow 선언적 파이프라인 런타임 채널

Note

Lakeflow 선언적 파이프라인 릴리스와 함께 사용되는 Databricks 런타임 버전을 보려면 해당 릴리스에 대한 릴리스 정보를 참조하세요.

Lakeflow 선언적 파이프라인 클러스터는 Databricks 런타임 릴리스 정보 버전 및 호환성을 기반으로 런타임을 사용합니다. Databricks는 개선 사항 및 플랫폼 업그레이드를 지원하기 위해 Lakeflow 선언적 파이프라인 런타임을 자동으로 업그레이드합니다. Lakeflow 선언적 파이프라인 설정에서 channel 필드를 사용하여 파이프라인을 실행하는 Lakeflow 선언적 파이프라인의 런타임 버전을 제어할 수 있습니다. 지원되는 값은 다음과 같습니다.

  • current을(를) 사용하여 현재 런타임 버전을 사용하십시오.
  • preview 런타임 버전에 대한 예정된 변경 내용으로 파이프라인을 테스트합니다.

기본적으로 파이프라인은 current 런타임 버전을 사용하여 실행됩니다. Databricks는 프로덕션 워크로드에 current 런타임을 사용하는 것이 좋습니다. 설정을 사용하여 preview 다음 런타임 버전으로 파이프라인을 테스트하는 방법을 알아보려면 다음 런타임 버전으로 파이프라인 테스트 자동화를 참조하세요.

Important

일반 공급 또는 공개 미리 보기로 표시된 기능은 current 채널에서 사용할 수 있습니다.

Lakeflow 선언적 파이프라인 채널에 대한 자세한 내용은 Lakeflow 선언적 파이프라인 channel의 필드를 참조 하세요.

Lakeflow 선언적 파이프라인이 각 릴리스에 대한 업그레이드 프로세스를 관리하는 방법을 이해하려면 Lakeflow 선언적 파이프라인 업그레이드가 작동하는 방식을 참조하세요.

파이프라인 업데이트에 대한 Databricks 런타임 버전을 찾으려면 어떻게 해야 하나요?

Lakeflow 선언적 파이프라인 이벤트 로그를 쿼리하여 파이프라인 업데이트에 대한 Databricks 런타임 버전을 찾을 수 있습니다. 런타임 정보를 참조하세요.

Lakeflow 선언적 파이프라인 릴리스 노트

Lakeflow 선언적 파이프라인 릴리즈 노트는 연도 및 주별로 구성됩니다. Lakeflow 선언적 파이프라인은 버전이 없으므로 작업 영역 및 런타임 변경 내용이 모두 자동으로 수행됩니다. 다음 릴리스 정보는 각 릴리스의 변경 내용 및 버그 수정에 대한 개요를 제공합니다.

Lakeflow 선언적 파이프라인 업그레이드는 어떻게 작동합니까?

Lakeflow 선언적 파이프라인은 버전이 없는 제품으로 간주됩니다. 즉, Databricks는 개선 사항 및 플랫폼 업그레이드를 지원하기 위해 Lakeflow 선언적 파이프라인 런타임을 자동으로 업그레이드합니다. Databricks는 Lakeflow 선언적 파이프라인에 대한 외부 종속성을 제한하는 것이 좋습니다.

Databricks는 자동 업그레이드가 프로덕션 Lakeflow 선언적 파이프라인에 오류 또는 문제를 발생시키는 것을 방지하기 위해 사전에 작동합니다. Lakeflow 선언적 파이프라인 업그레이드 프로세스를 참조하세요.

특히 외부 종속성이 있는 Lakeflow 선언적 파이프라인을 배포하는 사용자의 경우 Databricks는 preview 채널을 사용하여 파이프라인을 사전에 테스트하는 것이 좋습니다. 다음 런타임 버전을 사용하여 파이프라인 테스트 자동화를 참조하세요.

Lakeflow 선언적 파이프라인 업그레이드 프로세스

Databricks는 Lakeflow 선언적 파이프라인 컴퓨팅 리소스에서 사용하는 Databricks 런타임 을 관리합니다. Lakeflow 선언적 파이프라인은 Azure Databricks 작업 영역에서 런타임을 자동으로 업그레이드하고 업그레이드 후 파이프라인의 상태를 모니터링합니다.

Lakeflow 선언적 파이프라인이 업그레이드로 인해 파이프라인을 시작할 수 없음을 감지하면 파이프라인의 런타임 버전이 안정적인 것으로 알려진 이전 버전으로 되돌아가고 다음 단계가 자동으로 트리거됩니다.

  • 파이프라인의 Lakeflow 선언적 파이프라인 런타임은 이전에 알려진 정상 버전으로 고정됩니다.
  • Databricks 지원에서 이 문제에 대해 알림을 받습니다.
    • 문제가 런타임의 회귀와 관련된 경우 Databricks는 문제를 해결합니다.
    • 파이프라인에서 사용하는 사용자 지정 라이브러리 또는 패키지로 인해 문제가 발생하는 경우 Databricks는 문제를 해결하기 위해 사용자에게 연락합니다.
  • 문제가 해결되면 Databricks는 업그레이드를 다시 시작합니다.

Important

Lakeflow 선언적 파이프라인은 채널이 로 설정된 current프로덕션 모드에서 실행되는 파이프라인만 되돌려 줍니다.

다음 런타임 버전으로 파이프라인 테스트 자동화

다음 Lakeflow 선언적 파이프라인 런타임 버전의 변경 내용이 파이프라인에 영향을 주지 않도록 하려면 Lakeflow 선언적 파이프라인 채널 기능을 사용합니다.

  1. 스테이징 파이프라인을 만들고 채널을 preview설정합니다.
  2. Lakeflow 선언적 파이프라인 UI에서, 파이프라인을 매주 실행하도록 일정을 만들고, 파이프라인 오류에 대한 이메일 알림을 받기 위해 경고를 활성화합니다. Databricks는 특히 사용자 지정 파이프라인 종속성을 사용하는 경우 파이프라인의 주간 테스트 실행을 예약하는 것이 좋습니다.
  3. 오류 알림을 받고 해결할 수 없는 경우 Databricks를 사용하여 지원 티켓을 엽니다.

파이프라인 종속성

Lakeflow 선언적 파이프라인은 파이프라인의 외부 종속성을 지원합니다. 예를 들어 명령을 사용하여 Python 패키지를 설치할 %pip install 수 있습니다. Lakeflow 선언적 파이프라인은 전역 범위와 클러스터 범위의 init 스크립트도 지원합니다. 그러나 이러한 외부 종속성, 특히 초기화 스크립트는 런타임 업그레이드와 관련된 문제의 위험을 증가합니다. 이러한 위험을 완화하려면 파이프라인에서 init 스크립트 사용을 최소화합니다. 처리에 init 스크립트가 필요한 경우 파이프라인 테스트를 자동화하여 문제를 조기에 감지합니다. 다음 런타임 버전을 사용하여 파이프라인 테스트 자동화를 참조하세요. init 스크립트를 사용하는 경우 Databricks는 테스트 빈도를 늘리는 것이 좋습니다.