참고 항목
Apache Airflow 작업은 Apache Airflow에서 구동됩니다.
Apache Airflow는 복잡한 작업을 프로그래밍 방식으로 만들고, 예약하고, 모니터링하는 데 사용되는 오픈 소스 플랫폼입니다. 이를 통해 데이터 파이프라인을 나타내기 위해 DAG(방향성 비순환 그래프)로 결합할 수 있는 연산자라고 하는 일련의 작업을 정의할 수 있습니다.
Apache Airflow 작업은 Apache Airflow 환경을 만들고 관리하는 간단하고 효율적인 방법을 제공하므로 오케스트레이션 작업을 대규모로 쉽게 실행할 수 있습니다. 이 빠른 시작에서는 Apache Airflow 작업의 환경 및 기능을 숙지하는 간단한 Apache Airflow 작업을 만들어 보겠습니다.
Apache Airflow 작업 만들기
기존 작업 영역을 사용하거나 새 작업 영역을 만들 수 있습니다.
드롭다운 확장
+ New
-> 추가 옵션 클릭 -> 섹션 아래Data Factory
-> Apache Airflow 작업 선택프로젝트에 적절한 이름을 지정하고 "만들기" 단추를 클릭합니다.
DAG 파일 만들기
"새 DAG 파일" 카드를 클릭하고, > 파일 이름을 입력한 후 "만들기" 단추를 누르세요.
상용구 DAG 코드가 표시됩니다. 파일은 요구 사항에 따라 편집할 수 있습니다.
“저장 아이콘”을 클릭합니다.
DAG 실행
먼저 "DAG 실행" 단추를 클릭합니다.
시작되면 DAG가 실행 중임을 나타내는 알림이 즉시 표시됩니다.
DAG 실행의 진행률을 모니터링하려면 알림 센터 내에서 "세부 정보 보기"를 클릭하기만 하면 됩니다. 이 작업은 DAG 실행의 상태 및 세부 정보를 편리하게 추적할 수 있는 Apache Airflow UI로 리디렉션됩니다.
Apache Airflow UI에서 Apache Airflow DAG 모니터링
저장된 dag 파일은 Apache Airflow UI에 로드됩니다. "Apache Airflow의 모니터링" 단추를 클릭하여 모니터링할 수 있습니다.