CS

Airflow TaskFlow Context Logging 인수로 임의 객체 전달 사용자 정의 객체 버전 관리 센서 DAG를 오퍼레이터보다 순수 파이썬 코드로 채울 생각이라면, @task 데코레이터를 쓰는 TaskFlow API가 도움이 됩니다. 또한 PythonOperator를 쓰는 것보다는 TaskFlow를 쓰는 게 코드를 줄이고 간결하게 쓸 수 있습니다. TaskFlow는 Task 간 XCom을 통한 입력과 출력을 처리하고, 의존성을 자동적으로 설정합니다. DAG 파일에서 TaskFlow 함수가 호출되면, 결과 값을 나타내는 XCom(XComArg)가 생성되고, 이를 downstream task 또는 오퍼레이터에 입력 값으로 전달합니다. from airflow.decorators import tas..

Airflow에서 TaskFlow API(함수에 @dag, @task 등 데코레이터를 붙이는 방식)를 사용하면, 오퍼레이터를 직접 생성하는 기존 방식보다 코드를 줄이고 XCom 변수를 추상화하는 등 기존 방식보다 간단하게 DAG를 정의할 수 있습니다. 그러한 TaskFlow의 여러 기능을 알아보겠습니다. (Airflow 페이지의 Working with TaskFlow 문서에 기반합니다.) 목차: 누르면 해당 위치로 이동합니다. - 데코레이터한 Task 재사용 - PythonVirtualenvOperator @task.virtualenv: 각 Task마다 동적으로 Virtualenv 생성 - ExternalPythonOperator @task.external_python: 이미 종속성을 설치한 파이썬 환경..