CS

Airflow Best Practices Best Practices — Airflow Documentation airflow.apache.org 변수 및 connection mocking 메타데이터 DB 유지보수 Airflow 업그레이드 및 다운그레이드 변수 및 connection mocking 변수나 connection을 사용하는 코드를 테스트한다면, 테스트 시 그것들에 접근할 수 있어야 합니다. 그것들을 데이터베이스에 저장하고 코드를 실행할 때 읽을 수 있지만 그러면 추가적인 시간이 소요됩니다. 이를 개선하기 위해 파이썬의 unittest.mock을 사용하여 가짜 객체를 만들 수 있습니다. Airflow는 환경 변수에서도 변수와 connection을 확인하므로 mock.patch.dict로 os.en..

Airflow Best Practices Best Practices — Airflow Documentation airflow.apache.org DAG Loader 테스트 유닛 테스트 자가 테스트 환경 스테이징 예시 DAG Loader 테스트 python dag_file.py DAG 파일을 파이썬으로 실행하는 것만으로 설치되지 않은 의존성, 문법 오류 등이 있는지 확인할 수 있습니다. 물론 실행 환경이 실제 DAG를 처리할 Airflow scheduler가 속한 환경과 동일한 조건을 가져야 합니다. 또한 테스트는 DAG 로딩 최적화를 위해 사용할 수도 있습니다. Linux의 time 명령어를 통해 기존 실행 시간과 최적화 후 실행 시간을 비교할 수 있습니다. 캐시 효과를 고려하여 몇 번 실행한 후의 값을..