-
Module import
from datetime import timedelta
from textwrap import dedent
# The DAG object; we'll need this to instantiate a DAG
from airflow import DAG
# Operators; we need this to operate!
from airflow.operators.bash import BashOperator
from airflow.utils.dates import days_ago
-
Default Arguments
- 각각의 task constructor에게 어떤 인자를 넣어줄 것인지를 정의 할 수 있다.
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'email': ['[email protected]'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
# 'queue': 'bash_queue',
# 'pool': 'backfill',
# 'priority_weight': 10,
# 'end_date': datetime(2016, 1, 1),
# 'wait_for_downstream': False,
# 'dag': dag,
# 'sla': timedelta(hours=2),
# 'execution_timeout': timedelta(seconds=300),
# 'on_failure_callback': some_function,
# 'on_success_callback': some_other_function,
# 'on_retry_callback': another_function,
# 'sla_miss_callback': yet_another_function,
# 'trigger_rule': 'all_success'
}
- overriding도 가능하다.
airflow.models.BaseOperator을 참고하자
airflow.models - Airflow Documentation
-
Instantiate a DAG
- 기본인자와 마찬가지로 각각의 task에 포함될 DAG 객체를 생성하는 부분이다.
with DAG(
'tutorial', # setting dag_id
default_args=default_args,
description='A simple tutorial DAG',
schedule_interval=timedelta(days=1),
start_date=days_ago(2),
tags=['example'],
) as dag:
-
Tasks
t1 = BashOperator(
task_id='print_date',
bash_command='date',
)
- Operator의 인스턴스를 task라고 부르며
task_id가 구분 인자로 필수적으로 필요하다.
- Task는 반드시
task_id 혹은 owner가 반드시 필요하다.
-
Templating with Jinja
templated_command = dedent(
"""
{% for i in range(5) %}
echo "{{ ds }}"
echo "{{ macros.ds_add(ds, 7)}}"
echo "{{ params.my_param }}"
{% endfor %}
"""
)
- code logic:
{% %} block
- referenced parameters:
{{ }} block
t3 = BashOperator(
task_id='templated',
depends_on_past=False,
bash_command=templated_command,
params={'my_param': 'Parameter I passed in'},
)
bash_command에 필요 및 실행할 bash 스크립트를 넣어주며 → templated_command.sh
- 생성된 파일의 경우는 DAG 파일이 있는 곳에 그대로 위치(상대경로)
params를 이용해서 dict 객체를 전달한다.- 유저가 직접 macro를 생성해서 사용할 수 있다.
dict(hello=lambda name: 'Hello %s' % name)를 정의하면{{ 'world' | hello }}과 같이 쓰일 수 있다.
-
Adding DAG and Tssks documentation
-
하나의 task에 documentation을 넣을 수 있다.
-
DAG docs는 markdown을 지원하며 task docs는 plaintext, markdown 별걸 다 지원한다.
- DAG docs는 DAG 선언 전에 사용한다.(recommended)
- Task docs를 설정한 모습이다.
t1.doc_md = dedent(
"""\\
#### Task Documentation
You can document your task using the attributes `doc_md` (markdown),
`doc` (plain text), `doc_rst`, `doc_json`, `doc_yaml` which gets
rendered in the UI's Task Instance Details page.
"""
)
-
Setting up Dependencies
- 생성한 task들 간의 의존성을 정의할 수 있다.
- upstream
t2가 정상적으로 작동하기 위해서는 t1에 의존한다.t2.set_upstream(t1)t1 >> t2
- downstream
- 특이사항
t1 >> [t2, t3]도 가능하다.t1이 제대로 완료돼야 t2, t3가 완료된다.
