docker-compose로 Airflow 환경 구축

여기에서 최신 설치 방법을 확인할 수 있습니다.

 

Python

1. python 설치 (v3.12)

sudo apt update && sudo apt install python3-pip

2. airflow library 설치

pip3 install apache-airflow

 

Airflow

1. .yaml 파일 가져오기

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.4/docker-compose.yaml'

2. directory 생성 및 그룹 id 설정

mkdir -p -m 755 ./dags ./logs ./plugins ./config
echo -e "AIRFLOW_UID=$(id -u)" > .env

3. 초기 세팅

AIRFLOW_UID=50000

4. 공통 환경 설정 (postgres, redis 설치 포함)

docker compose up airflow-init

airflow-init-1 exited with code 0 를 출력하면 정상적으로 설치 및 설정되었다는 뜻입니다.

5. 실행

docker compose up -d

6. 확인

docker ps -a

위 명령어를 통해 container가 정상적으로 설치되었는지 확인합니다.

 

localhost:8080 을 통해 airflow에 접근할 수 있습니다. 기본 id/password는 airflow 입니다.

 

여기까지가 간단한 실습이고, CPU를 많이 사용하기 때문에 container를 종료 및 제거합니다.

docker-compose down --volumes --rmi all

커스텀

• 예제 DAG LOAD X

AIRFLOW__CORE__LOAD_EXAMPLES: 'false'

• webserver ID/PWD (admin/admin)

    environment:
      ...
      _AIRFLOW_WWW_USER_USERNAME: ${_AIRFLOW_WWW_USER_USERNAME:-admin}
      _AIRFLOW_WWW_USER_PASSWORD: ${_AIRFLOW_WWW_USER_PASSWORD:-admin}
      ...