간단한 Airflow 환경 구축 (dockerfile)

WSL2 Ubuntu 환경에서 실행하였습니다.

 

apt 업데이트

sudo apt update

sudo apt install sudo

프로젝트 폴더 권한 부여

sudo chown -R [사용자 계정명] [프로젝트 디렉토리]

파이썬 설치

sudo apt install python3

가상환경 생성 (프로젝트 디렉토리에서)

sudo apt install python3-venv

python3 -m venv venv

source venv/bin/activate

airflow 라이브러리 설치

pip install apache-airflow

airflow 세팅 및 실행 (프로젝트 디렉토리에서)

export AIRFLOW_HOME=$PWD/airflow
airflow db init
sed -i 's/^load_examples = True/load_examples = False/' $AIRFLOW_HOME/airflow.cfg # 예제 로드 X
airflow users create -u user -f user -l user -e user@example.com -p user -r Admin # 계정 생성
airflow webserver -p 8080 & airflow scheduler # 실행

AIRFLOW root 디렉토리를 현재 위치한 프로젝트 디렉토리로 설정하고,

airflow에서 제공하는 예제 DAGs를 띄우지 않게 설정합니다.

 

Dockerfile

FROM python:3.9-slim

USER root

RUN apt-get update && \
    apt-get install -y --no-install-recommends vim sudo && \
    rm -rf /var/lib/apt/lists/*

RUN sudo ln -snf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

ENV AIRFLOW_HOME=/root/airflow
RUN mkdir -p $AIRFLOW_HOME
WORKDIR $AIRFLOW_HOME

RUN pip install apache-airflow

RUN airflow db init && \
    sed -i 's/^load_examples = True/load_examples = False/' $AIRFLOW_HOME/airflow.cfg && \
    airflow users create \
        --username user \
        --firstname user \
        --lastname user \
        --email user@example.com \
        --password user \
        --role Admin

EXPOSE 8080

CMD ["/bin/bash", "-c", "airflow webserver -p 8080 & airflow scheduler"]

docker build -t airflow:latest
docker run -it -d --name airflow -p 8080:8080 airflow:latest