[Airflow] Dag 정보 (Task Context) 전달
·
Python/모듈 & 패키지 & 라이브러리
...from train_model.main import runlocal_tz = pendulum.timezone("Asia/Seoul")...dag = DAG( dag_id='train_model_dag', default_args=default_args, schedule_interval='30 9 * * *', # 매일 09:30 실행 catchup=False)process_task = PythonOperator( task_id='train_model', python_callable=run, dag=dag) 위와 같이 간단한 dag을 구성 후 train_model의 run 함수에서 airflow에서 작업을 수행한 시간인 execution_date를 가져오고 싶었다..
[Postgre SQL]
·
Dev/Docker
도커 실행docker pull postgres:latestdocker run --name postgres -p [PORT]:5432 -e POSTGRES_USER=[USER] -e POSTGRES_PASSWORD=[PASSWORD] -d postgres 내부 접속docker exec -it postgres /bin/bash Database 목록 확인접속psql -U postgres명령어\l 외부 접속# //[PostgreSQL ID]:[PostgreSQL PWD]@[HOST IP]:[PORT]/[DB NAME]export DB_URL = 'postgresql://postgres:1@127.0.0.1:5432/postgres
[Git] 삭제된 폴더, 파일 반영
·
Dev/Git & GitHub
git add 시 로컬에서 삭제한 폴더나 파일이 반영되지 않는 경우가 있다. 이를 해결하기 위해 다음 명령어를 사용한다.git add -u [file or .] 추가로, commit 시 -a 옵션을 사용하면 삭제된 폴더, 파일만 반영된다.git commit -a -m "feat: ..."
[Python] Window에 pyenv 설치
·
Python/Setting
프로젝트마다 사용하는 python 버전이 달라질 수 있으므로, pyenv를 사용하기로 결정 1. 설치https://github.com/pyenv-win/pyenv-win GitHub - pyenv-win/pyenv-win: pyenv for Windows. pyenv is a simple python version management tool. It lets you easily switch betpyenv for Windows. pyenv is a simple python version management tool. It lets you easily switch between multiple versions of Python. It's simple, unobtrusive, and follows the U..
간단한 Airflow 환경 구축
·
ML & DL/Practice
WSL2 Ubuntu 환경에서 실행하였습니다. 업데이트sudo apt update & sudo apt upgradesudo apt install sudo  프로젝트 폴더 권한 부여sudo chown -R [사용자 계정명] [프로젝트 디렉토리] 파이썬 설치sudo apt install python3sudo apt install python3-venv 가상환경 생성 (프로젝트 디렉토리에서)python3 -m venv venvsource venv/bin/activate airflow 라이브러리 설치pip install apache-airflow airflow 세팅 및 실행 (프로젝트 디렉토리에서)export AIRFLOW_HOME=$PWD/airflowsed -i 's/^load_examples = True/..
[Tistory] hELLO. 스킨 카테고리 접기 펼치기 수정
·
끄적 끄적
카테고리 목록에서 서브 카테고리가 있는 경우, 클릭 시 페이지 이동 없이 펼쳐볼 수 있도록 스킨을 수정했습니다. 스킨 편집에서 HTML > body 아래에 다음 코드를 추가합니다.
docker-compose로 Airflow 환경 구축
·
ML & DL/Practice
여기에서 최신 설치 방법을 확인할 수 있습니다. Python1. python 설치 (v3.12)sudo apt update && sudo apt install python3-pip2. airflow library 설치pip3 install apache-airflow Airflow1. .yaml 파일 가져오기curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.4/docker-compose.yaml'2. directory 생성 및 그룹 id 설정mkdir -p -m 755 ./dags ./logs ./plugins ./configecho -e "AIRFLOW_UID=$(id -u)" > .env3. 초기 세팅AIRFLOW_UID=500004. 공통..
WSL Ubuntu에 Docker 설치
·
Dev/Docker
1. apt update & upgradesudo apt update -ysudo apt upgrade -y2. docker에 필요한 패키지 설치sudo apt install -y apt-transport-https ca-certificates curl software-properties-common3. docker GPG key 추가curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -4. docker apt 저장소 추가sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"5. ap..
욱근욱
개미는 오늘도 열심히 일을하네