docker-compose로 Airflow 환경 구축
·
ML & DL/Practice
여기에서 최신 설치 방법을 확인할 수 있습니다. Python1. python 설치 (v3.12)sudo apt update && sudo apt install python3-pip2. airflow library 설치pip3 install apache-airflow Airflow1. .yaml 파일 가져오기curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.4/docker-compose.yaml'2. directory 생성 및 그룹 id 설정mkdir -p -m 755 ./dags ./logs ./plugins ./configecho -e "AIRFLOW_UID=$(id -u)" > .env3. 초기 세팅AIRFLOW_UID=500004. 공통..
[Docker] WSL2 Ubuntu에 Docker 설치
·
Develop/Docker
1. apt update & upgradesudo apt update -ysudo apt upgrade -y2. docker에 필요한 패키지 설치sudo apt install -y apt-transport-https ca-certificates curl software-properties-common3. docker GPG key 추가curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -4. docker apt 저장소 추가sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"5. ap..
[Error] / [Pyinstaller] xgboost XGBoostLibraryNotFound error
·
Develop/Python
문제 상황xgboost를 import한 .py 파일을 pyinstaller로 .exe 로 패키징 할 때 다음과 같은 에러를 출력xgboost.libpath.XGBoostLibraryNotFound: Cannot find XGBoost Library in the candidate path, did you install compilers and run build.sh in root path?List of candidates:C:\...\AppData\Local\Temp\_MEI103562\xgboost\xgboost.dllC:\...\AppData\Local\Temp\_MEI103562\xgboost\../../lib/xgboost.dllC:\...\AppData\Local\Temp\_MEI103562\xg..
[Time Sereis Forecasting] One-Step, Multi-Step, Multi-Output
·
ML & DL/Deep Learning
One-Step주어진 과거 데이터를 바탕으로 한 시점 뒤의 미래 값을 예측하는 방법예를 들어, 1시간 간격으로 기록된 데이터가 있다면 0~6시의 데이터를 보고 1시간 뒤인 7시의 데이터를 예측하는 것일반적으로 모델의 예측이 정확하며, 에러가 축적되지 않아 안정적인 예측 가능Multi-Step여러 시점을 동시에 예측하는 방법. 예를 들어, 1시간 간격으로 기록된 데이터가 있다면 0~12시의 데이터를 보고 6시간 뒤인 13~18시 까지의 데이터를 예측하는 것Direct Multi-Step각각의 시점을 별도의 모델로 예측하는 방법예를 들어, t+1, t+2, t+3의 3개의 시점을 예측하고 싶다면 각각의 시점에 대해 독립적으로 모델을 훈련정확도는 높을 수 있지만, 계산 비용이 증가Recursive Multi-..
ReLU Family
·
ML & DL/기초 이론
ReLURectified Linear UnitReLU(x)=max(0,x)LeakyReLULeakyReLUα=max(αx,x)GELUGaussian Error Linear UnitGELU(x)=0.5x(1+tanh(2/π(x+0.044715x3)))PReLUParametric ReLUPReLU(x)=max(0,x)+amin(0,x)ELUExponential Linear Unit$$ ELU_{\alpha} = {α(exp(x)1)if x=0..
[Windows 11] 네트워크 자격 증명 로그인 문제 해결 방법
·
Develop/Windows
상황공유 폴더로 접근할 때 사용자 이름/ 암호가 맞지만, 일치하지 않다고하는 경우 해결 방법다음 3가지의 방법 중 하나씩 수행합니다.1. 컴퓨터 공유 허용 문제대부분 윈도우 업데이트 이후 발생제어판 > 네트워크 및 인터넷 > 네트워크 및 공유 센터 > 고급 공유 설정 변경 1. 프라이빗 네트워크의 네트워크 검색, 파일 및 프린터 공유를 켬으로 변경    1.1 만약 켜져있다면 끄기로 변경2. 모든 네트워크의 공유 폴더 공유, 암호로 보호된 공유를 켬으로 변경    2.1 암호로 보호된 공유가 켜져있다면 끄기로 변경2. 네트워크 보안 LAN 관리자 인증 수준win + r > gpedit.msc > 컴퓨터 구성 > Windows 설정 > 보안 설정 > 로컬 정책 > 보안 옵션 > 네트워크 보안: LAN Ma..
[Time Series Forecasting] Sliding Window Dataset
·
ML & DL/Deep Learning
Sliding Window DatasetTime Series Forecasting에 사용되는 Sliding Window Dataset은 연속적인 시계열 데이터를 여러 개의 고정된 크기의 입력과 출력 윈도우로 나누어 Dataset을 구성하는 방법입니다.  다음은 Pytorch로 Dataset 다변량(Multi-Variate) 다중 스텝(Multi-Step) 데이터셋을 구성하기 위한 코드입니다.import torchfrom torch.utils.data import Datasetclass SlidingWindowDataset(Dataset): def __init__(self, train_X, target_variables, input_window, output_window, stride=1): ..
[Time Series Forecasting] LSTM, GRU, CNN, ... PyTorch 구현
·
ML & DL/Deep Learning
LSTMclass LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, dropout): super(LSTMModel, self).__init__() self.hidden_size = hidden_size self.num_layers = num_layers self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.selu = nn.SELU() # nn.ReLU() self.dropout = nn.Dropout(dropout) self.fc = ..
욱근욱