ML & DL/Practice

WSL2 Ubuntu 환경에서 실행하였습니다. apt 업데이트sudo apt updatesudo apt install sudo프로젝트 폴더 권한 부여sudo chown -R [사용자 계정명] [프로젝트 디렉토리]파이썬 설치sudo apt install python3가상환경 생성 (프로젝트 디렉토리에서)sudo apt install python3-venvpython3 -m venv venvsource venv/bin/activateairflow 라이브러리 설치pip install apache-airflowairflow 세팅 및 실행 (프로젝트 디렉토리에서)export AIRFLOW_HOME=$PWD/airflowairflow db initsed -i 's/^load_examples = True/load_e..

여기에서 최신 설치 방법을 확인할 수 있습니다. Python1. python 설치 (v3.12)sudo apt update && sudo apt install python3-pip2. airflow library 설치pip3 install apache-airflow Airflow1. .yaml 파일 가져오기curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.4/docker-compose.yaml'2. directory 생성 및 그룹 id 설정mkdir -p -m 755 ./dags ./logs ./plugins ./configecho -e "AIRFLOW_UID=$(id -u)" > .env3. 초기 세팅AIRFLOW_UID=500004. 공통..

HDF5 HDF란, 대용량의 데이터를 저장하기 위한 파일 형식으로, 구조화된 배열 데이터를 저장하기에 용이하다. 운영체제의 제약을 거의 받지 않고, 대용량 데이터를 빠르게 저장하고, 쉽게 접근할 수 있게 해주는 고성능 데이터 포맷 형식이다. HDF5를 사용하는 이유 특정 데이터 subset을 처리하기 위해서 전체 데이터셋을 RAM에 읽지 않아, 아주 효율적으로 데이터를 처리할 수 있다. 다른 타입들을 가진 데이터들을 HDF5라는 하나의 파일 안에 저장할 수 있다. h5py python에서는 h5py 라이브러리로 HDF5 파일을 쉽게 다룰 수 있다. [docs] 위에서 HDF5를 사용하는 이유에서 설명했듯이, 위 그림의 오른쪽 부분 처럼 HDF5는 임의의 데이터를 참조했을 때, 해당 데이터가 메모리에 올라..

앞서, YOLO v3를 사용하는 방법을 포스팅 한 적이 있습니다. 최근 더욱 발전된 YOLO v8이 새롭게 출시되어 간단하게 사용하는 방법을 포스팅합니다. https://github.com/ultralytics/ultralytics GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite - GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite github.com Pytorch로 구성되어 있으며, ultralytics 라이브..

MMDetection 3.0에 관련한 정리는 이 글에서 확인할 수 있습니다. MMDetection (ver. 2) 사용법 (기본적인 내용) https://greeksharifa.github.io/references/2021/08/30/MMDetection/ Python, Machine & Deep Learning Python, Machine Learning & Deep Learning greeksharifa.github.io Mask(Instance or Segmentation) 모델을 Detection 모델로 학습하기 위한 Config 파일 수정 이 글에서 확인할 수 있습니다. Gradient Accumulative 적용 optimizer_config = dict(_delete_=True, # base..

MMDetection (ver. 3)을 사용하면서 필요한 설정 방법들 정리 POST MMDetection (ver. 2) 사용법 (기본적인 내용) https://greeksharifa.github.io/references/2021/08/30/MMDetection/ Python, Machine & Deep Learning Python, Machine Learning & Deep Learning greeksharifa.github.io Mask(Instance or Segmentation) 모델을 Detection 모델로 학습하기 위한 Config 파일 수정 예를들어, mask_rcnn 모델을 Detection Task로 학습시키고 싶을때 다음 Config 파일의 다음 부분을 수정하면 된다. 1. model..

[2023년] YOLO v8이 출시 되었습니다 ! 사용 방법을 간단히 정리하였으니, 같이 봐주시면 감사하겠습니다 :) YOLO v3가 Pytorch로 만들어진 코드를 Github에서 발견하였다. https://github.com/ultralytics/yolov3 GitHub - ultralytics/yolov3: YOLOv3 in PyTorch > ONNX > CoreML > TFLite YOLOv3 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov3 development by creating an account on GitHub. github.com Pytorch로 구현되어 있어 쉽게 custom할 수 있고, 무엇보다 wandb(..

[2023년] Pytorch 환경에서 학습 가능한 YOLO v8이 출시 되었습니다 ! 사용 방법을 간단히 정리하였으니, 같이 봐주시면 감사하겠습니다 :) 환경 Ubuntu의 환경은 다음과 같습니다. ( Ubuntu 18.04.6 ) 그래픽 카드와, 그래픽 카드의 드라이버, CUDA의 버전, CUDNN의 버전은 다음과 같습니다. ( GPU : GeForce 3090 * 2 , Driver : 470.82.01, CUDA : 11.4, CUDNN : 8.2.2 ) 1. OpenCV 설치 먼저 설치된 opencv의 버전을 확인합니다. $pkg-config --modeversion opencv 원하는 버전과 맞지 않다면 OpenCV를 삭제합니다. 실행 중인 OpenCV 사용중지$ sudo apt-get pu..