ML & DL

Data Parallel (DP) 사용법 ... model = resnet18().to(device) model = torch.nn.DataParallel(model) ... 장점 위 예시처럼 매우 간단하게 사용이 가능하다 단점 메모리 사용량 증가 : 각 GPU에서 모델의 복사본을 만들어 메모리를 사용하기 떄문에 GPU의 수가 증가할 수록 메모리 사용량이 증가 통신 병목 현상 : 각 GPU에서 연산을 수행하고 연산 결과를 하나의 GPU로 모은 후에 모델을 업데이트 하기 때문에 GPU간 데이터를 복사하고 통신하는 데 시간이 소요된다. 또한, 하나의 GPU로 연산 결과를 모으기 때문에 GPU 수가 증가할 수록 하나의 GPU의 메모리 사용량이 증가해 효율적인 사용이 불가능하다. 참고 train 할 때 DP를 ..

앞서, YOLO v3를 사용하는 방법을 포스팅 한 적이 있습니다. 최근 더욱 발전된 YOLO v8이 새롭게 출시되어 간단하게 사용하는 방법을 포스팅합니다. https://github.com/ultralytics/ultralytics GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite - GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite github.com Pytorch로 구성되어 있으며, ultralytics 라이브..

IoU (Intersection Over Union)Object Detection 모델의 성능을 평가하기 위한 지표이다.즉, 다음 그림과 같이 Ground Truth Bounding Box (정답 Bounding Box)가 주어지고 Predict Bounding Box (예측 Bounding Box)를 출력했을 때, 예측한 BBox가 맞는지 틀린지를 결정하기 위해 사용된다.IoU는 다음 그림과 같이 예측 BBox와 정답 BBox간 교집합 부분의 면적을 합집합 면적으로 나눈 값이다.이때 맞다 틀리다를 Threshold(임계값)을 지정하여 판단하는데 만약 임계값이 0.5로 주어진다면 IoU 값이 0.5 이상이면 제대로 검출(True Positive) 0.5 미만이면 잘못 검출 (False Positive)라..

WBF (Weighted Boxes Fusion)Object Detection Task에서 학습된 모델의 결과를 Ensemble 하여 성능을 끌어올리기 위해서는 BBox들을 Ensemble하는 NMS, Soft-NMS 같은 알고리즘을 사용해야 합니다. 기존의 NMS나 Soft-NMS 같은 방법은 기존의 BBox에서 불필요한 BBox를 제거하는 방식으로 동작하였습니다.WBF는 기존의 이러한 방식과는 다르게 모든 BBox를 사용하여 더 나은 BBox를 만들게 됩니다. 이 방법은 연산 속도를 추가적으로 필요하기 때문에 Real Time보다는 Kaggle, Dacon 같은 경진대회에서 주로 사용하는 편입니다.WBF 알고리즘 과정$B$ : 한 이미지에 대한 모든 BBox의 정보를 Score 기준으로 정렬한 L..

NMS (Non-Maximum Suppression)Object Detction 모델이 객체를 정확하게 검출하기 위해 다양한 크기와 비율을 고려하여 하나의 이미지 안에 있는 여러 객체의 검출 값들(Label, Bounding Box, Score)을 구하게 됩니다.이때, 모델은 하나의 객체에 대해 다양한 크기와 비율을 가진 여러개의 검출 값을 모두 사용하는 것은 비용적, 시각적으로 좋지 않습니다.따라서, 여러개의 예측 값들 중에서 Label이 맞으며, Score가 가장 높고, 객체를 잘 표시하는 Bounding Box를 골라내야 하는데 여기서 Non-Maximun Suppression 알고리즘을 사용합니다.즉, NMS 알고리즘은 Score가 가장 낮은 BBox(Bounding Box)를 억제(Suppres..

MMDetection 3.0에 관련한 정리는 이 글에서 확인할 수 있습니다. MMDetection (ver. 2) 사용법 (기본적인 내용) https://greeksharifa.github.io/references/2021/08/30/MMDetection/ Python, Machine & Deep Learning Python, Machine Learning & Deep Learning greeksharifa.github.io Mask(Instance or Segmentation) 모델을 Detection 모델로 학습하기 위한 Config 파일 수정 이 글에서 확인할 수 있습니다. Gradient Accumulative 적용 optimizer_config = dict(_delete_=True, # base..

MMDetection (ver. 3)을 사용하면서 필요한 설정 방법들 정리 POST MMDetection (ver. 2) 사용법 (기본적인 내용) https://greeksharifa.github.io/references/2021/08/30/MMDetection/ Python, Machine & Deep Learning Python, Machine Learning & Deep Learning greeksharifa.github.io Mask(Instance or Segmentation) 모델을 Detection 모델로 학습하기 위한 Config 파일 수정 예를들어, mask_rcnn 모델을 Detection Task로 학습시키고 싶을때 다음 Config 파일의 다음 부분을 수정하면 된다. 1. model..

Mixup모델을 학습할 때 Overfitting을 방지하기 위해 다양한 규제(Regularization) 기법이 존재합니다.Mixup은 그 중 데이터 증강(Data Augmentation)과 관련된 기술 중 하나로, 학습 데이터에서 두 개의 샘플 데이터를 혼합(Mix)하여 새로운 학습 데이터를 만드는 기술입니다.위 그림처럼 개와 고양이 이미지 데이터를 mixup 한 뒤, image 데이터 뿐만 아니라 label 데이터 또한 mixup 합니다. mixup은 간단하게 수식으로 표현할 수 있습니다. $$\hat{x} = \lambda x_i + (1-\lambda) x_j$$ $$\hat{y} = \lambda y_i + (1-\lambda) y_j$$ $x$ : image 데이터 ($x_i$는 고양..