NMS (Non-Maximum Suppression)Object Detction 모델이 객체를 정확하게 검출하기 위해 다양한 크기와 비율을 고려하여 하나의 이미지 안에 있는 여러 객체의 검출 값들(Label, Bounding Box, Score)을 구하게 됩니다.이때, 모델은 하나의 객체에 대해 다양한 크기와 비율을 가진 여러개의 검출 값을 모두 사용하는 것은 비용적, 시각적으로 좋지 않습니다.따라서, 여러개의 예측 값들 중에서 Label이 맞으며, Score가 가장 높고, 객체를 잘 표시하는 Bounding Box를 골라내야 하는데 여기서 Non-Maximun Suppression 알고리즘을 사용합니다.즉, NMS 알고리즘은 Score가 가장 낮은 BBox(Bounding Box)를 억제(Suppres..

Mixup모델을 학습할 때 Overfitting을 방지하기 위해 다양한 규제(Regularization) 기법이 존재합니다.Mixup은 그 중 데이터 증강(Data Augmentation)과 관련된 기술 중 하나로, 학습 데이터에서 두 개의 샘플 데이터를 혼합(Mix)하여 새로운 학습 데이터를 만드는 기술입니다.위 그림처럼 개와 고양이 이미지 데이터를 mixup 한 뒤, image 데이터 뿐만 아니라 label 데이터 또한 mixup 합니다. mixup은 간단하게 수식으로 표현할 수 있습니다.$$ \hat{x} = \lambda x_i + (1-\lambda) x_j $$$$ \hat{y} = \lambda y_i + (1-\lambda) y_j $$\(x\) : image 데이터 (\(x_i\)는 고양..

Transfer Learning 이하 전이 학습이란, 한 데이터셋으로 사전 훈련된(pre-trained) 모델을 다른 데이터셋 혹은 다른 문제(Task)에 적용시켜 푸는 것을 의미한다. 특히 컴퓨터 비전(Computer Vision)의 분야에서 전이 학습으로 모델을 학습시키면 더 좋은 성능을 이끌어낼 수 있어 가장 많이 사용하는 방법 중 하나입니다. 왜냐하면, 전이 학습을 사용하지 않은 모델에 비해 비교적 빠르고, 정확한 성능을 이끌어내기 때문입니다. 이러한 아이디어는 한 데이터셋에서 모델은 다음 그림과 같이 다양한 이미지의 보편적인 특징(Feature)들을 학습하여, 다른 데이터셋에서도 이 보편적인 특징(Feature) 사용할 수 있는 경우가 많지 않을까? 라는 가정으로 접근했다고 합니다. 그러면 어떻..

AlexNet 8개의 레이어 (5 Convolution Layer, 3 Fully Connected Layer)로 구성 해당 논문에서 그림에는 Input Image Size가 224x224x3 으로 나와있지만, 잘못된 표기로 227이 맞습니다. ReLU 사용 Drop out 적용 Overlapping Pooling Local Response Normalization (LRN) Data Augmentation 파라미터 계산 방법 더보기 \(O\) : Output Size, \(I\) : Input Size, \(S\) : Stride, \(P\) : Padding Size, \(K\) : Num Kernels, \(P_s\) : Pooling Size Convolution Layer \(O = \frac{..

Parameter Estimation 통계학에서 중요한 개념 중 하나로, 모집단을 분석하기에는 많은 비용이 발생하므로 부분(표본) 집단을 통해 모집단의 특성을 파악하는 것입니다. 모집단의 일부인 표본에 통계 분석 방법을 적용해 모수를 추정하는 방법을 모수 추정이라 한다. 모수란 모집단의 특성을 나타내는 수치로 평균, 분산, 상관계수 등이 있습니다. 일반적으로 모수 추정의 목적은 관측된 데이터의 실제 확률 분포 \(p(X|\theta)\)를 가장 잘 근사하는 수학적 모형을 찾는 것입니다. 이와 같이 근사화한 모델을 사용한 이유는 실제 데이터의 확률 분포 또는 모수를 정확히 알 수 없기 때문입니다. 따라서 임의의 확률 모형 \(p(x|\cdot)\)을 가정한 뒤, 이 모형이 데이터를 가장 잘 설명하는 모수를..

Probability Model, 확률 모형 확률 모형은 어떤 사건이 발생할 가능성(확률)을 수학적으로 만든 방법입니다. 이는 확률 변수(random variable)라는 것을 이용하여 데이터 분포를 수학적으로 정의하는 방법라고도 합니다. 보통 미리 정해진 확률 분포 함수 또는 확률 밀도 함수를 사용하며, 이 함수들의 계수를 모수(parameter)라고 부릅니다. 모수(parameter)는 \(\theta\)라고 표기하기도 하며, 이는 확률 모형을 정의하는 데 중요한 역할을 하는 값으로 요약 통계량(Descriptive Measure)라고 부릅니다. 예를 들어 가장 널리 쓰이는 확률 모형의 하나인 가우시안 정규 분포(Gaussian normal distribution)는 다음과 같은 수식으로 확률 밀도 ..

1 x 1 Convolution AlexNet과 VGGNet의 큰 파라미터를 줄이기 위해 GoogLeNet에서는 1x1 Convolution을 사용했습니다. 1x1 Convolution은 이후 다양한 모델에서 연산량을 줄이기 위해 사용되어 이 방법이 매우 효과적임을 증명합니다. 입력 데이터의 채널(Channel) 수 조절 위 그림과 같은 (64 * 64 * 192) 블럭에 (1 * 1 * 192) 블럭을 Convolution 하게 되면 (64 * 64)개의 픽셀(원소) 각각의 192개의 채널(숫자)와 필터(1*1)의 192개의 채널(숫자) 사이에서 요소간 곱셈을 하게 됩니다. 정리하자면, 필요한 필터는 (1 * 1 * #channel * #filter)가 되며, #channel은 입력 블럭의 channe..

앞의 포스트에서 Overfitting과 Underfitting에 대해 설명하였습니다. 여기서 Overfitting이 발생하지 않도록 미리 예방하는 기법들이 다양하게 있는데 차례대로 설명하겠습니다. Regularization(정규화)을 설명하기 앞서, Normalization도 정규화라고 불리기 때문에 개념을 정확히 구분해야 합니다. Normalization은 데이터의 값을 조정하는 작업이며, Regularization은 모델의 복잡도를 조정하는 작업입니다. Regularization Regularization(정규화)은 모델에 제약(penalty)를 주어 복잡도를 줄이는 방법입니다. 모델의 복잡도는 모델이 가지는 파라미터의 수에 비례하며, Regularization은 이 파라미터의 값이 커지는 것을 제한..