[2022] Smoke Opacity가 모델에 미치는 영향

위와 같은 이미지에 Bounding Box를 그리자면 대부분의 사람들은 이미지 전체를 덮도록 영역을 지정할 것이고 나또한 그럴 것이다. 이러한 이유는 연기의 불투명한 특성 때문에 배경과 구분할 수 있는 경계가 모호하기 때문이다. 이를 그대로 학습하게되면 모델이 연기를 예측할 때 연기의 특징 뿐만아니라 주변 배경도 함께 학습하게 된다. 이러한 근거는 다음 그림에서 확인할 수 있다.

오른쪽 그림에서 빨간색 부분이 연기로 인식한 부분인데 이와 근접한 노란색 부분이 배경 전체에 넓게 퍼져 있다는 것은 주변 모두 연기와 비슷할 것이라 예측하고있다.

 

이와 함께 앞서 진행한 프로젝트를 통해 연기의 불투명도가 모델이 연기를 검출하는 성능에 영향을 준다는 점을 직관적으로 확인할 수 있었다.

\(\rightarrow\) Fire & Smoke Object Detection

[2022] Fire & Smoke Object Detection - YOLO

 

본 프로젝트에서는 이와 같이 연기의 불투명도가 모델의 성능에 영향을 미치는지 객관적으로 검토하기 위해 진행한다.

 

How ?

AI-HUB 화재 발생 예측 영상 약 170 만장의 이미지 데이터

AI-Hub

위 이미지 데이터에서는 크게 세 분류로 화재씬, 유사씬, 무관씬 으로 구분되어 있습니다.

여기에서 무관씬 영상을 구성하는 여러 조건에 따른 각 부분집합에서 일정한 비율로 랜덤하게 데이터를 샘플링하고, 이미지 메이킹 툴을 사용하여 연기 패턴을 생성하면서 연기 이미지의 불투명도를 25%, 50%, 75%, 100% 로 나누어 학습 집합을 구성하고 모델 인식 성능에 영향을 미치는 바를 실험합니다.

여기서 도출되는 결과를 통해 연기가 어느 정도 이상의 불투명도를 가지면 Bounding Box를 지정해야할지에 대한 기준을 명확히 정할 목적이다.

 

Result

연기 이미지 메이킹 툴은 Adobe After Effects를 사용하여 다음과 같이 생성하였습니다.

위와 비슷한 이미지를 약 800장 생성하였고 불투명도를 변화하였습니다.

이후 이전과 같은 방식으로 불투명도 별로 모델을 학습하였고, 모델의 성능을 측정하였습니다.

위 표와 같이 연기의 불투명도가 높을수록 모델의 성능이 높아집니다. 

직관적으로 생각했던 부분이 객관적으로 증명되었습니다.

따라서 연기를 검출하기 위한 모델을 생성할때 연기의 불투명도가 60% 이상 되는 부분의 영역만 Bounding Box를 지정하는 것이 모델의 성능을 높일 수 있을 것이라 예측됩니다.

 

감사합니다