[ML/DL] nms(None-maximum-suppression) - hard nms / soft nms

nms(None-maximum-suppression)

Soft-NMS -- Improving Object Detection With One Line of Code

Theory

예측된 bounding box의 confidence가 임계치(threshold) 이상이면 참으로 처리하게 된다.

그렇게 되면 하나의 Object에 대해 여러 개의 Bounding box가 겹쳐서 생성될 수 있다.

→ 한 객체에 대해 가장 신뢰도가 높은 하나의 bounding box만 남기고 나머지를 삭제하는 post processing 알고리즘의 일종 = nms

non-maximum suppression

1. bounding box 집합에서 class score이 가장 높은 것부터 다른 집합으로 옮기고 원본 bounding box 집합에 있는 다른 bounding box와 IoU(Intersection over Union)을 계산
2. 겹치는 영역(IoU 점수)이 임계치 이상인 box들을 bounding box 집합에서 삭제
3. 1~2 반복

⇒ 적합한 bbox만 남게 됨

Problem

같은 클래스의 물체가 겹쳐있는 경우, 각각의 객체의 confidence score가 높더라도 더 높은 score을 가진 bbox에 의해 삭제된다.

→ Soft NMS 알고리즘 등장

Soft-nms

기존 nms 함수

기존 nms의 경우 IoU 임계치를 넘기면 confidence score을 0으로 만들어 아예 제외해버리는 방법을 사용했다.

soft nms function 1 - 연속성 x

soft nms function 2 - 연속

soft nms는 IoU 임계치를 넘기는 bbox에 대해 가중치를 부여해 confidence score를 줄이는 방식을 사용한다.

• Function 1 : iou에 따라 iou 값이 높으면 큰 가중치를, 낮으면 작은 가중치를 부여한다. 임계값을 기준으로 score가 급감할 수 있다는 단점이 존재한다.
• Function 2 : 가우시안 분포를 활용하여 score가 연속적으로 변화한다. 하이퍼 파라미터 하나가 추가되지만 성능이 더 좋다.