하루에 논문 한편씩, 핵심만 읽고 요약하기 : Paper 13

Paper Link : Link (CVPR 2020) / Github

1. Abstract

해당 논문에서는 anchor-box를 필요로 하지 않는 single shot instance segmentation 방법을 제안합니다. 해당 모델은 개념적으로(conceptually) 간단하며 fully convolutional하고 또한 기존에 흔히 쓰이던 detection 모델에 쉽게 끼워넣을 수 있습니다. PolarMask는 instance segmentation task를 instance의 contour를 예측하는 것으로 해결합니다. 이때 극좌표(polar coordinate)를 기반으로 한 instance center classification과 dense distance regression을 통해 contour를 예측하게 됩니다. PolarMask는 single-model과 single-scale training/testing으로 challenge COCO dataset에 대해 32.9% mask mAP를 달성하였습니다.

2. Introduction

Instance segmentation에서 mask를 표현하는 방법은 아래와 같이 총 3가지로 구분할 수 있습니다.

(b)는 기존의 모델에서 사용하던 background와 foreground를 pixel-wise classification하는 방법입니다.

(c)는 물체의 중심을 좌표 평면의 원점에 놓고 contour 상에 있는 점들의 (x, y) 좌표를 이용하는 방법입니다.

PolarMask에서 사용한 (d)는 극좌표를 활용한 표현으로 마찬가지로 물체의 중심을 원점에 놓고 각 angle에 해당하는 contour 상의 점과 원점까지의 거리를 바탕으로 mask를 나타내는 방법입니다.

이러한 polar representation을 사용하면 아래와 같은 3가지 특성이 있다고 합니다.

1. 물체의 중심을 원점으로 나타낼 수 있다.

2. Contour 상의 점은 distance와 angle에 의해 결정된다.

3. 각도는 기본적으로 방향성이 있으며 따라서 점들을 이어 contour를 완성하는 것이 용이하다.   

3. Our Method

PolarMask의 전체 구조를 나타낸 figure입니다.

크게 Backbone + FPN (Feature Pyramid Network) / Head로 구성되어 있습니다.

해당 구조는 ICCV 2019에 accept 되었던 FCOS와 굉장히 유사합니다.

Head는 총 3개의 branch로 구성되어 있으며

각각 classification, polar centerness, 그리고 mask regression branch입니다.

각 branch에서 나온 결과를 종합(assembly)하여 최종 instance segmentation을 수행합니다.

그렇다면 mask를 어떻게 polar representation으로 나타낼 수 있을까요?

물체의 중심을 polar representation의 원점으로 잡고

일정 간격의 각도 에 대한 contour 상의 점에 대한

개의 rays를 구할 수 있습니다.

그럼 이때 원점 에서 점 까지의 거리 를 얻을 수 있고 아래의 식이 성립합니다.

정리하면 instance segmentation을

instance center classification과 dense distance regression으로 해결하는 것입니다.

출처

PolarMask는 Polar IoU Loss를 정의하고 해당 loss를 이용하였습니다.

Polar IoU loss의 수식은 위와 같으며 자세한 내용은 논문을 참고하시길 바랍니다.

4. Experiments