[Review] Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary (하루논문 P05)

하루에 논문 한편씩, 핵심만 읽고 요약하기 : Paper 05

Paper Link : Link (CVPR2020)

1. Abstract

의료 이미지의 가장 치명적인 두 가지 문제는 (i) boundary의 모호성과 (ii) 전문화된 도메인 지식 없이 segment된 영역의 uncertainty입니다. 이러한 문제들을 해결하기 위해 새로운 boundary preserving segmentation 방법을 제안합니다. Boundary key point selection 알고리즘을 이용하여 structural boundary의 keypoints를 예측하여 boundary keypoint map을 얻어내고 해당 map과 boundary preserving block (BPB)을 이용하여 boundary를 예측합니다. 그리고 전문가의 지식을 embedding하기 위하여 shape boundary-aware evaluator (SBE)를 제안합니다. SBE는 structure boundary keypoint를 이용하여 segmentation network에 피드백을 하는 역할을 합니다. 이러한 방법을 통하여 해당 모델은 여러가지 medical image datasets에 대하여 SOTA를 능가하는 성능을 보였습니다.

2. Proposed Structure Boundary Preserving Segmentation

위는 structure boundary preserving segmentation의 전반적인 구조를 나타낸 그림입니다. 네트워크는 boundary preserving block (BPB)와 shape boundary-aware evaluator (SBE)로 이루어져 있습니다. BPB는 structure boundary를 유지하기 위해 segmentation network 내부에 들어가 있습니다. SBE는 예측된 segmentation map을 평가하며 학습 단계에서만 사용됩니다.

우선 BPB에 대해서 자세히 살펴보도록 하겠습니다.

BPB에는 boundary point map generator가 있습니다. Generator는 input feature로부터 boundary keypoint map, M을 예측하고 해당 M은 residual attention과 비슷한 방식으로

f에 structure boundary 정보를 유지하는 것에 사용됩니다.

Figure 3.의 boundary point map generator의 구조를 살펴보면,

여러 종류의 의 결과를 concatenation하는 형태로 되어 있습니다.

여기서 는 dilation rate가 이고 filter size가 인 dilated convolution을 의미합니다.

이를 통해 생성된 estimated key point map 는 ground-truth boundary map 와

아래와 같은 loss function을 이용해 학습됩니다.

다음은 ground-truth boundary map 를 만드는 과정을 살펴보도록 하겠습니다.

 Figure 4. 에 왼쪽 아래에 있는 Boundary Key-point Selection Module을 이용하여 를 만들며

해당 방법을 알고리즘으로 정리한 결과는 아래와 같습니다.

  

해당 알고리즘을 간략하게 정리하면,

target object의 boundary 위의 n개의 점을 임의로 선택한 후

해당 n개의 점들을 이어주어서 boundary를 construct합니다.

이렇게 얻어낸 boundary region과 ground-truth segmentation map 사이의 IOU값을 계산합니다.

위와 같은 과정을 iteration T만큼 반복하고

이때 가장 큰 IOU를 가졌을 때의 boundary region을 로 사용합니다.

저자는 T=40000으로 사용했다고 합니다.

다음으로 SBE (Shape Boundary-aware Evaluator)를 살펴보도록 하겠습니다.

SBE는 segmentation map과 boundary key point map을 concat한 input을 받아

위와 그림 속 CNN classifier를 통해 Real인지 Fake인지 분류합니다.

즉, SBE는 segmentation result가 boundary key point map과 일치하는지 여부를 평가합니다.

글의 상단에서 말씀드린대로 SBE는 학습 과정에서만 사용됩니다.

또한 이때 사용되는 loss function은 아래와 같습니다.

여기서 는 segmentation map과 boundary key point map를 바탕으로

evaluation score를 계산해주는 SBE 함수, 즉 discriminator입니다.

이렇게 구성된 segmentation network를 학습하기 위한 전체 loss function는 아래와 같습니다.

1. Segmentation Loss

2. Boundary Aware Loss

3. Experimental Results

실험을 위해 baseline으로 삼은 모델은 U-Net, FCN, 그리고 Dilated-Net입니다.

Table 1, 2를 살펴보면 모두 각각 PH2 + ISBI 2016 데이터셋과 TVUS 데이터셋에 대해

BPB와 SBE를 추가하였을 때의 결과가 가장 좋은 성능을 보였습니다.

위의 figure는 두 개의 데이터셋에 대해서 3개의 모델에 BPB와 SBE를 하나씩 추가하였을 때

성능이 향상되는지 확인한 결과입니다.

예상했던대로 BPB를 추가하였을 때 성능이 향상되었고

이와 더불어 SBE까지 사용하면 가장 뛰어난 성능을 보였습니다.

위는 사용된 boundary key points의 개수에 따른 결과를 보여준 그래프입니다.