Progressive Exploration-Conformal Learning for Sparsely Annotated Object Detection in Aerial Images
0. Abstract
대부분의 Sparsely Annotated Object Detection(SAOD)는 고정된 임계값에 의존하여 pseudo label을 필터링하지만, 이는 항공 이미지의 불균형한 특성을 반영하기는 힘들다. 이를 해결하기 위해, 항공 이미지에서 상황에 따라 고품질의 pseudo label을 선택하기 위한 Progressive Exploration-Conformal Learning(PECL) framework를 제안한다. 특히 pseudo label exploration은 conformal pseudo label explorer와 multi-clue selection evaluator를 채택하여 의사결정 패러다임으로 활용한다. conformal pseudo label explorer는 핵심 특징과 instance간의 문맥정보를 활용하여 고품질의 후보들을 결정하는 누적보상를 최대화하여 적응적인 정책을 학습한다. multi-clue selection evaluator는 pseudo label 선택을 가이드해주는 explorer을 instructive feedback하고 평가하도록 설계되었다. explored pseudo label은 closed loop에서 반복적으로 활용하여 항공 객체 detector에 최적화하여 적용된다.
1. Introduction
라벨데이터를 만들기 위해서는 막대한 시간, 노동력이 필요하여 semi-supervised object detection(SSOD)가 제안되었다. 하지만 SSOD는 일반적인 이미지에 집중되었으며, dense arrangement, rich contextual relationship, large complex 장면인 항공 이미지같은 특수한 경우는 고려되지 않았다. 따라서 저자들은 saprsely annotated object detection(SAOD)를 수행한다. 이는 SSOD 보다 항공 장면의 다양성을 cover할 수 있다.
SAOD는 instance annotation의 필요성을 줄여주지만 제한적이고 spare한 객체만을 사용하여 detector를 최적화하여야 하는 문제를 해결해야 한다. 일반적으로 SAOD는 라벨링이 없는 항공이미지에서 더 많은 신뢰도를 가지는 supervised signal(pseudo label)을 찾으려고 했다. 하지만 이는 고정적인 임계값을 활용하여 pseudo label을 필터링하여 고품질의 pseudo label을 적응적으로 채택하기에 한계가 있다. 일반적인 객체와 달리 항공 객체는 비행기 같은 큰 객체는 높은 예측률을 가지지만 자동차 같은 작은 객체는 낮은 예측률을 가진다. 따라서 고정된 임계값으로는 고품질의 pseudo label을 선택하기 어렵다. conformal prediction methodology는 불균형 데이터 문제를 효과적으로 해결하기 위한 confidence를 활용하여 불확실성을 평가하는 방식으로 부상하고 있다.
이에 따라 카테고리들의 불균형한 특징을 고려하여 더욱 confident한 pseduo label을 상황에 따라 평가하는 Progressive Exploration-Conformable Learning(PECL) framework를 제안하여 항공이미지에서의 SAOD 성능을 향상시키고자 한다. 특히 sparse annotated object로 학습한 후 pseudo label 평가를 하기 위한 class wise knowledge를 생성하기 위해 online clustering을 수행한다. pseudo label 평가의 결정문제는 2개의 요소(conformal pseudo label explorer, multi-clue selection evaluator)로 해결한다. conformal pseudo label explorer는 intrinsic, conformal 특성을 고려하여 confident한 pseudo-label을 선택한다. multi-clue selection evaluator는 pseudo label을 평가하고 pseodu label explorer의 최적화를 위한 feedback을 제공한다. 이 두가지를 이용해 업데이트한 적응적인 pseudo label exploration은 closed loop에서 점진적으로 강화된다.
contribution은 다음과 같다.
- detector updating과 conformal pseudo label exploration을 점진적으로 통합하는 pregressive exploration-conformable learning framework를 제안한다.
- pseudo label 탐색을 통해 복잡한 환경에서의 contextual 정보를 고려하여 더 높은 품질의 pseudo label을 탐색하는 2가지 모듈을 제안한다. conformal pseudo label explorer, multi-clue selection evaluator
- DOTA, HRSC2016 데이터셋에서 SOTA 성능을 달성하였다.
3. The Proposed Method
3.1 Problem Definition
학습세트는 아래와 같이 정의된다. N은 학습 이미지 전체 갯수, X와 O는 i번째 이미지와 sparse annotated object이다.
이 때 O는 아래와 같이 표현되며 x, y, b는 image region, class label, bounding box location로 구성된다. N은 label instance의 총 갯수이다.
sparse annotated aerial object detection에서는 unlabel image에서 어떻게 더 높은 confident supervision(pseudo label)을 찾느냐가 중요하다. 일반적으로 고정된 임계값으로 pseudo label을 택하지만 일반적인 객체와 달리 항공 객체는 비행기와 같은 large, distinct feature를 가지는 객체는 높은 예측률을 가지고 자동차와 같은 작은 객체는 낮은 예측률을 가진다. 따라서 불균형한 예측률을 다루기 위해서는 고정된 임계값은 한계가 있다. 따라서 불확실성을 측정하여 confidence level을 활용하는 적응적 예측에서 영감을 받아 Progressive Exploration conformable Learning(PECL) 방법을 제안한다.
3.2 PECL framework
conformal pseudo label 탐색과 detector 업데이트 간의 점진적 학습을 하는 close loop로 설계한다. sparse annotated object가 있는 학습셋을 통해 pretrain된 aerial detector를 획득한다. 각 instance의 feature를 이용해 class 기반의 prototype을 생성한다.
이때 C는 class 갯수, K는 prototype 갯수이다.
입력 sample에 대해 candidate를 얻을 수 있다.
pseudo label로써 고품질의 candidate를 찾기 위한 각각의 카테고리의 특징을 고려하여 적응적으로 conformal pseudo label 탐색을 수행한다. multi-clue selection evaluator를 통해 psedo label을 선택한다.
3.2.1 Conformal Pseudo-label Explorer
각기 다른 카테고리 내에서 불균형한 예측률을 다루기 위해, 효과적으로 고품질의 pseudo label을 탐색하는 conformal pseudo-label explorer을 설계한다. CPE는 3개의 fully conneted layer로 구성된 multi-layer perceptron이다. 현재 탐색된 특징을 입력받아 pseudo-label 후보로 선택할지말지를 결정하는 2차원의 확률분포를 출력한다. 0이면 값을 선택하지 않고 1이라면 psedo-label의 후보로 선택한다.
이때 탐색 특징은 아래와 같이 설계하였다. i번째 aerial image에서의 sparsely annotated object O, 선택된 pseudo label들 ~O, 현재 candedate x이다.
candidate x는 아래와 같이 feature vector로 나타낸다.
AP는 예측 확률의 uncertainty를 평가하기 위해 confidence의 레벨을 결정한다. candidate x가 class y의 분포와 얼마나 다른지를 계산한다.
NC는 candidate가 class 분포와 얼마나 다른지를 나타낸다.
pro는 최적화된 detector로 추론한 예측확률이다. f는 candidate x와 prototype y의 cosine similarity 최대값을 나타낸다.
이를 기반으로 sparse annotate object O의 평균 feature와 pseudo label ~O의 평균 feature, 현재 candidate x feature를 계산할 수 있다. 이를 통해 pseudo label을 효과적으로 탐색하고 unlabel candidate도 효과적으로 탐색하여 detector의 성능을 향상시킬 수 있다.
3.2.2 Multi-clue Selection Evaluator
conformal pseudo-label explorer를 효과적으로 동작하도록 하기 위해 multi-clue selection evaluator Q를 설계한다. 현재 탐색 특성 c와 선택 정책 a을 평가하여 최적화를 위한 feedback을 한다. 이 또한 3개의 fully connect layer로 구성된 multi layer이다. 현재 특성 c와 선택 정책 a가 입력되면, 누적 보상(cumulative reward)를 평가하여 얼마나 효과적인지를 평가한다.
누적보상은 conformal pseudo label decision동안 t 시간마다 누적된 즉시적인 보상을 고려하며 이는 conformal pseudo label explorer의 수행은 잘됐는지 평가한다. 높은 보상은 conformal pseudo label explorer가 좋은 candidate를 선택했음을 의미한다.
정확한 누적보상을 위해, 즉각적인 탐색보상은 현재 선택 a가 적절한지 아닌지를 반영해야 한다. 따라서 reward function은 현재 candidate를 선택할 때 영향을 계산하도록 설계했다.
ξ는 weighting parameter, H는 현재 candidate x가 sparse annotate object O와 pseudo label ~O에 포함될 때 entropy의 변화량을 나타낸다.
H는 확률분포의 entropy, x는 y와 연관된 O, ~O, P set, M은 전체 갯수이다. 높은 uncertainty를 가지는 candidate는 entropy가 높다.
U는 현재 candidate가 선택됐을 때 class y의 confident 변화량을 나타낸다.
U는 confidece margin으로 가장 높은 값과 두번째로 높은 값의 차이를 계산한다. 큰 margin은 candidate가 더 confident하고 긍정적인 평가를 받는다.
보상함수를 고려하여 exploratory reward는 아래와 같다.
최종적으로 target value는 다음과 같다. γ는 discount facotr
conformal pseudo label explorer와 multi clue selection evaluator Q는 아래의 loss로 계산된다.
3.2.3 Progressive detector updating
4. Experiments
4.2 Experimental results
5. Conclusion and Discussion
본 논문에서는 Progressive Exploration Conformable Learning(PECL) framework를 제안하며 sparse annotated aerial object detection 문제를 해결하려 한다. conformal pseudo label explorer, multi clue selection evaluator를 제안하며, 서로 다른 카테고리의 특정한 특징을 고려한 confident pseudo label을 선택할 수 있다.
Limitations
dense하게 분배되어있는 object나 일반적인 장면에서는 제한적이다. 강화학습알고리즘은 학습시간을 증가시킨다.