Learning for Transductive Threshold Calibration in Open-World Recognition
0. Abstract
거리기반의 임계값을 설정하는 것은 open world에서 중요한 일이다. 학습된 임베딩 모델에서 거리 기반의 임계값을 찾는 것을 open world threshold calibration이라고 정의한다. 유사한 거리 분포를 가진 테스트 데이터를 필요로 하는 기존의 임계값 calibration은 open world에 비효율적이다. 이를 해결하기 위해 Graph Neural Network기반의 transductive 임계값 calibration을 활용하여 robust한 OpenGCN(Graph Neural Network)을 제안한다. OpenGCN은 라벨링되지 않은 test 데이터의 다양한 거리 임계값을 활용하여 학습한다.
1. Introduction
DML(Deep Metric Learning)에서 distance calibration은 중요한 역할을 한다. close set classfication에서 confidence probability를 조정하는 confidence calibration과 달리, distance calibration은 TPR(True Positive Rate)나 TNR(True Negative Rate)을 목표로 하는 최적의 임계값 설정을 목표로 한다. 잘못 설정된 임계값은 사용자의 경험에 부정적인 영향을 끼치는데 이는 open world recognition에서 더욱 두드러지게 나타난다. close set(예. dog, cat, bird)에서 학습한 모델은 open set(예. wolf, sheep, mouse)에서 테스트되는데, 이는 클래스 간 표현구조가 매우 다를 수 있다. 테스트 클래스나 분포에 대한 사전지식이 없는 경우 distance calibration은 figure 1과 같이 어려운 일이다. 저자들은 이러한 open world에서 distance calibration하는 작업을 open-world threshold calibration이라고 정의한다.
다양한 calibration방법들이 존재하지만 이들은 test data와 calibration data의 분포가 동일하다고 가정하는 한계가 있다. open world에서는 이러한 가정을 신뢰할 수 없기 때문에 threshold calibration에서 아래와 같은 문제가 있다.
1. The open-world challege
test data는 open world class로만 구성될 수 있으며, 이는 학습 데이터와 다른 특징을 가질 수 있다.
2. Non-stationary data
real world test 환경에서는 데이터 분포가 무작위로, 매우 동적으로 변화할 수 있다.
3. Deployment Scalability
real world에서 개인의 calibration없이 다양한 유저의 분포에 적용할 수 있는 calibration이 필요하다.
현재 posthoc calibration방식은 테스트 데이터와 다른 거리 분포를 가진 데이터에 대해 적합하지 않다. 이를 해결하기 위해 transductive inference process를 제안한다. unlabeled test sample정보를 함께 학습함으로써 임계값조정을 개선할 수 있다. 이를 OpenGCN이라고 제안하며, pairwise connectivity와 representation density를 예측하는 Graph Neural Network(GNN)을 채택한다. 또한 2가지 density metric(클래스 내부 밀도, 클래스 간 밀도)을 동시에 학습하도록 설계한다. 이는 기존의 단일 density metric에 비해 향상된 calibration 성능을 보인다.
OpenGCN은 2단계의 학습과정을 거친다. pre-train에서 대규모 close world dataset으로 학습한 후, fine-tuning에서는 소규모의 open world calibration dataset을 활용한다. close class와 test data 모두에 적용하며, 이는 테스트 데이터와 유사한 거리 분포를 가지지 않아도 된다. 이를 통해 open world에서 calibration 성능이 상당히 향상된다.
contribution은 아래와 같다.
1. open world threshold calibration문제를 처음으로 제시한다.
2. Transductive Threshold Calibration(TTC)를 제안한다. 이는 test data와 calibration data간의 유사한 거리를 가져야 한다는 inductive posthoc calibration 방법에서 벗어난 새로운 calibration 방안이다.
3. GNN기반의 TTC 방법을 채택한 OpenGCN을 제안한다. 저자들은 거리 분포를 변경한 것과 변경하지 않은 것을 평가할 수 있는 protocol을 구성하여 Open GCN의 성능을 평가한다. 그 결과, OpenGCN은 real world 환경에서도 효과적이며 robust하다.
3. Methodology
전통적인 calibration방법은 inductive하다. calibration dataset이 학습 데이터셋과 분포가 유사하다는 가정하에 calibration을 하였다. 그러나 open world에서는 이러한 가정이 적용되지 않는다. test 분포는 알 수 없으며, 매우 다양하고 동적이다. calibration 특성을 향상시키기 위해 transductive 접근을 채택한다. Figure 2와 같이 test data를 볼 수 없는 inductive 방법과 달리 transductive 접근방식은 distance threshold를 결정할 때 unlabeled test data를 볼 수 있다. 이를 Transductive Threshold Calibration(TTC), 기존의 방식을 Inductive Threshold calibration(ITC)라고 정의한다. ITC의 방식의 문제를 해결하기 위해 OpenGCN, GNN 기반의 TTC 방식을 제안한다. 첫째, OpenGCN은 distance threshold를 위해 test data를 직접 사용한다. 따라서 test data와 학습 데이터가 비슷한 분포를 가져야 한다는 필요성을 제거할 수 있다. 둘째, OpenGCN은 close world와 open world data source 모두를 유용한 정보로써 사용한다. Figure 3과 같이 2단계의 학습과정을 거치기 때문에 closed world data와 open world dataset 모두를 활용한다.
5. Conclusion
open world threshold calibration 문제에 대해 정의한다. 이를 다루기 위해 OpenGCN을 제안하는데, GNN 기반의 transductive threshold calibration 방법이다. 기존의 posthoc calibration 방법과 달리 OpenGCN은 calibration data와 test data의 거리분포가 유사하지 않아도 된다. 대신 unlabeled test정보와 학습된 calibration 방법 활용하여 GNN을 통해 test data의 pairwise connectivity를 예측한다.(pariwise connectivity라는 개념은 다른 거리 기반처럼 one by one이 아니라 두 노드를 둘러싼 주변 노드들의 관계도 함께 고려된다고 한다.) OpenGCN은 기존의 posthoc calibration 방법과 pseudolabel based calibration 방식보다 robust하고 뛰어나다.
Limitaion
OpenGCN은 posthoc calibration방식보다 계산량이 많고 느리며, 과적합 가능성이 있다. 또한 OpenGCN은 여전히 학습에 사용된 closed world data외에 약간의 calibration data가 필요하다. (calibration data free method 방법이 아니다.)