Computer Vision

Open Set, Open Vocabulary, Open World 차이점

씨주 2024. 12. 10. 17:11

📌 Open Set

학습 데이터에 없는 클래스를 'unknown'으로 처리하는 것이 목표

학습한 클래스 외의 입력에 대해서는 reject하거나 학습된 데이터가 아니다 라고 판단하는 것이 특징

 

 

📌 Open Vocabulary

학습 데이터에 없는 단어 혹은 개념을 처리할 수 있도록 설계하는 것이 목표

(낯선 단어를 보고 유추해서 사용하는 사람)

Zero-shot learning, 이미지 캡셔닝을 예시로 들 수 있다.

예를 들어 '고양이'와 '개'를 학습한 모델이 '여우'와 같은 새로운 개념도 유사성을 통해 처리할 수 있다.

 

 

📌 Open World

학습 데이터에 없는 클래스가 존재할 가능성을 염두에 두고 이를 처리하거나 적응할 수 있는 환경

(낯선 단어를 듣고 일단 기록해두는 사람)

데이터셋에 없는 새로운 클래스의 존재를 탐지하고 이를 학습하도록 확장 가능성을 가진다.

자율주행 중 도로 위에 학습하지 않은 물체를 탐지하는 경우

(open vocabulary를 사용할 수도 있지만 안전성과 신뢰성이 중요한 자율주행 분야에서는 아쉬움)

 

 

기준 Open Set Open Vocabulary Open World
목표 새로운 클래스를 거부(reject) 새로운 클래스를 이해 및 처리 새로운 클래스의 발견 및 나중에 학습
새로운 클래스 처리 '모름'으로 분류 이해하고 활용 탐지 후 학습 가능
대응 방식 모델 범위 밖으로 처리 학습없이 처리
(zero-shot, embedding 등)
새로운 클래스를 추가학습
예시 anomaly detection zero-shot
image captioning
자율 주행

 

 

출처 : chatGPT

'Computer Vision' 카테고리의 다른 글

[3D] Voxel, Mesh, Point Cloud란?  (1) 2024.10.09