희주는 개발중

[CS231N] Assignment 3 Q1. Image Captioning with Vanilla RNNs

Assignment 3: https://cs231n.github.io/assignments2024/assignment3/#q1-image-captioning-with-vanilla-rnns Assignment 3This assignment is due on Tuesday, May 28 2024 at 11:59pm PST. Starter code containing Colab notebooks can be downloaded here. Setup Please familiarize yourself with the recommended workflow before starting the assignment. You should also watch the Colab wcs231n.github.io 일반 신경망(..

[논문 리뷰] Open3DIS: Open-Vocabulary 3D Instance Segmentation with 2D Mask Guidance

Open3DIS: Open-Vocabulary 3D Instance Segmentation with 2D Mask Guidance https://arxiv.org/pdf/2312.10671 1. Introductionopen vocabulary 3D instance segnetation을 다루는 연구가 몇개가 있다. 최근 대부분 pre-train된 3DIS model을 사용하여 3D point cloud의 기하학적 구조를 파악하고 높은 queality의 instance mask를 생성한다. 하지만 이는 rare한 object의 인식이 어려운데 불완전한 appearance의 3D point cloud와 pre-train 3D model의 제한된 detection 능력 때문이다. 또 다른 방법으로 2D of..

PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models https://openaccess.thecvf.com/content/CVPR2023/papers/Liu_PartSLIP_Low-Shot_Part_Segmentation_for_3D_Point_Clouds_via_Pretrained_CVPR_2023_paper.pdf 1. Introduction3D part segmentation을 위한 3D shape dataset으로 학습할 경우 눈에 띄는 성과를 볼 수 있지만 out of distribution(unseen class)에 대해서는 성능 하락으 일으킨다. 다른 image dataset에 ..

Continual Segmentation with Disentangled Objectness Learning and Class Recognition https://arxiv.org/pdf/2403.03477 0. Abstractobjectness를 이용한 query기반의 segmenter는 pixel단위의 segmenter와 비교했을 때 고유한 장점을 가지고 있다. objectness는 강한 전이능력와 forgetting resistance를 가진다는 것이다. 이를 기반으로 2stage(forgetting-resistant continualobjectness learning와 well-researched continual classification)의 continual segmentation CoMasT..

Open-Set Domain Adaptation for Semantic Segmentation https://arxiv.org/pdf/2405.19899 0. AbstractUnsupervised Domain Adaptaion(UDA)는 라벨링되어있는 source domain에서 라벨링되어있지않은 target domain으로 각 pxiel의 지식을 전달하는 것을 목표로 한다. 하지만 현재 UDA방법은 전형적으로 label space를 source와 target이 공유하여 target domain에서 novel category가 등장하는 real world에서 제한이 있다. 본 논문에서는 target domain에 unknwon class가 포함되는 Open-Set Domain Adaptaion for S..

Open-Vocabulary 3D Semantic Segmentation with Text-to-Image Diffusion Models https://arxiv.org/pdf/2407.13642 0. Abstractimage-caption 쌍의 large-scale로 pre-train한 diffusion model을 사용하여 open vocabulary 3D semantic understanding을 위한 Diff2Scene를 제안한다. 이는 object, 외형, 재질, 위치, 구성요소 등을 효과적으로 구분하며, SOTA 성능을 달성하였다. 1. Introductionopen vocabulary task는 카테고리, 세부속성(모양, 색상, 재질 등), 복잡한 조합까지 text로 설명된 모든 semant..

Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models https://arxiv.org/pdf/2303.04803 0. AbstractODISE: Open-vocabulary DIffusion-based panptic SEgmentation을 제시한다. 이는 pre train된 text-image diffusion, discriminative model을 활용하여 open vocabulary panoptic segmentation을 수행한다. text-to-image diffusion model은 open vocabulary lanugage description에서 높은 퀄리티의 이미지를 생성하는 능력을 가지고 있다. 이는 re..

Open-Vocabulary 3D Semantic Segmentation with Foundation Models 0. Abstract3D 환경에서 카테고리의 제한없이 다양한 범위의 물체를 인식하는 것은 real-world에서 불가피해졌다. 이를 위해 open vocabulary 3D semantic segmentation framework인 OV3D를 소개한다. OV3D는 vision과 language foundation model을 활용하여 3D point cloud와 문맥적인 entity description간을 일치시켜 광범위한 open world 지식을 활용한다. entity description은 문맥적인 정보를 활용하여 더 상세하고 정확한 이해를 할 수 있게 해준다. 이처럼 3D domain..

Learning for Transductive Threshold Calibration in Open-World Recognition https://openaccess.thecvf.com/content/CVPR2024/papers/Zhang_Learning_for_Transductive_Threshold_Calibration_in_Open-World_Recognition_CVPR_2024_paper.pdf 0. Abstract거리기반의 임계값을 설정하는 것은 open world에서 중요한 일이다. 학습된 임베딩 모델에서 거리 기반의 임계값을 찾는 것을 open world threshold calibration이라고 정의한다. 유사한 거리 분포를 가진 테스트 데이터를 필요로 하는 기존의 임계값 calibra..

Towards Open World Recognition https://arxiv.org/pdf/1412.5687 0. Abstractreal world에서 recognition은 조절되어있는 실험실 환경에서 나타나지 않는 challenge들을 가진다. dataset은 dynamic하고 novel category는 계속해서 탐지되고 추가되야 한다. 이러한 문제들을 다루기 위해 저자들은 Open World recognition을 제안하고 정의한다. open world recognition system을 평가하기 위한 protocol과 객체의 카테고리를 점차 추가하고 모델을 효율적으로 진화시키는  NNO(Nearest Non-Outlier) 알고리즘을 제시한다. 1. Introductionopen world ..