희주는 개발중

OpenScene: 3D Scene Understanding with Open Vocabularies https://arxiv.org/pdf/2211.15654 0. Abstract전통적인 3D scene은 labeled 3D dataset에 의존되었다. 하지만 저자들인 제안하는 OpenScene은 CLIP feature space의 image pixel과 text를 이용하여 학습하고 예측한다. 예를 들어 3D semantic segmentation을 위해 모든 3D point을 CLIP feature space에 대입하고 유사도를 기반으로 classification한다. 또한 open vocabulary는 보지 못했던 scene에 대한 이해가 가능하다. 예를 들어 임의의 text query에 따라 sc..

MirageRoom: 3D Scene Segmentation with 2D Pre-trained Models by Mirage Projection https://openaccess.thecvf.com/content/CVPR2024/papers/Sun_MirageRoom_3D_Scene_Segmentation_with_2D_Pre-trained_Models_by_Mirage_CVPR_2024_paper.pdf 0. Abstract3D를 2D로 projection하여 point cloud를 segment하는 연구 중 2D real world image를 추가적으로 이용한 방법들이 최근 연구되고 있다. 하지만 이는 indoor에서 occulusion이 발생하는 문제가 발생한다. 본 논문에서는 앞의 object..

Assignment 3: https://cs231n.github.io/assignments2024/assignment3/#q1-image-captioning-with-vanilla-rnns Assignment 3This assignment is due on Tuesday, May 28 2024 at 11:59pm PST. Starter code containing Colab notebooks can be downloaded here. Setup Please familiarize yourself with the recommended workflow before starting the assignment. You should also watch the Colab wcs231n.github.io 일반 신경망(..

Open3DIS: Open-Vocabulary 3D Instance Segmentation with 2D Mask Guidance https://arxiv.org/pdf/2312.10671 1. Introductionopen vocabulary 3D instance segnetation을 다루는 연구가 몇개가 있다. 최근 대부분 pre-train된 3DIS model을 사용하여 3D point cloud의 기하학적 구조를 파악하고 높은 queality의 instance mask를 생성한다. 하지만 이는 rare한 object의 인식이 어려운데 불완전한 appearance의 3D point cloud와 pre-train 3D model의 제한된 detection 능력 때문이다. 또 다른 방법으로 2D of..

PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models https://openaccess.thecvf.com/content/CVPR2023/papers/Liu_PartSLIP_Low-Shot_Part_Segmentation_for_3D_Point_Clouds_via_Pretrained_CVPR_2023_paper.pdf 1. Introduction3D part segmentation을 위한 3D shape dataset으로 학습할 경우 눈에 띄는 성과를 볼 수 있지만 out of distribution(unseen class)에 대해서는 성능 하락으 일으킨다. 다른 image dataset에 ..

Continual Segmentation with Disentangled Objectness Learning and Class Recognition https://arxiv.org/pdf/2403.03477 0. Abstractobjectness를 이용한 query기반의 segmenter는 pixel단위의 segmenter와 비교했을 때 고유한 장점을 가지고 있다. objectness는 강한 전이능력와 forgetting resistance를 가진다는 것이다. 이를 기반으로 2stage(forgetting-resistant continualobjectness learning와 well-researched continual classification)의 continual segmentation CoMasT..

Open-Set Domain Adaptation for Semantic Segmentation https://arxiv.org/pdf/2405.19899 0. AbstractUnsupervised Domain Adaptaion(UDA)는 라벨링되어있는 source domain에서 라벨링되어있지않은 target domain으로 각 pxiel의 지식을 전달하는 것을 목표로 한다. 하지만 현재 UDA방법은 전형적으로 label space를 source와 target이 공유하여 target domain에서 novel category가 등장하는 real world에서 제한이 있다. 본 논문에서는 target domain에 unknwon class가 포함되는 Open-Set Domain Adaptaion for S..

Open-Vocabulary 3D Semantic Segmentation with Text-to-Image Diffusion Models https://arxiv.org/pdf/2407.13642 0. Abstractimage-caption 쌍의 large-scale로 pre-train한 diffusion model을 사용하여 open vocabulary 3D semantic understanding을 위한 Diff2Scene를 제안한다. 이는 object, 외형, 재질, 위치, 구성요소 등을 효과적으로 구분하며, SOTA 성능을 달성하였다. 1. Introductionopen vocabulary task는 카테고리, 세부속성(모양, 색상, 재질 등), 복잡한 조합까지 text로 설명된 모든 semant..

Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models https://arxiv.org/pdf/2303.04803 0. AbstractODISE: Open-vocabulary DIffusion-based panptic SEgmentation을 제시한다. 이는 pre train된 text-image diffusion, discriminative model을 활용하여 open vocabulary panoptic segmentation을 수행한다. text-to-image diffusion model은 open vocabulary lanugage description에서 높은 퀄리티의 이미지를 생성하는 능력을 가지고 있다. 이는 re..

Open-Vocabulary 3D Semantic Segmentation with Foundation Models 0. Abstract3D 환경에서 카테고리의 제한없이 다양한 범위의 물체를 인식하는 것은 real-world에서 불가피해졌다. 이를 위해 open vocabulary 3D semantic segmentation framework인 OV3D를 소개한다. OV3D는 vision과 language foundation model을 활용하여 3D point cloud와 문맥적인 entity description간을 일치시켜 광범위한 open world 지식을 활용한다. entity description은 문맥적인 정보를 활용하여 더 상세하고 정확한 이해를 할 수 있게 해준다. 이처럼 3D domain..