Unsupervised Continual Semantic Adaptation through Neural Rendering

https://arxiv.org/abs/2211.13969

Unsupervised Continual Semantic Adaptation through Neural Rendering

NeRF 관련 되어서 arxiv를 항해하던 중 CVPR 2023에  accept된 논문을 발견했다.

내가 한창 관심 있어했던 domain adaptation관련 내용이 있어서 더 눈길이 갔고 새롭게 접하게 된 continual learning부분도 흥미로워보여서 읽어보게 되었다.

 

Introduction

은 가뿐하게 넘어가겠다.

한 줄 요약하자면

adapting a semantic segmentation network across multiple indoor scenes with no labeled data from the new environment are available.

 

Related Work

Unsupervised domain adaptation for semantic segmentation

domain adpatation이라 함은 간단하게 말하면 데이터셋 사이에 발생하는 domain gap을 없애보겠다!로 생각하면 쉽다.

 

예를 들면 실제 real-world에서 찍은 사진들과 simulation상에서 찍은 사진들을 보면 아무리 simulation을 실제처럼 보이게 한다고 하더라도 확실히 다를 수 밖에 없다. 더군다나 real-world에서 찍더라도 어떤 날씨인지 어디서 찍었는지 어떤 카메라로 찍었는지에 따라서도 이미지들이 다 다르게 보인다. 하지만 똑같은 것들을 찍은 것이라면, 예를 들어 모두 자동차가 있고, 도로가 있고, 건물이 있는 상황이라면, 모두 다른 상황에서 이것들을 찾아낼 수 있도록 gap을 줄인다고 생각하면 쉬울 듯하다.

 

앞서서 domain gap이 발생하는 두 domain을 보통 source domain과 target domain이라고 부른다.

여기서 target domain의 ground-truth가 없는 경우 unsupervised하게 알아내는 수 밖에 없다. 이걸 unsupervised domain adaptation이라고 한다.

 

Continual learning for semantic segmentation

continual learning의 목표는 현재의 데이터만 사용해서 새로운 task에 대해 적응을 수행하면서도 이전의 지식들을 잊지 않게 학습하는 방식을 말한다.대표적인 approach로 4가지가 있는데 1. Memory Replay 2. Regularization approach 3. Dynamic Architecture 4. Mixture approach 가 있다. 이 중에서 이 논문엔 Memory Replay방식을 사용했다.

 

Memory Replay 방식이라 함은 뇌의 해마체에서 착안한 방식이다.짧게 설명하자면 우리의 뇌에 해마체라는 부분이 있다고 한다. 마치 메모리 처럼 신경망과 떨어져 독립적으로 경험을 저장하는 부분이다. 이 해마체에서 주기적으로 경험을 재현해주며 우리가 그 경험을 배울 수 있도록 해주는 역할을 한다고 한다. 가끔은 경험을 조금 바꾸어서 새롭게 생성된 경험을 주입해주기도 하는데 이러한 역할을 딥러닝에서 구현한 방식이 Memory Replay이다.

 

보통은 메모리에 이전에 네트워크 학습에 사용했던 데이터를 replay buffer로 sampling해두고서 새로운 데이터를 학습할 때 replay buffer랑 섞어서 학습시키는 방식...이라고 난 이해했다.

 

근데 이 Buffer에다가 이미지를 하나하나 다 저장해두고 쓰는 건 아무래도 메모리 소모가 심하다 보니까 이걸 줄이고 성능을 높여보자! 하고 나온 방식으로 Buffer대신에 NeRF를 쓰는 것이다. 알고 있는 데이터 뿐 아닌 새로운 novel synthetic view까지 robust하게 학습할 수 있지 않을까?!

 

Continual Semantic Adaptation

NeRF-based pseudo-labels

일단 여기서 사용하는 데이터셋이 방 별로 나뉘어져 있다. 한 방별로 이미지 데이터셋과 Semantic Segmentation 이미지들이 담겨 있는데 이 방 하나마다 NeRF를 훈련해야 한다.

 

여기서 NeRF는 Semantic-NeRF이다. Semantic NeRF를 훈련하려면 일단 Semantic Segmentation True값이 있어야한다. 하지만 여기서 우리는 Unsupervised이지 않은가? 그래서 가장 먼저 해야할 일은 segmentation model을 pre-train하는 것이다. 그리고 나서 NeRF model에 true 값으로 주게 된다. 여기서 segmentation model을 update를 하진 않고 NeRF만 update한다.

 

여기서 Segmentation model도 완전히 pre-train한 것이 아니기 때문에 NeRF에게 안 좋은 영향을 줄 수 있기 때문에 여러 조치를 해두는 데 첫번째로는 semantic head에서 나온 gradient가 density head까지 도달하지 못하도록 한다. 

그리고 depth supervision을 사용해서 NeRF의 geometry 성능이 유지되도록 한다.

Adaptation through joint 2D-3D training

NeRF를 Scene에 대해 훈련을 했다면 이 NeRF자체가 Replay Buffer가 되는 것이다. 이 NeRF를 Buffer로 새로운 데이터를 생성하여 Segmentation model을 학습하고, 또 다시 Segmentation model을 통해 NeRF 모델을 훈련하는 과정을 jointly하게 진행하게 된다.

 

위와 같은 과정을 통해 Continual learning을 통해서 Segmentation model은 여러 scene에 대한 정보를 잃지 않으면서 훈련이 가능해진다.

실제로 data의 anotation이 잘못 된 부분까지도 몇 안되는 epoch에서도 잘 예측해내는 결과를 볼 수 있다.

아래 링크에서 제가 발표한 영상을 볼 수 있습니다 :)

https://www.youtube.com/watch?v=88f_5NcrIvU