Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering(ICCV 2021)

Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering(ICCV 2021)

https://zju3dv.github.io/object_nerf/

 

Introduction

이 논문에서 추구하는 contribution은 다음과 같다.

1. the first editable neural scene rendering system given a collection of posed images and 2D instance masks
2. design a novel two-pathway architecture to learn object compositional neural radiance field
3. the experiment and extensive ablation study demonstrate the effectiveness of our system and the design of each component

 

Method

Framework of Object-Compositional NeRF

Scene Branch: 전체적인 scene의 geometry와 appearance를 encode

Object Branch: Learnable Object Activation Code와 standalone object를 encode

 

Object-Compositional Learning: Object supervision

일단 K개의 annotated object의 learnable object code library를 사용한다.

Loss 수식에서 첫 줄은 Rendered object color와 Real color를 mask를 한 상태로 MSE를 진행하는 것을 보여주고, 바로 밑에는 Rendered object opacity와 ground truth instance mask의 MSE를 계산하는 것이다. 

 

Object-Compositional Learning: Occlusion issue

여기서 말하는 Occlusion issue라 함은 아래의 그림처럼 object가 다른 object에 가려져 rendering을 할 때 제대로 되지 않는 issue를 말한다.

 

Object-Compositional Learning: Scene-guided occlusion identification

위와 같은 occlusion을 방지하기 위해서 scene branch로부터 얻은 geometric cue를 사용한다.

scene guidance가 occluded region에 대해서 point sampling하지 않도록 하면서 erroneous도 완화한다.

 

Object-Compositional Learning: 3D guard mask

Editable Scene Rendering

---

참조

• Yang, Bangbang, et al. "Learning object-compositional neural radiance field for editable scene rendering." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
• https://zju3dv.github.io/object_nerf/