GNeRF: GAN-based Neural Radiance Field without Posed Camera(ICCV 2021)

GNeRF: GAN-based Neural Radiance Field without Posed Camera(ICCV 2021)

https://github.com/quan-meng/gnerf

GitHub - quan-meng/gnerf: [ ICCV 2021 Oral ] Our method can estimate camera poses and neural radiance fields jointly when the ca

---

Introduction

이전 논문들에서 보였던 각각의 NeRF의 한계를 보자면 다음과 같다.

 

1. NeRF--: model이 foward facing scene dataset에서만 가능하다.

2. iNeRF(IROS 2021): 카메라 pose estimation이긴 하지만 radiance field를 estimate하는게 아니다. 즉, 따로 훈련 된 NeRF로 pose estimation을 하는 것이다.

 

위의 두 논문의 NeRF들은 오직 카메라 pose estimation밖에 할 수 없다. 그것도 다소 짧은 카메라 trajectory 안에서만으로 제한된다.

 

이러한 한계점들을 벗어나 GNeRF가 하고자 하는 목표는,

카메라 pose가 random하게 intialized된 상황에서 카메라 pose와 neural radiance field를 동시에 estimate하는 것이다.

 

Method

GNeRF는 n개의 calibration이 되지 않고 카메라 포즈조차 알지 못하는 image들을 사용해서 I개의 single scene을 NeRF를 통해 학습시키는 것을 최종 Goal로 생각한다.

그래서 총 2가지의 phase를 사용한다.

 

Phase A: Adversarial loss와 inversion network를 통합한 novel NeRF estimation 

Phase B: 위에서 진행한 initial estiamtion을 가지고 photometric loss를 사용하여 NeRF scene 모델과 카메라 pose를 refine

 

Phase A

Phase A는 결국 pose와 scene의 radiance field를 rough하게 예측하는 역할이다.

 

Generator는 input으로 random camera pose를 받고 output으로 synthesize observed view image를 받는다. 이때 generated image와 real image의 image patch를 가지고 Discrimiator가 Real Fake를 판단하고 이를 통해 모델이 학습된다.

 

여기서 Image Pathcing은 Dynamic Patch Sampling을 사용하는데 이는 이는 scale과 offset 모두를 dynamic하게 조정하여 sampling을 진행하는 방법이다.

 

그 다음 Inversion model E을 학습하게 된다. 이는 Vision Transformer Network을 사용한다.

Generator에서 만들어진 image의 경우 pose sampling space에서 mapping한 static한 pose와 inversion model이 예측한 pose사이의 MSE와 Real Image와 Pose embedding과 예측된 pose 사이의 MSE로 Loss 계산한다.

 

즉 Inversion model은 image patch를 input으로 받고 output으로 해당하는 camera pose를 예측하는 것이다.

 

Phase B

phase B는 쉽게 말하면 Regularized Learning Strategy이다.

pose free NeRF iteration이 끝나면 pose embedding과 NeRF를 optimize하게 된다.

---

출처

Meng, Quan, et al. "Gnerf: Gan-based neural radiance field without posed camera." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.