Instance Neural Radiance Field

Hu, Benran, et al. "Instance Neural Radiance Field." arXiv preprint arXiv:2304.04395 (2023).

https://arxiv.org/pdf/2304.04395.pdf

 

 

이 논문은 그냥 arxiv를 떠다니다가 발견한 논문이다. 

indoor scene에 대해서 Instance level로 NeRF를 사용한 논문이다.

일종의 pipeline이라고 생각하면 될 듯 하다.

 

Method

이 논문의 Instance-NeRF의 목적을 먼저 말하자면 

• 3D scene에 모든 object를 detection
• bounding box, continuous 3D mask, 각각의 3D object의 class label까지 produce

위와 같은 목적을 갖고 있다. 

Instance-NeRF Model Architecture

위와 같은 pipe line을 가지고 있다.

 

간략히 요약하자면 가장 먼저 pre-trained NeRF를 통해 추출된 RGB와 Density 정보를 NeRF-RCNN에 넣는다. 이를 통해 Discrete 3D Mask를 얻을 수 있다. 그 다음 Pre-trained NeRF를 rendering하여 얻는 2D image를 Mask2Former를 통해 panoptic Segmentation으로 추출한다. 이렇게 추출한 Segmentation과 NeRF-RCNN으로 얻은 3D Mask를 2D로 projection한 정보와 match시켜서 Instance-NeRF를 훈련시키는데 사용한다. 여기서 CascaedePSP를 사용하여 Refine을 시킨다.

 

최종적으로 학습시키게 되는 Instance-NeRF의 모델은 다음과 같다.

사실 지난 번에 봤던 Panoptic NeRF도 그렇고 결국 NeRF에서 가지치기를 하듯이 또다른 Neural Field를 학습시키는 식으로 진행된다.

여기선 특이하게 positional encoding으로 Multi-resolution Hash Encoding(Hash)와 Spherical Harmonics(SH)를 사용하였다.

Multi-resolution Hash Encoding이란 Instant-NGP에서 사용된 방법으로, 해상도가 높은 Voxel기반의 경우 모든 점에 대해서 positional encoding을 하기 힘들어서(왜 힘들까) Hash function을 사용한다고 한다.

 

 

요즘 들어 딥러닝이 많이 발전하다 보니 생각보다 뚜렷하게 획기적인 아이디어 보다는, 기존에 있는 것들을 충분히 활용하는 pipe line 논문도 많이 보인다고 느껴지고 있다.

물론 이 논문은 아직 투고된 게 아니고  아카이브에만 올라온 논문이기 때문에 더 달라질 수 있지만, 앞으로 좀 두고봐야하지 않을까 싶다.