윤제로의 제로베이스

https://apchenstu.github.io/mvsnerf/ MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo Optimization progress. We show results of our fine-tuning (top) and optimizing a NeRF (bottom) with different time periods. Our 0-min result refers to the initial output from our network inference. Note that our 18-min results are already much better than apchenstu.github.io 앞서서 ..

https://openaccess.thecvf.com/content/CVPR2022/papers/Niemeyer_RegNeRF_Regularizing_Neural_Radiance_Fields_for_View_Synthesis_From_Sparse_CVPR_2022_paper.pdf https://m-niemeyer.github.io/regnerf RegNeRF NeRF optimizes the reconstruction loss for a given set of input images (blue cameras). For sparse inputs, however, this leads to degenerate solutions. In this work, we propose to sample unobserve..

https://arxiv.org/abs/2103.13415 Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields The rendering procedure used by neural radiance fields (NeRF) samples a scene with a single ray per pixel and may therefore produce renderings that are excessively blurred or aliased when training or testing images observe scene content at different resolu arxiv.org https://github.com/..

https://arxiv.org/pdf/2107.02791.pdf https://github.com/dunbar12138/DSNeRF GitHub - dunbar12138/DSNeRF: Code release for DS-NeRF (Depth-supervised Neural Radiance Fields) Code release for DS-NeRF (Depth-supervised Neural Radiance Fields) - GitHub - dunbar12138/DSNeRF: Code release for DS-NeRF (Depth-supervised Neural Radiance Fields) github.com 기존의 pixelNeRF, MVSNeRF등 다양한 NeRF 논문들이 1장 혹은 적은 양의 i..

https://arxiv.org/abs/2211.13969 Unsupervised Continual Semantic Adaptation through Neural Rendering An increasing amount of applications rely on data-driven models that are deployed for perception tasks across a sequence of scenes. Due to the mismatch between training and deployment data, adapting the model on the new scenes is often crucial to obtain go arxiv.org NeRF 관련 되어서 arxiv를 항해하던 중 CVPR..

https://github.com/sxyu/pixel-nerf GitHub - sxyu/pixel-nerf: PixelNeRF Official Repository PixelNeRF Official Repository. Contribute to sxyu/pixel-nerf development by creating an account on GitHub. github.com http://arxiv.org/abs/2012.02190 pixelNeRF: Neural Radiance Fields from One or Few Images We propose pixelNeRF, a learning framework that predicts a continuous neural scene representation co..

어텐션(Attention) 메커니즘 등장 배경 seq2seq 모델은 인코더에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축한다. 근데 이때의 문제점이 바로 정보손실과 Vanishing Gradient이다. NLP의 특성상 입력 문장이 길면 성능이 떨어지고, 이 문제를 해결하기 위해 Decoder에서 전달하는 Attention 기법이 탄생하게 된것이다. 어텐션(Attention) 작용방법 어텐션은 기본적으로 Decoder에서 출력 단어를 예측하는 매 시점마다 Incoder에서의 전체 입력 문장을 다시 한 번 참고한다는 것이다. 이때 동일한 비율로 참고하는 것이 아니라 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 집중한다. 1. Encoder의 hidden st..

NeRF pytorch 코드를 돌리다가 자꾸 이 에러가 뜨길래 에러 해결 법을 찾아보았다. optimizer = optim.Adam(...) optimizer.param_groups[0]['capturable'] = True optimizer 에서 'capturable'을 true로 바꿔줘야한다... https://normal-engineer.tistory.com/321 [에러기록] assertionerror: if capturable=false, state_steps should not be cuda tensors. pytorch 안에서 adam을 쓸 때 자꾸 위와 같은 에러가 떠서 이를 위해 optimizer = optim.Adam(func.parameters(), lr=args.lr) optimiz..

NeRF에 어텐션을 사용해서 성능이 오를 수 있을지 궁금해서 한 번해보려고 합니당 그래서 가장 먼저 어텐션에 대한 이해를 좀 해보려고 하는데 그냥 읽으면 대충 읽을게 뻔하여 티스토리에 같이 써가면서 읽어보려 합니다. 출처는 여기에요 https://colab.research.google.com/github/metamath1/ml-simple-works/blob/master/mnistattn/mnist_attn.ipynb mnist_attn.ipynb Run, share, and edit Python notebooks colab.research.google.com 개요 mnist를 MLP를 이용하여 이미지를 Patch로 잘라서 벡터로 펼치고 이를 신경망에 넣을 거임. 이때 분할 된 각 패치에 어텐션을 줄거임..

Hu, Benran, et al. "Instance Neural Radiance Field." arXiv preprint arXiv:2304.04395 (2023). https://arxiv.org/pdf/2304.04395.pdf 이 논문은 그냥 arxiv를 떠다니다가 발견한 논문이다. indoor scene에 대해서 Instance level로 NeRF를 사용한 논문이다. 일종의 pipeline이라고 생각하면 될 듯 하다. Method 이 논문의 Instance-NeRF의 목적을 먼저 말하자면 3D scene에 모든 object를 detection bounding box, continuous 3D mask, 각각의 3D object의 class label까지 produce 위와 같은 목적을 갖고 있다..