Soft-Intro VAE: Analyzing and Improving the Introspective Variational Autoencoder

Soft-Intro VAE의 경우 앞서 리뷰했던 Intro VAE에 이어서 나온 논문이다.

이 논문에 경우 2021 CVPR Oral에 올랐던 논문이니 만큼 굉장히 좋은 논문이라고 해도 과언이 아니다.

 

https://taldatech.github.io/soft-intro-vae-web/

2022.10.25 - [Self Paper-Seminar/VAE] - Intro-VAE

Intro-VAE

Intro VAE의 경우 기존의 VAE의 단점은 GAN의 장점으로 보완하는 방식의 VAE 였다.

하지만 Soft-Intro VAE의 저자는 Intro VAE의 한계를 지적하며 이를 해결하는 방향으로 이 논문을 발표하였다.

 

Intro VAE의 한계

Intro VAE의 한계는 크게 2가지이다.

1. Intro VAE의 hard threshold로 인한 training instability

2. 떨어지는 논리성

이 두가지를 근거로 Intro VAE를 지적한다.

 

Intro VAE objective

Intro VAE의 Loss function을 다시 보면 다음과 같다.

여기서 hard threshold인 부분이 바로 Encoder Loss부분의 []+부분이다.

이 부분의 경우 [0,*] 중 max 값으로 값을 대체하는 함수이기 때문에 ReLU함수와 비슷한 경향을 띄게 된다.

하지만 ReLU함수도 그렇듯 backpropagation이 전달이 안되는 문제가 발생하게 된다.

 

더불어 VAE라는 것 자체가 확률론을 바탕으로 이해되는 모델인 만큼 수학적인 증명을 중요하게 여기는 분위기인 것 같다. (실험적인 부분을 통한 증명 보다는)

이러한 점으로 비추어 볼 때 저자는 Intro-VAE의 objective function은 정확한 분석이 힘들다는 점을 들어 새롭게 Objective function을 정의한다. 

Soft-Intro VAE

Intro VAE와의 차이점은 먼저 Intro VAE와는 달리  ELBO Term을 온전히 Loss function에 담았다는 점과 두번째는 hard theshold를 없애고 soft exponential funcion을 사용했다는 점이다.

 

그리고 여기서 특이한 점이 바로 ELBO Term을 온전히 Loss function으로 표현했다는 점일 수 있다.

Intro VAE에서는 ELBO를 그대로 쓰기 보다는 KL-Divergence를 사용하였는데 여기에선 network를 통해 찾아낼 수 있는 ELBO를 사용한다.

 

더불어 이러한 의문이 들 수 있다.

Loss function에 ELBO를 그대로 넣는다면 결국 ELBO를 minimizing하겠다는 이야기가 아닌가?

그렇다면 ELBO를 maximize하던 기존의 VAE와 달라지는 것이 아닌가?

 

이 논문의 저자도 이러한 의문을 염두해두고 있었다.

이에 대한 답으로 논문의 저자의 말을 빌리자면

Minimizing a lower bound on the log-likelihood does not imply that the likelihood of generate samples decrease.

즉 minimizing 하는 것은 log-likelihood가 아니라 log-likelihood의 lower bound이기 때문에 이것이 확률 분포에 직접적으로 영향이 있는 것은 아니라는 이야기이다.

 

이후로는 논문에서 Soft-Intro VAE에 대한 수식적인 증명이 나온다.

하지만 여기까지 이해할 수 있는 영역은 아니기에 여기서 글을 정리하도록 하겠다.

 

궁금한 분들은 직접 논문을 읽어보시면 될 것 같다.