윤제로의 제로베이스

1. Introduction VAE VAE(Variational Autoencoder)의 장점은 익히 알고 있기로 좋은 Manifold representation을 만들어낸다는 점이다. Manifold란 데이터가 있는 공간 정도로 이해하면 되는데, 대부분의 generating model은 데이터의 manifold를 찾고 그 manifold를 바탕으로 다양한 이미지를 생성하는 방식으로 작동한다. 예를 들어 강아지 사진들로 generating model을 학습시키면 강아지 사진들이 분포하는 manifold를 찾게 되는 것이다. 그렇다면 그 manifold상의 데이터를 무작위로 꺼낸다면 그 사진 또한 강아지 사진일 것이라는 이야기이다. 이 이야기가 성립하기 위해서는 manifold 가정이 필요하다. manif..

InfoVAE: Information Maximizing Variational Autoencoders VAE Generative model의 목적은 log likelihood 최대화 이다. 이 때 위 수식은 intractable하다. 그래서 p(x)를 직접 사용하지 않고 q(z|x)를 통해서 lowerbound를 maximize하는 방식으로 대체한다. VAE에 대한 자세한 이해는 아래 글로 이동하세요! https://yoon-zero.tistory.com/m/41 Variational Autoencoders: VAE Auto-Encoder Auto-Encoder란 input image를 가장 잘 표현하는 compressed representation을 찾기 위한 Encoder학습 모델이다. Variati..

VQ-VAE VQ-VAE의 특징을 간략히 말하면 1) 이산 codes를 출력함. 2) Proior이 정적이 아닌 학습이 가능함. 추가적으로 설명하자면 VQ-VAE는 이산 표현을 다룬다. VQ(Vector Quantization)을 사용하면서 posterior과 prior distribution은 categorical하며, 이때 sampling 된 sample은 embedding table을 indxing 한다. 이 embeddings 가 decoder에 들어가게 된다. Vector Quantization는 딕셔너리 형태로 카테고리 매핑을 한다. Vector Quantization은 Kmeans clustering을 사용하여 codebook을 만드는 과정이다. 이 code book을 이용하여 데이터를 압축..

Introduction VAE Loss 는 Samping 된 Latent Vector에서 본래 이미지가 잘 생성되는지에 대한 Reconstruction term과 생성 데이터에 대한 통제를 위해 latent vector가 prior 분포를 따르도록 하는 Regularization term으로 이뤄어져 있다. 이에 대한 가중치를 부여하여 VAE의 Blurry한 이미지를 줄여보자! Main Method 이미지 생성기에 z가 아닌 v, w를 집어 넣는다. 이때 v는 conditionally independent factors로 disentagle하기 원하는 요소를 의미하고 w는 conditionally dependent factors로 알고자 하는 부분은 아니다. Generative model은 data x와..

Introduction Generative model의 경우 one-to-many mapping을 목표로 한다. 따라서 이를 수해하기 위해서 Deep Conditional Generative Model이 필요하다. 즉, 고차원의 Ouput Space를 Input에 conditional 된 Generative Model이 필요하다는 것이다. 이것으로 쓰일 것이 바로 CVAE이다. VAE 아래와 같은 수식으로 모델링 된 모델을 우린 VAE라고 칭한다. Deep Conditional Generative Models for Structured output Predicted 여기서 쓰이는 변수는 총 3개이다. Input x, Output y, 잠재변수 z. x가 주어졌을 때 z의 확률변수를 표현한다면 p(z|x)..

Auto-Encoder Auto-Encoder란 input image를 가장 잘 표현하는 compressed representation을 찾기 위한 Encoder학습 모델이다. Variational Auto-Encoder Auto-Encoder의 주 목적은 Encoder를 잘 학습하는 것이었다면 Variational Auto-Encoder의 경우 Decoder의 학습이 주 목적이다. 즉 VAE에서 Encoder는 Generative Model, Decoder를 만들기 위해 사용하는 도구에 불과하다. 여기서 포인트는 VAE는 Generative Model이다..! Decoder 좋은 Generator 즉 Decoder가 되기 위해 우린 Decoder가 학습하게 되는 확률분포 p(x)를 최대화하는 것이 목표..

https://wikidocs.net/66115 01. 파이토치를 이용한 텍스트 분류(Text classification using PyTorch) 이번 챕터에서는 파이토치(PyTorch)로 인공 신경망을 이용한 텍스트 분류를 실습합니다. 실습에 앞서 딥 러닝을 이용해서 텍스트 분류가 수행될 때, 어떤 작업과 구성으로 ... wikidocs.net 1. 훈련 데이터에 대한 이해 지도 학습의 훈련 데이터는 레이블이라는 이름의 정답이 미리 적혀있는 데이터로 구성되어 있다. 쉽게 비유하자면, 기계는 정답이 적혀져 있는 문제지를 열심히 공부하고, 향후에 정답이 없는 문제에 대해서도 정답을 예측해서 대답하게 되는 메커니즘이다. 2. 훈련 데이터와 테스트 데이터 3. 단어에 대한 인덱스 부여 파이토치의 nn.Emb..

https://wikidocs.net/64765 03. 단어 단위 RNN - 임베딩 사용 이번 챕터에서는 문자 단위가 아니라 RNN의 입력 단위를 단어 단위로 사용합니다. 그리고 단어 단위를 사용함에 따라서 Pytorch에서 제공하는 임베딩 층(embedding ... wikidocs.net 1. 훈련 데이터 전처리하기 import torch import torch.nn as nn import torch.optim as optim sentence = "Repeat is the best medicine for memory".split() vocab = list(set(sentence)) word2index = {tkn: i for i, tkn in enumerate(vocab, 1)} # 단어에 고유한 정..

https://wikidocs.net/64703 01. 문자 단위 RNN(Char RNN) 이번 챕터에서는 모든 시점의 입력에 대해서 모든 시점에 대해서 출력을 하는 다대다 RNN을 구현해봅시다. 다대다 RNN은 대표적으로 품사 태깅, 개체명 인식 등에서 사용됩니 ... wikidocs.net 1. 문자 단위 RNN(Char RNN) RNN의 입출력의 단위가 단어 레벨(word-level)이 아니라 문자 레벨(character-level)로 하여 RNN을 구현한다면, 이를 문자단위 RNN이라고 한다. RNN의 구조가 달라진 것이 아니라 입,출력의 단위가 문자로 바뀐 것이다. import torch import torch.nn as nn import torch.optim as optim import num..

https://wikidocs.net/60762 02. 장단기 메모리(Long Short-Term Memory, LSTM) 바닐라 아이스크림이 가장 기본적인 맛을 가진 아이스크림인 것처럼, 앞서 배운 RNN을 가장 단순한 형태의 RNN이라고 하여 바닐라 RNN(Vanilla RNN)이라고 합니다 ... wikidocs.net 앞서 배운 RNN의 형태를 가장 단순한 형태의 RNN이라고 하며 바닐라 RNN이라고 한다. 1. 바닐라 RNN의 한계 바닐라 RNN은 출력 결과가 이전의 계산 결과에 의존한다. 하지만 바닐라 RNN은 비교적 짧은 시퀀스에 대해서만 효과를 보이는 단점이 있다. 바닐라 RNN의 시점이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상이 발생한다. 즉 뒤로 갈수록 처음의 정보가 손..