윤제로의 제로베이스

https://wikidocs.net/66115 01. 파이토치를 이용한 텍스트 분류(Text classification using PyTorch) 이번 챕터에서는 파이토치(PyTorch)로 인공 신경망을 이용한 텍스트 분류를 실습합니다. 실습에 앞서 딥 러닝을 이용해서 텍스트 분류가 수행될 때, 어떤 작업과 구성으로 ... wikidocs.net 1. 훈련 데이터에 대한 이해 지도 학습의 훈련 데이터는 레이블이라는 이름의 정답이 미리 적혀있는 데이터로 구성되어 있다. 쉽게 비유하자면, 기계는 정답이 적혀져 있는 문제지를 열심히 공부하고, 향후에 정답이 없는 문제에 대해서도 정답을 예측해서 대답하게 되는 메커니즘이다. 2. 훈련 데이터와 테스트 데이터 3. 단어에 대한 인덱스 부여 파이토치의 nn.Emb..

https://wikidocs.net/64765 03. 단어 단위 RNN - 임베딩 사용 이번 챕터에서는 문자 단위가 아니라 RNN의 입력 단위를 단어 단위로 사용합니다. 그리고 단어 단위를 사용함에 따라서 Pytorch에서 제공하는 임베딩 층(embedding ... wikidocs.net 1. 훈련 데이터 전처리하기 import torch import torch.nn as nn import torch.optim as optim sentence = "Repeat is the best medicine for memory".split() vocab = list(set(sentence)) word2index = {tkn: i for i, tkn in enumerate(vocab, 1)} # 단어에 고유한 정..

https://wikidocs.net/64703 01. 문자 단위 RNN(Char RNN) 이번 챕터에서는 모든 시점의 입력에 대해서 모든 시점에 대해서 출력을 하는 다대다 RNN을 구현해봅시다. 다대다 RNN은 대표적으로 품사 태깅, 개체명 인식 등에서 사용됩니 ... wikidocs.net 1. 문자 단위 RNN(Char RNN) RNN의 입출력의 단위가 단어 레벨(word-level)이 아니라 문자 레벨(character-level)로 하여 RNN을 구현한다면, 이를 문자단위 RNN이라고 한다. RNN의 구조가 달라진 것이 아니라 입,출력의 단위가 문자로 바뀐 것이다. import torch import torch.nn as nn import torch.optim as optim import num..

https://wikidocs.net/60762 02. 장단기 메모리(Long Short-Term Memory, LSTM) 바닐라 아이스크림이 가장 기본적인 맛을 가진 아이스크림인 것처럼, 앞서 배운 RNN을 가장 단순한 형태의 RNN이라고 하여 바닐라 RNN(Vanilla RNN)이라고 합니다 ... wikidocs.net 앞서 배운 RNN의 형태를 가장 단순한 형태의 RNN이라고 하며 바닐라 RNN이라고 한다. 1. 바닐라 RNN의 한계 바닐라 RNN은 출력 결과가 이전의 계산 결과에 의존한다. 하지만 바닐라 RNN은 비교적 짧은 시퀀스에 대해서만 효과를 보이는 단점이 있다. 바닐라 RNN의 시점이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상이 발생한다. 즉 뒤로 갈수록 처음의 정보가 손..

https://wikidocs.net/60690 01. 순환 신경망(Recurrent Neural Network, RNN) RNN(Recurrent Neural Network)은 시퀀스(Sequence) 모델입니다. 입력과 출력을 시퀀스 단위로 처리하는 모델입니다. 번역기를 생각해보면 입력은 번 ... wikidocs.net RNN은 시퀀스 모델이다. 입력과 출력을 시퀀스단위로 처리하는 모델이다. 1. 순환 신경망(Recurrent Neural Network, RNN) RNN은 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 갖고 있다. RNN의 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드를 셀(c..

https://wikidocs.net/64779 07. 파이토치(PyTorch)의 nn.Embedding() 파이토치에서는 임베딩 벡터를 사용하는 방법이 크게 두 가지가 있습니다. 바로 임베딩 층(embedding layer)을 만들어 훈련 데이터로부터 처음부터 임베딩 벡터를 학습 ... wikidocs.net 1. 임베딩 층은 룩업 테이블이다. 임베딩 층의 입력으로 사용하기 위해서 입력 시퀀스의 각 단어들은 모두 저웃 인코딩이 되어야 한다. 어떤 단어 -> 다멍에 부여된 고유한 정수값 -> 임베딩층 통과 -> 밀집 벡터 임베딩 층은 입력 정수에 대한 밀집 벡터로 맵핑하고 이 밀집 벡터는 인공 신경망의 학습 과정에서 가중치가 학습되는 것과 같은 방식으로 훈련된다. 훈련 과정에서 단어는 모델을 풀고자 하는..

https://wikidocs.net/60858 06. 글로브(GloVe) 글로브(Global Vectors for Word Representation, GloVe)는 카운트 기반과 예측 기반을 모두 사용하는 방법론으로 2014년에 미국 스탠포드대 ... wikidocs.net 글로브(Global Vectors for Word Representations, GloVe)는 카운트 기반과 예측 기반을 모두 사용하는 방법론으로 2014년 미국 스탠포드대학에서 개발한 단어 임베딩 방법론이다. 기존의 카운트 기반의 LSA(Latent Semantic Analysis)와 예측 기반의 Word2Vec의 단점을 지적하며 이를 보완한다느 목적으로 나왔으며, 실제로도 Word2Vec만큼 뛰어난 성능을 보인다. 1. 기존 ..

https://wikidocs.net/60854 03. 워드투벡터(Word2Vec) 앞서 원-핫 인코딩 챕터에서 원-핫 벡터는 단어 간 유사도를 계산할 수 없다는 단점이 있음을 언급한 적이 있습니다. 그래서 단어 간 유사도를 반영할 수 있도록 단어의 의미를 ... wikidocs.net 1. 희소 표현(Sparse Representation) 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(Sparse representation)이라고 한다. 하지만 이러한 표현 방법은 각 단어간 유사성을 표현할 수 없다는 단점이 있고, 이를 위한 대안으로 '의미'를 다차원 공간에 벡터화 하는 방법을 찾았고 이러한 방법을 분산 표현(distributed representation)이라고 한..

https://wikidocs.net/60852 02. 워드 임베딩(Word Embedding) 워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 것을 말합니다. 워드 임베딩은 단어를 밀집 표현으로 변환하는 방법을 말합니다. 이번 챕터에서는 희소 표현, ... wikidocs.net 워드 임베딩(Word Embeddng)은 단어를 벡터로 표현하는 것이다. 1. 희소 표현(Sparse Representation) 벡터 또는 행렬의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 한다. 원-핫 벡터는 희소 벡터이다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다는 점이다. 이 표현은 공간적 낭비를 불러일으킨다. ..

https://wikidocs.net/60853 01. NLP에서의 원-핫 인코딩(One-hot encoding) 컴퓨터 또는 기계는 문자보다는 숫자를 더 잘 처리 할 수 있습니다. 이를 위해 자연어 처리에서는 문자를 숫자로 바꾸는 여러가지 기법들이 있습니다. 원-핫 인코딩(One-ho ... wikidocs.net 단어 집합은 서로 다른 단어들의 집합이다. 원-핫 인코딩을 위해서는 가장 먼저 단어 집합을 만들어야한다. 텍스트의 모든 단어를 중복을 허용하지 않고 모아놓으면 이를 단어 집합이라고 한다. 그리고 단어 집합의 고유한 숫자를 부여한는 정수 인코딩을 한다. 텍스트에 단어가 총 5000개 존재한다면, 1번부터 5000번까지 인덱스를 부여하게 된다. 1. 원-핫 인코딩(One-hot encoding)..