윤제로의 제로베이스

https://wikidocs.net/60854 03. 워드투벡터(Word2Vec) 앞서 원-핫 인코딩 챕터에서 원-핫 벡터는 단어 간 유사도를 계산할 수 없다는 단점이 있음을 언급한 적이 있습니다. 그래서 단어 간 유사도를 반영할 수 있도록 단어의 의미를 ... wikidocs.net 1. 희소 표현(Sparse Representation) 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(Sparse representation)이라고 한다. 하지만 이러한 표현 방법은 각 단어간 유사성을 표현할 수 없다는 단점이 있고, 이를 위한 대안으로 '의미'를 다차원 공간에 벡터화 하는 방법을 찾았고 이러한 방법을 분산 표현(distributed representation)이라고 한..

https://wikidocs.net/60852 02. 워드 임베딩(Word Embedding) 워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 것을 말합니다. 워드 임베딩은 단어를 밀집 표현으로 변환하는 방법을 말합니다. 이번 챕터에서는 희소 표현, ... wikidocs.net 워드 임베딩(Word Embeddng)은 단어를 벡터로 표현하는 것이다. 1. 희소 표현(Sparse Representation) 벡터 또는 행렬의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 한다. 원-핫 벡터는 희소 벡터이다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다는 점이다. 이 표현은 공간적 낭비를 불러일으킨다. ..

https://wikidocs.net/60853 01. NLP에서의 원-핫 인코딩(One-hot encoding) 컴퓨터 또는 기계는 문자보다는 숫자를 더 잘 처리 할 수 있습니다. 이를 위해 자연어 처리에서는 문자를 숫자로 바꾸는 여러가지 기법들이 있습니다. 원-핫 인코딩(One-ho ... wikidocs.net 단어 집합은 서로 다른 단어들의 집합이다. 원-핫 인코딩을 위해서는 가장 먼저 단어 집합을 만들어야한다. 텍스트의 모든 단어를 중복을 허용하지 않고 모아놓으면 이를 단어 집합이라고 한다. 그리고 단어 집합의 고유한 숫자를 부여한는 정수 인코딩을 한다. 텍스트에 단어가 총 5000개 존재한다면, 1번부터 5000번까지 인덱스를 부여하게 된다. 1. 원-핫 인코딩(One-hot encoding)..

https://wikidocs.net/65794 04. 토치텍스트(TorchText)의 batch_first 이번 챕터에서는 토치텍스트에서 배치퍼스트(batch_first)를 True로 한 경우와 False를 한 경우를 비교해보겠습니다. 이번 챕터는 토치텍스트 튜토리얼 챕터가 아니 ... wikidocs.net 1. 훈련 데이터와 테스트 데이터로 분리하기 import urllib.request import pandas as pd urllib.request.urlretrieve("https://raw.githubusercontent.com/LawrenceDuan/IMDb-Review-Analysis/master/IMDb_Reviews.csv", filename="IMDb_Reviews.csv") df = ..

https://wikidocs.net/65348 03. 토치텍스트 튜토리얼(Torchtext tutorial) - 한국어 이번 챕터는 바로 앞 챕터인 토치텍스트 영어 데이터 챕터를 이미 진행했다고 가정하고 진행됩니다. ##**1. 형태소 분석기 Mecab 설치** ``` # Colab에 Me ... wikidocs.net 1. 형태소 분석기 Mecab 설치 # Colab에 Mecab 설치 !git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git %cd Mecab-ko-for-Google-Colab !bash install_mecab-ko_on_colab190912.sh 2. 훈련 데이터와 테스트 데이터 다운로드하기 import urllib...

https://wikidocs.net/60314 02. 토치텍스트 튜토리얼(Torchtext tutorial) - 영어 파이토치(PyTorch)에서는 텍스트에 대한 여러 추상화 기능을 제공하는 자연어 처리 라이브러리 토치텍스트(Torchtext)를 제공합니다. 자연어 처리를 위해 토치텍스트가 ... wikidocs.net 토치텍스트가 제공하는 기능들은 다음과 같다. 파일 로드하기(File loading) : 다양한 포맷의 코퍼스를 로드한다. 토큰화(Tockenization) : 문장을 단어 단위로 분리한다. 단어 집합(Vocab) : 단어 집합을 만든다. 정수 인코딩(Integer encoding) : 전체 코퍼스의 단어들을 각각의 고유한 정수로 맵핑한다. 단어 벡터(Word Vector) : 단어 집합..

https://wikidocs.net/64517 01. 자연어 처리 전처리 이해하기 자연어 처리는 일반적으로 토큰화, 단어 집합 생성, 정수 인코딩, 패딩, 벡터화의 과정을 거칩니다. 이번 챕터에서는 이러한 전반적인 과정에 대해서 이해합니다. ##**1. ... wikidocs.net 1. 토근화(Tokenization) 주어진 텍스트를 단어 또는 문자 단위로 자르는 것을 토큰화라고 한다. en_text = "A Dog Run back corner near spare bedrooms" 1) spyCy 사용하기 import spacy spacy_en = spacy.load('en') def tokenize(en_text): return [tok.text for tok in spacy_en.tokenizer..

https://wikidocs.net/63618 03. 깊은 CNN으로 MNIST 분류하기 이번 챕터에서는 앞서 배운 CNN에 층을 더 추가하여 MNIST를 분류해보겠습니다. ##**1. 모델 이해하기** 우리가 만들 모델의 아키텍처를 이해해봅시다. 모델의 ... wikidocs.net 1. 모델 이해하기 # 1번 레이어 : 합성곱층(Convolutional layer) 합성곱(in_channel = 1, out_channel = 32, kernel_size=3, stride=1, padding=1) + 활성화 함수 ReLU 맥스풀링(kernel_size=2, stride=2)) # 2번 레이어 : 합성곱층(Convolutional layer) 합성곱(in_channel = 32, out_channel ..

https://wikidocs.net/63565 02. CNN으로 MNIST 분류하기 이번 챕터에서는 CNN으로 MNIST를 분류해보겠습니다. ##**1. 모델 이해하기** 우리가 만들 모델의 아키텍처를 이해해봅시다. 합성곱 신경망은 출처에 따라서 합성곱 ... wikidocs.net 1. 모델 이해하기 1) 첫번째 표기 방법 합성곱(nn.Conv2d) + 활성화 함수(nn.ReLU)를 하나의 합성곱 층으로 보고, 맥스풀링(nn.MaxPool2d)은 풀링층으로 명명한다. 2) 두번째 표기 방법 합성곱(nn.Conv2d) + 활성화 함수(nn.ReLU) + 맥스풀링(nn.MaxPool2d)을 하나의 합성곱 층으로 본다. # 1번 레이어 : 합성곱층(Convolutional layer) 합성곱(in_chan..

https://wikidocs.net/62306 01. 합성곱과 풀링(Convolution and Pooling) 합성곱 신경망(Convolutional Neural Network)은 이미지 처리에 탁월한 성능을 보이는 신경망입니다. 이번 챕터에서는 합성곱 신경망에 대해서 학습합니다. ... wikidocs.net 합성곱 신경망(Convolutional Neural Network)은 이미지 처리에 탁월한 성능을 보이는 신경망이다. 합성곱 신경망은 크게 합성곱층(Convolution layer)와 풀링층(Pooling layer)으로 구성된다. 1. 합성곱 신경망의 대두 합성곱 신경망은 이미지 처리에 탁월한 성능을 보이는 신경망이다. 이미지 처리를 하기 위해서 앞서 배운 다층 퍼셉트론을 사용할 수 있지만 ..