윤제로의 제로베이스

https://wikidocs.net/60575 04. 소프트맥스 회귀 구현하기 이번 챕터에서는 소프트맥스 회귀를 로우-레벨과 F.cross_entropy를 사용해서 구현해보겠습니다. 앞으로의 모든 실습은 아래의 과정이 이미 진행되었다고 가정합니다. ... wikidocs.net import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim torch.manual_seed(1) x_train = [[1, 2, 1, 1], [2, 1, 3, 2], [3, 1, 3, 4], [4, 1, 5, 5], [1, 7, 5, 5], [1, 2, 5, 6], [1, 6, 6, 6], [1, 7, 7, 7]] y_..

https://wikidocs.net/60572 03. 소프트맥스 회귀의 비용 함수 구현하기 이번 챕터에서는 소프트맥스 회귀의 비용 함수를 구현해봅시다. 앞으로의 모든 실습은 아래의 코드가 이미 진행되었다고 가정합니다. ``` import torch impor ... wikidocs.net 1. 파이토치로 소프트맥스의 비용함수 구현하기(로우 레벨 버전) import torch import torch.nn.functional as F torch.manual_seed(1) z = torch.rand(3, 5, requires_grad=True) # 소프트맥스 함수의 입력 hypothesis = F.softmax(z, dim=1) y = torch.randint(5, (3,)).long() # 모든 원소가 0..

https://wikidocs.net/59427 02. 소프트맥스 회귀(Softmax Regression) 이해하기 앞서 로지스틱 회귀를 통해 2개의 선택지 중에서 1개를 고르는 이진 분류(Binary Classification)를 풀어봤습니다. 이번 챕터에서는 소프트맥스 회귀를 통해 3 ... wikidocs.net 1. 다중 클래스 분류 1) 로지스틱 회귀 로지스틱 회귀에서 시그모이드 함수는 예측값을 0과 1 사이로 만든다. 2) 소프트맥스 회귀 소프트맥스 회귀는 확률의 총 합이 1이 되는 아이디어를 다중 클래스 분류 문제에 적용한다. 소프트맥스 회귀는 각 클래스 즉, 각 선택지마다 소수 확률을 할당한다. 이때 확률의 합은 1이 되어야한다. 결국 소프트맥스 회귀는 선택지의 개수만큼의 차원을 가지는 벡..

https://wikidocs.net/59678 01. 원-핫 인코딩(One-Hot Encoding) 이번 챕터에서는 범주형 데이터를 처리할 때 레이블을 표현하는 방법인 원-핫 인코딩에 대해서 배워봅시다. ##**1. 원-핫 인코딩(One-hot encoding)이란?** ... wikidocs.net 1. 원-핫 인코딩(One-Hot Encoding)이란? 원-핫 인코딩은 선택해야 하는 선택지의 개수만큼의 차원을 가지면서, 각 선택지의 인덱스에 해당하는 원소에는 1, 나머지 원소는 0의 값을 가지도록 하는 표현 방법이다. 원-핫 인코딩으로 표현된 벡터를 원-핫 벡터(one-hot vector)라고 한다. 2. 원-핫 벡터의 무작위성 실제값을 원-핫 벡터로 표현해야만 다중 클래스 분류 문제를 풀 수 있는..

1. 모델을 클래스로 구현하기 model = nn.Sequential( nn.Linear(2, 1), # input_dim = 2, output_dim = 1 nn.Sigmoid() # 출력은 시그모이드 함수를 거친다 ) class BinaryClassifier(nn.Module): def __init__(self): super().__init__() self.linear = nn.Linear(2, 1) self.sigmoid = nn.Sigmoid() def forward(self, x): return self.sigmoid(self.linear(x)) nn.Module을 상속받는다. 그리고 __init__()에서 모델의 구조와 동적을 정의한느 생성자를 정의한다. 객체가 갖는 속성값을 초기화하는 역할로..

https://wikidocs.net/58686 02. nn.Module로 구현하는 로지스틱 회귀 잠깐만 복습을 해보면 선형 회귀 모델의 가설식은 $H(x) = Wx + b$이었습니다. 그리고 이 가설식을 구현하기 위해서 파이토치의 nn.Linear()를 사용했습니다. ... wikidocs.net 1. 파이토치의 nn.Linear와 nn.Sigmoid로 로지스틱 회귀 구현하기 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim torch.manual_seed(1) x_data = [[1, 2], [2, 3], [3, 1], [4, 3], [5, 3], [6, 2]] y_data = [[..

https://wikidocs.net/57805 01. 로지스틱 회귀(Logistic Regression) 일상 속 풀고자하는 많은 문제 중에서는 두 개의 선택지 중에서 정답을 고르는 문제가 많습니다. 예를 들어 시험을 봤는데 이 시험 점수가 합격인지 불합격인지가 궁금할 수도 있 ... wikidocs.net 1. 이진 분류 (Binary Classification) 둘 중 하나를 결정하는 문제를 이진 분류(Binary Classification)이라고 한다. 2. 시그모이드 함수(Sigmoid function) %matplotlib inline import numpy as np # 넘파이 사용 import matplotlib.pyplot as plt # 맷플롯립사용 def sigmoid(x): # 시그..

1. 커스텀 데이터셋 (Custom Dataset) torch.utils.data.Dataset을 상속받아 직접 커스텀 데이터셋을 만드는 경우도 있다. torch.utils.data.Dataset은 파이토치에서 데이터셋을 제공하는 추상 클래스이다. 커스텀 데이터셋을 만들 때 가장 기본적인 뼈대는 아래와 같다. class CustomDataset(torch.utils.data.Dataset): def __init__(self): # 데이터셋의 전처리를 해주는 부분 def __len__(self): # 데이터셋의 길이. 즉 총 샘플의 수를 적어주는 부분 def __getitem__(self, idx): # 데이터셋에서 특정 1개의 샘플을 가져오는 함수

1. 미니 배치와 배치 크기 (Mini Batch and Batch Size) 에포크(Epoch)란 전체 훈련 데이터가 학습에 한 번 사용된 주기를 말한다. 전체 데이터에 대해서 한번에 경사 하강법을 수행하는 방법을 '배치 경사 하강법'이라고 부른다. 미니 배치 단위로 경사 하강법을 수행하는 방법을 '미니 배치 경사 하강법'이라고 부른다. 배치 경사 하강법은 경사 하강법을 할 떄, 전체 데이터를 사용하므로 가중치 값이 최적값에 수렴하는 과정이 매우 안정적이지만, 계산량이 많이 든다. 미니 배치 경사 하강법은 경사 하강법을 할 때, 전체 데이터의 일부만을 보고 수행하므로, 최적값으로 수렴하는 과정에서 값이 조금 헤매기도 하지만 훈련 속도가 빠르다. 2. 이터레이션 (Iteration) 이터레이션이란 한번의..

https://wikidocs.net/60036 05. 클래스로 파이토치 모델 구현하기 파이토치의 대부분의 구현체들은 대부분 모델을 생성할 때 클래스(Class)를 사용하고 있습니다. 앞서 배운 선형 회귀를 클래스로 구현해보겠습니다. 앞서 구현한 코드와 다른 ... wikidocs.net 1. 모델을 클래스로 구현하기 # 모델을 선언 및 초기화. 단순 선형 회귀이므로 input_dim=1, output_dim=1. model = nn.Linear(1,1) 이를 클래스로 구현하면 아래와 같다. class LinearRegressionModel(nn.Module): # torch.nn.Module을 상속받는 파이썬 클래스 def __init__(self): # super().__init__() self.li..