윤제로의 제로베이스

https://wikidocs.net/63618 03. 깊은 CNN으로 MNIST 분류하기 이번 챕터에서는 앞서 배운 CNN에 층을 더 추가하여 MNIST를 분류해보겠습니다. ##**1. 모델 이해하기** 우리가 만들 모델의 아키텍처를 이해해봅시다. 모델의 ... wikidocs.net 1. 모델 이해하기 # 1번 레이어 : 합성곱층(Convolutional layer) 합성곱(in_channel = 1, out_channel = 32, kernel_size=3, stride=1, padding=1) + 활성화 함수 ReLU 맥스풀링(kernel_size=2, stride=2)) # 2번 레이어 : 합성곱층(Convolutional layer) 합성곱(in_channel = 32, out_channel ..

https://wikidocs.net/63565 02. CNN으로 MNIST 분류하기 이번 챕터에서는 CNN으로 MNIST를 분류해보겠습니다. ##**1. 모델 이해하기** 우리가 만들 모델의 아키텍처를 이해해봅시다. 합성곱 신경망은 출처에 따라서 합성곱 ... wikidocs.net 1. 모델 이해하기 1) 첫번째 표기 방법 합성곱(nn.Conv2d) + 활성화 함수(nn.ReLU)를 하나의 합성곱 층으로 보고, 맥스풀링(nn.MaxPool2d)은 풀링층으로 명명한다. 2) 두번째 표기 방법 합성곱(nn.Conv2d) + 활성화 함수(nn.ReLU) + 맥스풀링(nn.MaxPool2d)을 하나의 합성곱 층으로 본다. # 1번 레이어 : 합성곱층(Convolutional layer) 합성곱(in_chan..

https://wikidocs.net/62306 01. 합성곱과 풀링(Convolution and Pooling) 합성곱 신경망(Convolutional Neural Network)은 이미지 처리에 탁월한 성능을 보이는 신경망입니다. 이번 챕터에서는 합성곱 신경망에 대해서 학습합니다. ... wikidocs.net 합성곱 신경망(Convolutional Neural Network)은 이미지 처리에 탁월한 성능을 보이는 신경망이다. 합성곱 신경망은 크게 합성곱층(Convolution layer)와 풀링층(Pooling layer)으로 구성된다. 1. 합성곱 신경망의 대두 합성곱 신경망은 이미지 처리에 탁월한 성능을 보이는 신경망이다. 이미지 처리를 하기 위해서 앞서 배운 다층 퍼셉트론을 사용할 수 있지만 ..

https://wikidocs.net/61271 10. 기울기 소실(Gradient Vanishing)과 폭주(Exploding) 깊은 인공 신경망을 학습하다보면 역전파 과정에서 입력층으로 갈 수록 기울기(Gradient)가 점차적으로 작아지는 현상이 발생할 수 있습니다. 입력층에 가까운 층들에서 가중 ... wikidocs.net 깊은 인공 신경망을 학습하다보면 역전파 과정에서 입력층으로 갈수록 기울기가 점차적으로 작아지는 현상이 발생할 수 있다. 입력층에 가까운 층들에서 가중치들이 업데이트가 제대로 되지 않으면 결국 최적의 모델을 찾을 수 없게 된다. 이를 기울기 소실(Gradient Vanishing)이라고 한다. 반대의 경우 기울기가 점차 커지더니 가중치들이 비정상적으로 큰 값이 되면서 발산하기도..

https://wikidocs.net/60751 09. 과적합(Overfitting)을 막는 방법들 학습 데이터에 모델이 과적합되는 현상은 모델의 성능을 떨어트리는 주요 이슈입니다. 모델이 과적합되면 훈련 데이터에 대한 정확도는 높을지라도, 새로운 데이터. 즉, 검증 데이 ... wikidocs.net 1. 데이터의 양 늘리기 데이터의 양이 적을 경우 해당 데이터의 특정 패턴이나 노이즈까지 쉽게 암기하게 되므로 과적합 현상이 발생할 확률이 늘어난다. 그렇기 때문에 데이터의 양을 늘릴 수록 모델은 데이터의 일반적인 패턴을 학습하여 과적합을 방지할 수 있다. 만약, 데이터의 양이 적을 경우에는 의도적으로 기존의 데이터를 조금씩 변형하고 추가하여 데이터의 양을 늘리기도 하는데 이를 데이터 증식 또는 증강(Da..

https://wikidocs.net/60683 06. 비선형 활성화 함수(Activation function) 비선형 활성화 함수(Activation function)는 입력을 받아 수학적 변환을 수행하고 출력을 생성하는 함수입니다. 앞서 배운 시그모이드 함수나 소프트맥스 함수는 대 ... wikidocs.net 비선형 활성화 함수(Activation function)는 입력을 받아 수학적 변환을 수행하고 출력을 생성하는 함수이다. 1. 활성화 함수의 특징 - 비선형 함수(Nonlinear function) 활성화 함수의 특징은 비선형 함수여야한다는 점이다. 인공 신경망의 능력을 높이기 위해서는 은닉층을 계속 추가해야한다. 하지만 만약 활성화 함수를 선형 함수로 사용하게 되면 은닉층을 쌓을 수가 없다...

https://wikidocs.net/60682 04. 역전파(BackPropagation) 인공 신경망이 순전파 과정을 진행하여 예측값과 실제값의 오차를 계산하였을 때 어떻게 역전파 과정에서 경사 하강법을 사용하여 가중치를 업데이트하는지 직접 계산을 통해 이해해봅 ... wikidocs.net 1. 인공 신경망의 이해(Neural Network Overview) 2. 순전파(Forward Propagation) 각 입력은 입력층에서 은닉층 방향으로 향하면서 각 입력에 해당하는 가중치와 곱해지고, 결과적으로 가중합으로 계산되어 은닉층 뉴런의 시그모이드 함수에 입력되게 된다. z_1과 z_2는 시그모이드 입력으로 사용되는 값에 해당한다. z_1과 z_2는 은닉층의 뉴런에서 시그모이드 함수를 지나게 되는데 ..

https://wikidocs.net/60680 02. 퍼셉트론(Perceptron) 인공 신경망은 수많은 머신 러닝 방법 중 하나입니다. 하지만 최근 인공 신경망을 복잡하게 쌓아 올린 딥 러닝이 다른 머신 러닝 방법들을 뛰어넘는 성능을 보여주는 사례가 늘면 ... wikidocs.net 1. 퍼셉트론(Perceptron) 퍼셉트론은 프랑크 로젠블라트가 1957년에 제안한 초기 형태의 인공 신경망으로 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘이다. x는 입력값을 의미하며 W는 가중치, y는 출력값이다. 그림 안의 원은 인공 뉴런에 해당된다. 각각의 인공 뉴런에서 보내진 입력값 x는 각각의 가중치 W와 함께 종착지인 인공 뉴런에 전달된다. 각각의 입력값에는 각각의 가중치가 존재하는데, 이때 가중치..

https://wikidocs.net/60021 01. 머신 러닝 용어 이해하기 이번 챕터에서는 머신 러닝의 특징들에 대해서 배웁니다. 딥 러닝 또한 머신 러닝에 속하므로, 아래의 머신 러닝의 특징들은 모두 딥 러닝의 특징이기도 합니다. ##**1 ... wikidocs.net 1. 머신 러닝 모델의 평가 검증용 데이터는 모델의 성능을 조정하기 위한 용도이다. 즉 과적합 되고 있는지 판단하거나 하이퍼파라미터의 조정을 위한 용도이다. 하이퍼파라미터(초매개변수)란 값에 따라서 모델의 성능에 영향을 주는 매개변수들을 말한다. 매개변수란 가중치와 편향과 같이 학습을 통해 바뀌어가는 변수이다. 하이퍼파라미터와 매개변수의 가장 큰 차이는 하이퍼파라미터는 보통 사용자가 직접 정해줄 수 있는 변수라는 점이다. 예를 들..

https://wikidocs.net/60324 05. 소프트맥스 회귀로 MNIST 데이터 분류하기 이번 챕터에서는 MNIST 데이터에 대해서 이해하고, 파이토치(PyTorch)로 소프트맥스 회귀를 구현하여 MNIST 데이터를 분류하는 실습을 진행해봅시다. MNIST ... wikidocs.net for X, Y in data_loader: # 입력 이미지를 [batch_size × 784]의 크기로 reshape # 레이블은 원-핫 인코딩 X = X.view(-1, 28*28) import torch import torchvision.datasets as dsets import torchvision.transforms as transforms from torch.utils.data import Data..