목록배치 정규화 (1)

윤제로의 제로베이스

기울기 소실(Gradient Vanishing)과 폭주(Exploding)

https://wikidocs.net/61271 10. 기울기 소실(Gradient Vanishing)과 폭주(Exploding) 깊은 인공 신경망을 학습하다보면 역전파 과정에서 입력층으로 갈 수록 기울기(Gradient)가 점차적으로 작아지는 현상이 발생할 수 있습니다. 입력층에 가까운 층들에서 가중 ... wikidocs.net 깊은 인공 신경망을 학습하다보면 역전파 과정에서 입력층으로 갈수록 기울기가 점차적으로 작아지는 현상이 발생할 수 있다. 입력층에 가까운 층들에서 가중치들이 업데이트가 제대로 되지 않으면 결국 최적의 모델을 찾을 수 없게 된다. 이를 기울기 소실(Gradient Vanishing)이라고 한다. 반대의 경우 기울기가 점차 커지더니 가중치들이 비정상적으로 큰 값이 되면서 발산하기도..
Background/Pytorch 기초 2022. 1. 19. 13:48
이전 Prev 1 Next 다음