목록확률 (1)

윤제로의 제로베이스

엔트로피

정보량이란 '놀라움의 정도'를 의미한다. 즉 얼마나 새로운 정보를 얻을 수 있는지를 이야기한다. 정보량은 확률이 낮을수록 크다. 확률은 새롭지 않은 정보를 나타낸다. 예를 들어 비올 확률이 80%일 때 비가 오면 우린 이미 확률 80%로 비올 정보를 알고 있었던 것이다. 그렇지만 비가올 확률이 80%인데 비가 오지 않는다면 이는 확률로 표현되지 않은 새로운 정보를 얻은 것이다. 이것이 바로 정보량인 것이다! 수식으로는 다음과 같이 표현한다. 엔트로피(Entropy)란 확률 분포의 정보량이다. 다시 말하면 정보량에 대한 평균, 또한 기댓값에 대한 불확실성이라고 생각하면 된다. 수식으로 표현하면 다음과 같다. 그렇다면 Joint entropy는 무엇일까? Joint Entropy는 두 확률 변수의 결합 엔트..
Self Paper-Seminar/GAN 2022. 11. 9. 21:32
이전 Prev 1 Next 다음