KL-divergence와 Cross-Entropy에 대한 이해(정보이론)

시작하며

KL-divergence와 entropy 간의 관계를 살펴보자~ 여러 소스를 통해 정리한 사항을 글로 옮기지 않고 공부했었던 그대로 올리려고 한다! 글씨를 요즘 안써서 그런지 악필이 되어버렸다.

결국 직접 정리해보자면 다음과 같이 이해할 수 있다.

cross-entropy-1 cross-entropy-2 cross-entropy-3 정보이론-1 정보이론-2