엔트로피(Entropy)

 엔트로피(Entropy)는 집합의 혼합 정도를 나타내는 다른 방법이다. 정보이론에서 출발했고 집합의 난잡도를 측정한다. 정리해보면 엔트로피는 집합에서 무작위로 선택된 항목이 얼마나 놀랄만한 것인지를 의미한다. 만일 전체 집합이 A였다면, A를 보고 전혀 놀라지 않을 것이며 결국 엔트로피는 0이 된다. 지니계수와 비슷하다.

 

의외성(surpirsal)

 

$s = -log{p_{i}}$

 

엔트로피

 

$e = -\sum_{i=0}^{n}p_{i}log{p_{i}}$

 

크로스 엔트로피

 

$H(p,q) = -\sum_{i=0}^{n}p_{i}logq_{i}$

 

참고: https://danbi-ncsoft.github.io/study/2018/12/06/entropy.html