[데이터 사이언스 스쿨] math 10.1 엔트로피

● 엔트로피(Entropy) : 확률분포가 가지는 정보의 확신도 혹은 정보량을 수치로 표현한 것

 

- 확률분포에서 특정한 값이 나올 확률이 높아지고 나머지 값의 확률은 낮아진다면 엔트로피가 작아진다. 반대로 여러가지 값이 나올 확률이 대부분 비슷한 경우에는 엔트로피가 높아진다.

 

- 확률 또는 확률밀도가 특정값에 몰려있으면 엔트로피가 작다고 하고 반대로 여러가지 값에 골고루 퍼져 있다면 엔트로피가 크다고 한다.

 

 

 

● 지니불순도(Gini impurity) : 엔트로피처럼 확률분포가 어느쪽에 치우쳐있는가를 재는 척도지만 로그를 사용하지 않으므로 계산량이 더 적어 엔트로피 대용으로 많이 사용된다.

 

 

dss_math10_1_entropy 엔트로피.ipynb

0.04MB

 

 

- 출처 : [데이터 사이언스 스쿨] math 10.1 엔트로피