[데이터 사이언스 스쿨] math 10.4 상호정보량

● 상호정보량(mutual information) : 결합확률밀도함수 p(x,y)와 주변확률밀도함수의 곱 p(x)p(y)의 쿨벡-라이블러 발산이다. 즉 결합확률밀도함수와 주변확률밀도함수의 차이를 측정하므로써 두 확률변수의 상관관계를 측정하는 방법이다. 만약 두 확률변수가 독립이면 결합확률밀도함수는 주변확률밀도함수의 곱과 같으므로 상호정보량은 0이 된다. 반대로 상관관계가 있다면 그만큼 양의 상호정보량을 가진다.

 

 

 

● 최대정보상관계수(maximal information coefficient, MIC) : 구간을 나누는 방법을 다양하게 시도한 다음에 그 결과로 구한 다양한 상호정보량 중에서 가장 큰 값을 선택하여 정규화한 것

 

 

 

dss_math10_4_mutual information 상호정보량.ipynb

0.02MB

 

- 출처 : [데이터 사이언스 스쿨] math 10.4 상호정보량