엔트로피3 [데이터 사이언스 스쿨] math 10.3 교차엔트로피와 쿨백-라이블러 발산 ● 교차엔트로피(cross entropy) : 분류문제의 성능을 평가하는데 유용 ● 쿨백-라이블러 발산(Kullback-Leibler divergence) : 교차엔트로피를 응용한 것으로 두 확률분포의 모양이 얼마나 유사한지를 평가 - 출처 : [데이터 사이언스 스쿨] math 10.3 교차엔트로피와 쿨백-라이블러 발산 2021. 5. 5. [데이터 사이언스 스쿨] math 10.2 조건부 엔트로피 ● 결합엔트로피(joint entropy) : 결합확률분포를 사용하여 정의한 엔트로피 ● 조건부엔트로피(conditional entropy) : 어떤 확률변수 XX가 다른 확률변수 YY의 값을 예측하는데 도움이 되는지를 측정하는 방법 중의 하나 - 예측에 도움이 되는 경우 - 예측에 도움이 되지 않는 경우 - 출처 : [데이터 사이언스 스쿨] math 10.2 조건부 엔트로피 2021. 5. 5. [데이터 사이언스 스쿨] math 10.1 엔트로피 ● 엔트로피(Entropy) : 확률분포가 가지는 정보의 확신도 혹은 정보량을 수치로 표현한 것 - 확률분포에서 특정한 값이 나올 확률이 높아지고 나머지 값의 확률은 낮아진다면 엔트로피가 작아진다. 반대로 여러가지 값이 나올 확률이 대부분 비슷한 경우에는 엔트로피가 높아진다. - 확률 또는 확률밀도가 특정값에 몰려있으면 엔트로피가 작다고 하고 반대로 여러가지 값에 골고루 퍼져 있다면 엔트로피가 크다고 한다. ● 지니불순도(Gini impurity) : 엔트로피처럼 확률분포가 어느쪽에 치우쳐있는가를 재는 척도지만 로그를 사용하지 않으므로 계산량이 더 적어 엔트로피 대용으로 많이 사용된다. - 출처 : [데이터 사이언스 스쿨] math 10.1 엔트로피 2021. 5. 5. 이전 1 다음
