본문 바로가기

IT 와 Social 이야기/Python348

[데이터 사이언스 스쿨] math 10.2 조건부 엔트로피 ● 결합엔트로피(joint entropy) : 결합확률분포를 사용하여 정의한 엔트로피 ● 조건부엔트로피(conditional entropy) : 어떤 확률변수 XX가 다른 확률변수 YY의 값을 예측하는데 도움이 되는지를 측정하는 방법 중의 하나 - 예측에 도움이 되는 경우 - 예측에 도움이 되지 않는 경우 - 출처 : [데이터 사이언스 스쿨] math 10.2 조건부 엔트로피 2021. 5. 5.
[데이터 사이언스 스쿨] math 10.1 엔트로피 ● 엔트로피(Entropy) : 확률분포가 가지는 정보의 확신도 혹은 정보량을 수치로 표현한 것 - 확률분포에서 특정한 값이 나올 확률이 높아지고 나머지 값의 확률은 낮아진다면 엔트로피가 작아진다. 반대로 여러가지 값이 나올 확률이 대부분 비슷한 경우에는 엔트로피가 높아진다. - 확률 또는 확률밀도가 특정값에 몰려있으면 엔트로피가 작다고 하고 반대로 여러가지 값에 골고루 퍼져 있다면 엔트로피가 크다고 한다. ● 지니불순도(Gini impurity) : 엔트로피처럼 확률분포가 어느쪽에 치우쳐있는가를 재는 척도지만 로그를 사용하지 않으므로 계산량이 더 적어 엔트로피 대용으로 많이 사용된다. - 출처 : [데이터 사이언스 스쿨] math 10.1 엔트로피 2021. 5. 5.
[데이터 사이언스 스쿨] math 9.5 사이파이를 사용한 검정 ● SciPy를 사용한 검정 이항검정(Binomial Test) 카이제곱검정(Chi-squared Test) 카이제곱 독립검정(Chi-squared Contingency Test) 단일표본 z검정(One-sample z-Test) 단일표본 t검정(One-sample t-Test) 독립표본 t검정(Independent two-sample t-Test) 대응표본 t검정(Paired two-sample t-Test) 등분산검정(Equal-variance Test) 정규성검정(Normality Test) - 출처 : [데이터 사이언스 스쿨] math 9.5 사이파이를 사용한 검정 2021. 5. 5.
[데이터 사이언스 스쿨] math 9.4 검정과 유의확률 ● 검정(testing) : 데이터 뒤에 숨어있는 확률변수의 분포에 대한 가설이 맞는지 틀리는지 정량적으로 증명하는 작업 ● 가설(hypothesis) : 확률분포에 대한 어떤 주장 ● 귀무가설(null hypothesis) : 확률분포의 모수에 대한 가설 귀무가설은 확률분포를 특정한 상태로 고정시켜야 하므로 반드시 등식(equality)으로 표현되어야 한다. ● 가설과 검정 : 데이터를 특정한 확률분포를 가진 확률변수로 모형화하면 모수를 추정할 수 있다. 다음 작업으로는 데이터 뒤에 숨어있는 확률변수가 정말로 그 모숫값을 가졌는지 검증해보아야 한다. 다른 말로 하면 해당 확률변수가 그 모숫값을 가졌다는 주장을 논리적으로 증명해야 한다. ● 대립가설(altenative hypothesis, 연구가설 re.. 2021. 5. 5.

티스토리툴바