F-test를 활용하여, 다중회귀분석에 대한 Joint Hypothesis Test를 수행할 수 있습니다. 이는 모든 독립변수의 계수가 0인지, 또는 하나의 계수라도 0이 아닌지를 판별하는 것으로, 아래와 같이 F-Test를 위한 귀무가설과 대립가설을 표현할 수 있습니다. 귀무가설은, $k$개의 독립변수가 있다고 가정했을 때, 추정되는 $k$개의 계수가 모두 0임을 뜻하며, 대립가설은 하나의 계수라도 0이 아님을 뜻합니다. 이를 테스트를 수행하기 위한 F-statistic을 구하는 식은 아래와 같습니다. 해당 F-통계량은 (k, n-(k+1))의 자유도를 가지는 F 분포를 활용하여 p-value를 계산하게 됩니다. 여기서 RSS는 잔차제곱합, ESS는 회귀제곱합입니다. Python을 통해 실습을 해보겠습..

회귀분석의 계수의 유의성을 판단하기 위해 t-statistic을 활용합니다. t-statistic을 활용하여 회귀분석의 계수가 0이 아니라는 것을 검증하여 계수의 유의성을 판단하는 방법입니다.(t 분포를 활용한 검정: direction-f.tistory.com/32) 만약 추정된 독립변수의 회귀계수를 $\widehat{\beta_1}$이라고 가정해보겠습니다. 그렇다면 $\widehat{\beta_1}$의 분산은 $\frac{\sigma^2}{S_{xx}}$입니다. 이 때 $S_{xx}$은 $\sum(x_i-\overline{x})^2$입니다. 최종적으로 관측수가 $n$이라고 했을 때 회귀 계수의 유의성을 검증하기 위한 t-statistic은 아래와 같습니다.(아래 수식은 단순회귀분석의 경우이고, 다중회귀..

아마도 데이터를 분석할 때 검증 방법론을 조금이라도 활용해보신 분은 P-value란 개념을 많이 들어보셨을 것입니다. 우리가 어떤 통계적인 검증을 수행할 때, 우리가 수립했던 가설을 채택할지 하지 않을지 결정할 때 P-value를 많이 활용합니다. [P-value] 먼저 P-value에 대해서 정의를 하고 설명을 하는 것이 좋을 것 같습니다. P-value(유의확률)이란 주어진 검정통계량 관측치로부터 귀무가설(H0)을 기각하게 하는 최소의 유의수준을 말합니다. 정의만 보면 상당히 난해한 것 같습니다. 우리는 앞선 포스팅에서 기각역을 정의하고 기각역안에 검정통계량이 포함되어야 귀무가설(H0)를 기각함을 알았습니다.(https://direction-f.tistory.com/30) 예를 들어 [H0: μ=x ..

우리는 앞선 포스팅(https://direction-f.tistory.com/28)에서 두 가지의 가설을 정의하였습니다. 하나는 우리가 주장하고자 하는 가설(대립가설, H1)이고, 다른 하나는 그 주장을 입증할 수 없을 때 주장을 무효화하면서 받아들여야 하는 가설(귀무가설, H0)입니다. 그렇다면 우리는 어떤 가설을 받아들여야 하는지 어떻게 결정할 수 있을까요? 이 때 활용하는 것이 검정통계량(Test statistic)입니다. [검정통계량] 다시 앞의 포스팅의 예를 들어보도록 하겠습니다. 우리는 아래와 같이 가설을 수립했습니다. 대립가설(H1) : 다이어트 프로그램은 초등학생들의 평균 몸무게를 줄였을 것이다(μ

가설검정에는 두 개의 가설이 있습니다. 하나는 우리가 주장하고자 하는 가설이고, 다른 하나는 그 주장을 입증할 수 없을 때 주장을 무효화하면서 받아들여야 하는 가설입니다. [가설의 종류] 이 때 우리가 주장하는 가설을 대립가설(Alternative Hypothesis, H1)라고 하며, 주장을 입증할 수 없을 때 받아들여야 하는 가설을 귀무가설(Null Hypothesis, H0)라고 합니다. 앞선 포스팅(https://direction-f.tistory.com/26)에서 언급한 초등학생 대상 다이어트 프로그램이 효과에 대해 대립가설과 귀무가설을 세우면 아래와 같이 됩니다. 대립가설(H1) : 다이어트 프로그램은 초등학생들의 평균 몸무게를 줄였을 것이다(μ

가설검정(Testing statistical hypotheses)은 모수에 대한 가설이 적합한지를 추출한 표본으로부터 판단하는 것을 나타내는 것입니다. 전국의 초등학교에서 6학년의 비만인 남자 학생(모집단)의 체중 평균이 70이고 표준편차가 7라고 가정해보겠습니다. 동시에 교육부에서 특정 다이어트 프로그램을 대대적으로 홍보했다고 가정해보겠습니다. 그럼 이러한 다이어트 프로그램 수행을 통해서 실제로 평균이 낮아졌는지를 판단하기 위해서 어떠한 과정을 거쳐야 할까요? 이러한 질문에 답을 하기 위해서 필요한 것이 가설검정입니다. 다이어트 프로그램 수행 후의 비만인 남자 학생들의 평균 몸무게를 μ라고 해보겠습니다. 우리는 전국의 비만인 남자 학생들을 다 조사할 수 없기 때문에 표본을 추출하여 표본의 평균을 구하는..