[일반통계학] Ch 7. 이산자료의 분석 #1 (1/1)

통계학 과목 기말고사 범위에 대해 공부한 내용을 블로그로 옮기기로 한다.

 

모비율의 추정, 가설 검정

 

사실 "이산자료의 분석"이라고 하면 뭘 어떻게 분석한다는 건지 감이 1도 오지 않는다. 결국 이 단원에서 하는 모든 짓들은 모비율을 몰라서 생기는 일이라고 보면 된다. 

어떤 확률사건(실업, 후보 선호)이 있을 때, 모비율은 곧 실업률, 후보 지지율과 같이 모집단 내에서 특정 속성 "P"를 가진 개체의 비율을 의미한다. 문자로는 \(p\)라고 쓰고, 당연히 모비율의 추정량은 \(\hat{p}\)라고 쓴다.

 

그럼 \(n\)개의 개체가 있을 때 속성 "P"를 가진 개체의 개수 \(X\)는 자연히 \(B(n,p)\)를 따른다.

따라서 \(\displaystyle \hat{p} = \frac{X}{n}\)은 기댓값 \(p\), 분산 \(\displaystyle \frac{p(1-p)}{n}\)를 만족시키기 때문에 \(p\)에 대한 불편추정량이 된다.

 

\(X \sim B(n,p) \approx N(np, np(1-p))\)이므로, (\(np \ge 5, n(1-p) \ge 5\)) \(\displaystyle \frac{X-np}{\sqrt{np(1-p)}} \approx N(0,1)\)이다. 

분자 분모를 \(n\)으로 나누면 \(\displaystyle \frac{\hat{p}-p}{\sqrt{\frac{p(1-p)}{n}}} \approx N(0,1)\)을 얻고, 이로부터 모비율에 대한 신뢰구간을 얻고 가설검정을 할 수 있...나?

사실 그렇게 녹록지가 않다. \(p\)에 대한 \(100(1-\alpha)\%\)의 신뢰구간을 쓰면

$$ \left[ \hat{p} - z_{\alpha/2}\sqrt{ \frac{p(1-p)}{n} }, \hat{p} + z_{\alpha/2}\sqrt{ \frac{p(1-p)}{n} } \right] $$

와 같이 나타나는데, \(\displaystyle \sqrt{ \frac{p(1-p)}{n} } \)가 \(p\)에 의존하기 때문에 저 식은 계산할 수 있는 식이 아니다. 그래서 다음과 같은 방법을 쓴다:

 

1. \(p \leftarrow \hat{p}, p_{\text{empirical}}\) :

추정치 \(\hat{p}\)나 경험적으로 알아낸 \(p_{\text{empirical}}\)값이 \(p\)에 충분히 가깝다고 가정하고 다음과 같이 근사 신뢰구간을 채택한다. 다만 이 경우 신뢰구간이 얼마나 실제 신뢰구간에 가까운지 알 방법이 없다.

 

$$ \left[ \hat{p} - z_{\alpha/2}\sqrt{ \frac{\hat{p}(1-\hat{p})}{n} }, \hat{p} + z_{\alpha/2}\sqrt{ \frac{\hat{p}(1-\hat{p})}{n} } \right] $$

 

2. Worst - case analysis

\(p\)값이 얼마인지는 모르겠지만, 신뢰구간의 반지름 \(\displaystyle z_{\alpha/2}\sqrt{ \frac{p(1-p)}{n} } \)는 \(p = \frac{1}{2}\)일 때 최대\( \displaystyle \left( \frac{z_{\alpha/2}}{2\sqrt{n}} \right) \)가 된다. 이를 오차한계라고 하고, 일반적으로 이 값을 \(d\) 이하로 유지하기 위해 모아야 하는 최소의 표본 수 \(n^{*}\)를 계산한다.

 

$$ \frac{ z_{\alpha/2} }{ 2\sqrt{n} } \le d \implies n \ge \left( \frac{z_{\alpha/2}}{2d} \right)^{2}$$

 

3. 가설 검정 : 고정된 모비율

1, 2와는 조금 맥락을 달리해서, 이제는 모비율 \(p\)의 값을 검정한다. 귀무가설 \(H_{0}\)가 \(p = p_{0}\)라고 하자. 대립가설은 \(p > p_{0}\), \(p < p_{0}\), \(p \neq p_{0}\)중 무엇이든 될 수 있다.

 

\(p\)에 대한 점추정량은 \(\hat{p}\)가 되고, 검정통계량은 다음과 같이 쓸 수 있다. 이때는 \(p_{0}\)값을 가설에서 설정하기 때문에, 이항분포의 정규근사 이외에 다른 근사가 필요하지 않다.

$$ \frac{\hat{p} - p_{0}}{ \sqrt{ \frac{ p_{0}(1-p_{0}) }{ n } } } \approx N(0,1)$$

 

두 모비율의 비교

모비율의 비교는 모평균 비교랑 거의 비슷하다.

\(X_{1} \sim B(n_{1}, p_{1})\), \(X_{2} \sim B(n_{2}, p_{2})\)가 서로 독립이라고 하자.

그렇다면 두 모비율의 차 \(\delta p := p_{1} - p_{2}\)의 불편추정량은 \(\delta \hat{p} := \hat{p}_{1} - \hat{p}_{2}\)가 되고,

\(p_{1}\)과 \(p_{2}\)는 독립이므로 \(\displaystyle V(\hat{p}_{1} - \hat{p}_{2}) = V(\hat{p}_{1}) + V(\hat{p}_{2}) = \frac{{p}_{1}(1-{p}_{1})}{n_{1}} + \frac{{p}_{2}(1-{p}_{2})}{n_{2}}\)가 된다.

\(\hat{p}_{1}, \hat{p}_{2}\) 모두 이항분포의 정규근사 조건 아래 정규분포를 따르기 때문에, \(\displaystyle \delta\hat{p} \sim N(\delta p, \frac{{p}_{1}(1-{p}_{1})}{n_{1}} + \frac{{p}_{2}(1-{p}_{2})}{n_{2}})\)를 만족한다.

 

따라서 \(\displaystyle \frac{ \delta\hat{p} - \delta p }{ \sqrt{\frac{{p}_{1}(1-{p}_{1})}{n_{1}} + \frac{{p}_{2}(1-{p}_{2})}{n_{2}}} } \approx N(0,1)\)가 성립하고, 이로부터 두 모비율의 차에 대한 신뢰구간을 (근사적으로) 얻을 수 있다. 앞서 이야기했던 방법 1 (근사신뢰구간), 2 (오차한계)를 모두 적용할 수 있지만 주로 1을 사용하는 듯하다. 생각해보면 모비율의 값도 아니고 차이를 정밀하게 알아내기 위해서 표본을 많이 만들 이유가 별로 없다..

 

가설 검정을 통한 두 모비율의 비교

이 방법으로는 귀무가설이 \(H_{0} : p_{1} = p_{2} = p\)이고, 대립가설이 \(p_{1} > p_{2}\), \(p_{1} \neq p_{2}\), \(p_{1} < p_{2}\)인 가설을 검정할 수 있다.

\(p_{1} = p_{2}\)일 때, 

\(\displaystyle \frac{ \delta\hat{p} - \delta p }{ \sqrt{\frac{{p}_{1}(1-{p}_{1})}{n_{1}} + \frac{{p}_{2}(1-{p}_{2})}{n_{2}}} } \approx N(0,1)\)의 검정통계량은 아래와 같이 바꿔 쓸 수 있다.

$$ \frac{ \delta\hat{p} }{\sqrt{\frac{\hat{p}(1-\hat{p})}{n_{1}} + \frac{\hat{p}(1-\hat{p})}{n_{2}}}} \approx N(0,1) $$

\(\hat{p}\)는 합동모비율추정량이라고 부르는데, 귀무가설 하에서 \(X_{1} + X_{2} \sim B(n_{1} + n_{2}, p)\)가 성립하므로 \(\displaystyle \hat{p} := \frac{X_{1} + X_{2}}{n_{1} + n_{2}}\)가 \(p\)의 추정량이 된다. \(\hat{p}_{1}\)이나 \(\hat{p}_{2}\)를 써도 되지 않냐고? \(\hat{p}\)가 더 분산이 작기 때문에 효율적인 추정량이다. 검정통계량을 잘 만들었으니 가설 검정은 어렵지 않다. 단, 여기서도 정규근사 조건 때문에 \(n_{i}\hat{p} \ge 5, n_{i}(1-\hat{p}) \ge 5\)가 성립해야 한다. 각각의 \(n_{i}p_{i}, n_{i}(1-p_{i})\)는 귀무가설 때문에 전부 \(p\)로 unify되었다. 따로 체크하지 않아도 된다.

 

범주형 자료의 동질성 검정

비교해야 할 모집단이 2개보다 많을 때 사용된다.

한 가지 예시로, \(r\)개 국가 사람들의 혈액형 분포가 동일한지 알고 싶다고 하자. 편의상 이 세상에는 \(c\)개의 혈액형이 존재한다고 가정한다.

귀무가설 \(H_{0}\)는 "모든 \(i,j\)에 대해서 \(p_{ij} = p_{j}\)가 성립한다"이다.

\(p_{ij}\)는 \(i\)번째 국가에서 혈액형 \(j\)를 가진 사람의 모비율이고, \(p_{j}\)는 모든 사람들 중 혈액형 \(j\)를 가진 사람의 모비율이다. 대립가설 \(H_{1}\)은 \(\neg H_{0}\)이며, 어떤 비율이 어떤 방향으로 엇나갔는지는 알 수 없다.

• 국가 \(i\)에서는 \(n_{i}\)명의 사람들을 표본으로 선정한다. 전체 표본의 수는 \(\displaystyle N := \sum_{i=1}^{r} n_{i}\)이다.
• \(i\)번째 국가에서 혈액형 \(j\)를 가진 사람의 수를 관측도수 \(O_{ij}\)라고 한다. \((j=1,2,\ldots,c)\)
• \(\displaystyle O_{.j} := \sum_{i=1}^{r} O_{ij}\)는 전체 표본에서 혈액형 \(j\)를 가진 사람의 수다. \(\displaystyle \hat{p}_{ij} = \frac{O_{ij}}{n_{i}}, \hat{p}_{j} = \frac{O_{.j}}{N}\)임을 쉽게 알 수 있다.
• (이상적인) 기대도수 \(E_{ij}\)는 귀무가설이 맞다면 실제로 \(i\)번째 국가에서 혈액형 \(j\)를 갖는 사람의 수를 의미한다. 즉 \(E_{ij} = n_{i}p_{j}\)가 되지만, 실제로 \(p_{j}\)를 모르기 때문에 \(\displaystyle \hat{E}_{ij} := n_{i}\hat{p}_{j} = n_{i}\frac{O_{.j}}{N}\)를 사용한다.
• Pearson's chi-square test 로부터 다음의 검정통계량 \(\chi_{0}^{2} \approx \chi^{2}((r-1)(c-1))\)를 얻는다. 검정통계량 값이 \(\chi^{2}_{\alpha}((r-1)(c-1))\)보다 크다면 귀무가설을 기각하고, 작다면 귀무가설을 채택한다. 이항분포의 정규근사 조건에서 \(\hat{E}_{ij} \ge 5\)가 필요하다.

$$ \chi_{0}^{2} = \sum_{i=1}^{r} \sum_{j=1}^{c} \frac{(O_{ij} - \hat{E}_{ij})^{2}}{\hat{E}_{ij}} $$

 

검정통계량의 독립성 검정

앞선 동질성 검정과 계산상으로는 완전히 동일한 과정이다. 차이는 자료 수집 과정에 있는데, 동질성 검정은 우리가 아는 \(r\)개의 모집단에서 자료를 추출하여 \(c\)개의 범주로 분류한다. 하지만 독립성 검정에서는 하나의 모집단에서 자료를 추출하여 \(r\)개의 범주1, \(c\)개의 범주2로 분류한다. 그 뒤로는 용어가 조금 바뀌는 것 말고 하등 차이가 없다.

 

어떤 공항에서 \(N\)명의 사람을 대상으로 국적과 혈액형을 조사했다고 하자.

귀무가설 \(H_{0}\)는 "모든 \(i,j\)에 대해서 \(p_{ij} = p_{i.}p_{.j}\)가 성립한다"이다.

\(p_{ij}\)는 국적이 \(i\)이고 혈액형 \(j\)인 사람의 모비율이고, \(p_{i.}\)는 모든 사람들 중 국적 \(i\)를 가진 사람의 모비율, \(p_{.j}\)는 모든 사람들 중 혈액형 \(j\)를 가진 사람의 모비율이다. 대립가설 \(H_{1}\)은 \(\neg H_{0}\)이며, 동질성 검정과 마찬가지로 어떤 비율이 어떤 방향으로 엇나갔는지는 알 수 없다.

• \(i\)번째 국가에서 혈액형 \(j\)를 가진 사람의 수를 관측도수 \(O_{ij}\)라고 한다. \((j=1,2,\ldots,c)\)
• 관측도수 \(O_{ij}\)는 전체 표본에서 국적 \(i\), 혈액형 \(j\)를 가진 사람의 수다. \(\displaystyle \hat{p}_{ij} = \frac{O_{ij}}{N}\)가 성립한다.
• \(O_{i.}\)는 전체 표본에서 국적이 \(i\)인 사람의 수이다. \(\displaystyle\hat{p}_{i.} = \frac{O_{i.}}{N}\)이다. 마찬가지로 \(O_{.j}\)도 알 수 있다.
• (이상적인) 기대도수 \(E_{ij}\)는 귀무가설이 맞다면(즉, 국적과 혈액형이 독립이라면) 실제로 \(i\)번째 국가에서 혈액형 \(j\)를 갖는 사람의 수를 의미한다. 즉 \(E_{ij} = Np_{i.}p_{.j}\)가 되지만 실제로 \(p_{i.},p_{.j}\)를 모르기 때문에 \(\displaystyle \hat{E}_{ij} := N\hat{p}_{i.}\hat{p}_{.j} = \frac{O_{i.}O_{.j}}{N}\)를 사용한다.
• Pearson's chi-square test 로부터 다음의 검정통계량 \(\chi_{0}^{2} \approx \chi^{2}((r-1)(c-1))\)를 얻는다. 검정통계량 값이 \(\chi^{2}_{\alpha}((r-1)(c-1))\)보다 크다면 귀무가설을 기각하고, 작다면 귀무가설을 채택한다. 이항분포의 정규근사 조건에서 \(\hat{E}_{ij} \ge 5\)가 필요하다.

$$ \chi_{0}^{2} = \sum_{i=1}^{r} \sum_{j=1}^{c} \frac{(O_{ij} - \hat{E}_{ij})^{2}}{\hat{E}_{ij}} $$

 

분포의 적합도 검정 (Goodness of fit test)

이 경우는 앞의 두 경우보다 훨씬 쉽다. 이미 각 범주에 대한 이론적인 비율\(p_{1},p_{2},\ldots,p_{c}\)가 알려져 있고, 새로 측정한 자료 \(\hat{p}_{1},\hat{p}_{2},\ldots,\hat{p}_{c}\)가 이 분포와 같은지 보는 것이다.

 

관측도수 \(O_{i}\)는 자료로부터 얻고, 기대도수 \(E_{i} = Np_{i}\)이다. 카이제곱 통계량은

$$ \chi_{0}^{2} = \sum_{i=1}^{c} \frac{(O_{i} - E_{i})^{2}}{E_{i}} \approx \chi^{2}((c-1)) $$

로부터 얻는다. 당연히 \(E_{i} \ge 5\)가 필요하다.

 

Comment

동질성 검정 등에서, \(r = c = 2\)인 경우 t-test(두 이항모집단의 모비율 비교)와 chi-square test는 동등하다. 정확히는 \(\chi_{0}^{2} = (t^{*})^{2}\)가 되기 때문에 두 모비율의 크기까지 비교해주는 t-test가 더 좋다.

실제로 \(r  > 2\)인 경우에도 \(\displaystyle \begin{pmatrix} r \\ 2 \end{pmatrix}\)번 t-test를 시행해서 동질성 검증을 구할 수도 있다. 하지만 이 경우 제 1종 오류가 테스트의 횟수만큼 누적되기 때문에 매우 lousy해진다. 그래서 chi-squared test를 사용한다.

Chi-squared test는 링크에 달린 rkm0959의 자료가 굉장히 좋다. 시간이 날 때 별도로 다뤄 볼 의향은 있다.