11주차 강의 문제풀이

S15. 네이만 피어슨 정리 증명¶

Theorem 1 (Neyman-Pearson 정리)

$X_i \overset{iid}{\sim} f(x;\theta)$ 인 확률표본 ( $X_1, X_2, \cdots, X_n$ )이 주어지고, 가능도함수를

L(\theta) = L(\theta;x_1, \cdots, x_n) = f(x_1;\theta)f(x_2;\theta)\cdots f(x_n;\theta)

(1)

라고 표기하고, 검정방법 $\phi$ 하에서 모수가 $\theta$ 라고 주어졌을 때의 검정력함수를

\gamma_\phi(\theta) = P_\theta [X \in C]

(2)

라고 하면, 가설

H_0 : \theta = \theta_0 \text{vs} H_1:\theta = \theta_1

(3)

에 대해, (1)~(3)을 만족하는 기각역 C는 크기 $\alpha$ 인 최량기각역이 된다.

(1) $\frac{L(\theta_0)}{L(\theta_1)} = \frac{L(\theta_0; x_1, \cdots, x_n)}{L(\theta_1; x_1, \cdots, x_n)} \leq k$ , $(x_1, \cdots, x_n) \in C$

(2) $\frac{L(\theta_0)}{L(\theta_1)} = \frac{L(\theta_0; x_1, \cdots, x_n)}{L(\theta_1; x_1, \cdots, x_n)} \geq k$ , $(x_1, \cdots, x_n) \notin C$

(3) $P_{\theta_0}\big[ (X_1, \cdots, X_n) \in C \big] = \alpha$

임의의 크기 $\alpha$ 인 기각역 A가 존재할 때, 아래와 같이 표기할 수 있고,

\gamma_{\phi_A}(\theta_0) = \int \cdots \int_A L(\theta) d\boldsymbol x = \alpha

(4)

A와 C는 모두 크기 $\alpha$ 인 기각역이다. 대립가설 $\theta_1$ 하에서 기각역 C를 가지는 검정방법과 기각역 A를 가지는 검정방법의 검정력 차이는 아래와 같이 계산할 수 있다.

\begin{aligned} \gamma_{\phi_C}(\theta_1) - \gamma_{\phi_A}(\theta_1) &= \overset{\because \gamma_{\phi_C}(\theta_0) = \gamma_{\phi_A}(\theta_0) = \alpha}{\boxed{ \big[ \gamma_{\phi_C}(\theta_1) - \frac 1 k \gamma_{\phi_C}(\theta_0) \big] - \big[ \gamma_{\phi_A}(\theta_1) - \frac 1 k \gamma_{\phi_A}(\theta_0) \big] }} \\ &= \int_C \big[ L(\theta_1) - \frac 1 k L(\theta_0) \big]d \boldsymbol x - \int_A \big[ L(\theta_1) - \frac 1 k L(\theta_0) \big]d \boldsymbol x \\ &= \int \big[ \underset{x_i \in C \rightarrow 1 \text{ o.w. } 0}{I_C(x_1, \cdots, x_n)} - I_A(x_1, \cdots, x_n) \big] \underset{x \in C \rightarrow \geq 0 \text{ o.w. } \leq 0}{\Big[ L(\theta_1) - \frac 1 k L(\theta_0) \Big]} d\boldsymbol x \\ &\geq 0 \end{aligned}

(5)

마지막 부등호 관계를 유도하는 과정은 다음과 같다.

(a) $x_i \in C \vee x_i \in A$ 이면 $I_C - I_A = 1-1=0$ 이므로 적분값은 0

(b) $x_i \notin C \vee x_i \notin A$ 이면 $I_C - I_A = 0-0=0$ 이므로 적분값은 0

(c) $x_i \in C \vee x_i \notin A$ 이면 $I_C - I_A = 1-0=1$ 이고, $L(\theta_1) - \frac 1 k L(\theta_0) \geq 0$ 이므로 적분값은 $\geq 0$

가능도함수의 부등호 관계는 네이만 피어슨 정리의 (1)번 조건으로부터 귀결된다.

(d) $x_i \notin C \vee x_i \in A$ 이면 $I_C - I_A = 0-1=-1$ 이고, $L(\theta_1) - \frac 1 k L(\theta_0) \leq 0$ 이므로 적분값은 $\geq 0$

따라서, 모든 경우에 적분값은 0보다 크거나 같아진다.

\gamma_{\phi_C}(\theta_1) - \gamma_{\phi_A}(\theta_1) \geq 0 \\ \therefore \gamma_{\phi_C}(\theta_1) \geq \gamma_{\phi_A}(\theta_1)

(6)

어떤 A보다도 C의 검정력이 크기 때문에 C는 정의에 따라 최강력 검정이 된다. $\blacksquare$

S16. 지수족 분포와 충분통계량¶

지수족 분포를 따르는 확률변수 X의 밀도함수는 다음과 같이 나타낼 수 있다.

f(x|\theta) = S(x)\exp(c(\theta)T(x) - d(\theta))

(7)

$(X_1, \cdots, X_n) \overset{r.s.}{\sim} f(x; \theta)$ 일 때, 가능도함수는 다음과 같다.

\begin{aligned} L(\theta|\boldsymbol x) &= \prod_{i=1}^n S(x_i)\exp(c(\theta)T(x_i) - d(\theta))\\ &= \Big\{ \prod_{i=1}^n S(x_i) \Big\} \exp(c(\theta)\sum_{i=1}^nT(x_i) - nd(\theta)) \end{aligned}

(8)

MP 검정의 기각역을 $C = \{x; \frac{L(\theta_1|x)}{L(\theta_0|x)}\}$ 으로 정의되는데, 가능도함수를 이용하여 기각역을 표현하면 다음과 같다.

\begin{aligned} \frac{L(\theta_1|x)}{L(\theta_0|x)} &= \frac{\Big\{ \prod_{i=1}^n S(x_i) \Big\} \exp(c(\theta_1)\sum_{i=1}^nT(x_i) - nd(\theta_1))} {\Big\{ \prod_{i=1}^n S(x_i) \Big\} \exp(c(\theta_0)\sum_{i=1}^nT(x_i) - nd(\theta_0)) } \\ &= \exp\big[ \{c(\theta_1)-c(\theta_0)\}\sum_{i=1}^nT(x_i) - n\{d(\theta_1)-d(\theta_0)\}\big] \geq k \end{aligned}

(9)

위의 기각역에서 $\boldsymbol x$ 와 무관한 부분을 우항으로 넘기면 아래와 같이 정리할 수 있다.

\sum_{i = 1}^nT(x_i) \geq \frac{k + n\{d(\theta_1)-d(\theta_0)\}}{c(\theta_1)-c(\theta_0)} = k'

(10)

우항은 데이터와 무관하게 외생적으로 결정하는 값이기 때문에 결론적으로 최강력검정의 기각역이 모수와 무관하게 정의되므로 균일최강력검정이 된다. $\blacksquare$

S18. LR 검정통계량의 극한분포¶

$\theta \in \mathbb R$ 인 경우를 먼저 증명한다. $l(\theta) = \ln L(\theta) = \sum \ln f(x_i;\theta)$ 라고 표기하면 아래와 같이 정리할 수 있다.

-2\ln \lambda = -2\ln\frac{L(\hat{\Omega_0})}{L(\hat{\Omega})} = 2\{l(\hat\theta) - l(\theta_0)\}

(13)

귀무가설 하에서 $\theta = \theta_0$ 이므로 모수를 추정한 값( $\hat \theta$ )은 $\theta_0$ 에 근사하게 된다. 따라서, $l(\theta_0)$ 값에 대한 테일러 전개를 $\hat \theta$ 를 기준으로 전개하면,

l(\theta_0) \approx l(\hat \theta) + \underset{\hat \theta\text{는 MLE이므로 1계 도함수값은 0}}{\boxed{l'(\hat \theta)}}(\theta_0 - \hat \theta) + \frac 1 2 \underset{\approx l''(\theta_0)}{\boxed{l''(\hat \theta)}}(\theta_0 - \hat \theta)^2

(14)

$l''(\hat \theta)$ 를 풀면 다음과 같다.

\begin{aligned} l''(\hat \theta) &\approx l''(\theta_0) = \sum \frac{\partial^2}{\partial \theta_0^2} \ln f(x_i;\theta_0)\\ &\approx -n \underset{\text{피셔정보량}I_1(\theta_0)}{\boxed{\mathbb E\Big[ \frac{\partial^2}{\partial \theta_0^2} \ln f(X_1;\theta_0) \Big]}} = -n I_1(\theta_0) \end{aligned}

(15)

따라서,

l(\theta_0) \approx l (\hat \theta) - \frac n 2 I_1(\theta_0)(\theta_0 - \hat \theta)^2

(16)

이고, 이를 $-2 \ln \lambda$ 에 대입하면,

\begin{aligned} -2 \ln \lambda &\approx 2\{l(\hat\theta) - l(\theta_0)\} \\ &= nI_1(\theta_0)(\theta_0 - \hat \theta)^2 \end{aligned}

(17)

로 정리할 수 있다. 한편, MLE의 점근분포에 따라,

\sqrt n (\hat \theta - \theta_0) \overset{d}{\rightarrow} N(0, \ \frac 1 {I_1(\theta_0)})

(18)

이므로,

-2 \ln \lambda \approx nI_1(\theta_0)(\theta_0 - \hat \theta)^2 = \{ \sqrt{nI_1(\theta_0)}(\theta_0 - \hat \theta) \}^2 \overset{d} {\rightarrow} \{ N(0, 1)\}^2 \overset{d}{=} \chi^2(1)

(19)

이다. 위 증명에서 $\theta \in \mathbb R$ 을 $\theta \in \mathbb R^d$ 로 확장하여 벡터에 대해 전개하면 차원이 d인 경우의 일반화된 점근분포에 대한 증명이 완성된다. $\blacksquare$