네이만-피어슨 정리

Theorem 1 (Neyman-Pearson 정리)

$X_i \overset{iid}{\sim} f(x;\theta)$ 인 확률표본 ( $X_1, X_2, \cdots, X_n$ )이 주어지고, 가능도함수를

L(\theta) = L(\theta;x_1, \cdots, x_n) = f(x_1;\theta)f(x_2;\theta)\cdots f(x_n;\theta)

라고 표기하고, 검정방법 $\phi$ 하에서 모수가 $\theta$ 라고 주어졌을 때의 검정력함수를

\gamma_\phi(\theta) = P_\theta [X \in C]

라고 하면, 가설

H_0 : \theta = \theta_0 \text{vs} H_1:\theta = \theta_1

에 대해, (1)~(3)을 만족하는 기각역 C는 크기 $\alpha$ 인 최량기각역이 된다.

(1) $\frac{L(\theta_0)}{L(\theta_1)} = \frac{L(\theta_0; x_1, \cdots, x_n)}{L(\theta_1; x_1, \cdots, x_n)} \leq k$ , $(x_1, \cdots, x_n) \in C$

(2) $\frac{L(\theta_0)}{L(\theta_1)} = \frac{L(\theta_0; x_1, \cdots, x_n)}{L(\theta_1; x_1, \cdots, x_n)} \geq k$ , $(x_1, \cdots, x_n) \notin C$

(3) $P_{\theta_0}\big[ (X_1, \cdots, X_n) \in C \big] = \alpha$

증명¶

임의의 크기 $\alpha$ 인 기각역 A가 존재할 때, 아래와 같이 표기할 수 있고,

\gamma_{\phi_A}(\theta_0) = \int \cdots \int_A L(\theta) d\boldsymbol x = \alpha

A와 C는 모두 크기 $\alpha$ 인 기각역이다. 대립가설 $\theta_1$ 하에서 기각역 C를 가지는 검정방법과 기각역 A를 가지는 검정방법의 검정력 차이는 아래와 같이 계산할 수 있다.

\begin{aligned} \gamma_{\phi_C}(\theta_1) - \gamma_{\phi_A}(\theta_1) &= \overset{\because \gamma_{\phi_C}(\theta_0) = \gamma_{\phi_A}(\theta_0) = \alpha}{\boxed{ \big[ \gamma_{\phi_C}(\theta_1) - \frac 1 k \gamma_{\phi_C}(\theta_0) \big] - \big[ \gamma_{\phi_A}(\theta_1) - \frac 1 k \gamma_{\phi_A}(\theta_0) \big] }} \\ &= \int_C \big[ L(\theta_1) - \frac 1 k L(\theta_0) \big]d \boldsymbol x - \int_A \big[ L(\theta_1) - \frac 1 k L(\theta_0) \big]d \boldsymbol x \\ &= \int \big[ \underset{x_i \in C \rightarrow 1 \text{ o.w. } 0}{I_C(x_1, \cdots, x_n)} - I_A(x_1, \cdots, x_n) \big] \underset{x \in C \rightarrow \geq 0 \text{ o.w. } \leq 0}{\Big[ L(\theta_1) - \frac 1 k L(\theta_0) \Big]} d\boldsymbol x \\ &\geq 0 \end{aligned}

마지막 부등호 관계를 유도하는 과정은 다음과 같다.

(a) $x_i \in C \vee x_i \in A$ 이면 $I_C - I_A = 1-1=0$ 이므로 적분값은 0

(b) $x_i \notin C \vee x_i \notin A$ 이면 $I_C - I_A = 0-0=0$ 이므로 적분값은 0

(c) $x_i \in C \vee x_i \notin A$ 이면 $I_C - I_A = 1-0=1$ 이고, $L(\theta_1) - \frac 1 k L(\theta_0) \geq 0$ 이므로 적분값은 $\geq 0$

가능도함수의 부등호 관계는 네이만 피어슨 정리의 (1)번 조건으로부터 귀결된다.

(d) $x_i \notin C \vee x_i \in A$ 이면 $I_C - I_A = 0-1=-1$ 이고, $L(\theta_1) - \frac 1 k L(\theta_0) \leq 0$ 이므로 적분값은 $\geq 0$

따라서, 모든 경우에 적분값은 0보다 크거나 같아진다.

\gamma_{\phi_C}(\theta_1) - \gamma_{\phi_A}(\theta_1) \geq 0 \\ \therefore \gamma_{\phi_C}(\theta_1) \geq \gamma_{\phi_A}(\theta_1)

어떤 A보다도 C의 검정력이 크기 때문에 C는 정의에 따라 최강력 검정이 된다. $\blacksquare$