적률생성함수(moment generating function, mgf)는 적률 (moment)을 만들어주는 생성함수이다.
적률생성함수는 u ( X ) = e t x u(X) = e^{tx} u ( X ) = e t x
M X ( t ) = E [ e t X ] = ∫ exp ( t x ) f ( x ) d x M_X(t) = \mathbb E [ e^{tX} ] = \int \exp(tx) f(x) dx M X ( t ) = E [ e tX ] = ∫ exp ( t x ) f ( x ) d x m ∈ Z m \in \mathbb Z m ∈ Z E ( X m ) \mathbb E(X^m) E ( X m ) X X X m m m
적률은 물리학의 모먼트(moment) 개념을 통계학에 그대로 가져온 개념으로, 확률변수의 분포를 확률변수를 밑으로 하는 지수값 기저에 투영시켰을 때에 각 기저의 중심 을 보여준다. 어떤 물체의 질량이 하나의 축 위에 퍼져있을 때 무게중심, 관성 모먼트 등으로 요약하는 것처럼 분포의 중심을 다양한 기저를 바탕으로 평가해서 보여주는 것이 통계학에서 말하는 적률이라고 이해할 수 있다.
적률은 차수에 따라 적절한 조작을 거쳐 의미있는 통계량이 된다.
1차 적률은 평균이다. 다른 수리적 가공이 없는 분포함수에서 각 값이 가지는 확률값을 가중했을 때의 중심값이라고 이해할 수 있다.
2차 중심적률은 분산이다. 각각의 분포값이 중심에서 떨어져있는 거리를 거듭제곱함으로써 부호를 없애고 순수하게 중심(평균)에서 멀리 퍼져있는 정도를 보여준다.
3차 표준중심적률은 왜도이다. 1차 적률과 마찬가지로 평균을 중심으로 좌, 우 부호는 보존되지만 1차 적률보다 평균에서 떨어져있는 정도를 더 가중해서 보여주기 때문에 중심에서 좌/우 방향으로 치우친 정도를 좀 더 강조해서 보여줄 수 있다.
4차 표준중심적률은 첨도이다. 2차 중심적률과 마찬가지로 부호는 사라지지만 극단값으로 퍼져있을 때의 가중치가 더 커져 극단값으로 퍼져있는 정도를 더 강조해서 보여줄 수 있다.
유일성 ¶ 적률생성함수의 유일성(uniqueness)은 분포함수와 적률생성함수가 라플라스 변환 (Laplace transformation)
적률의 차수 ¶ mgf를 t = 0 t=0 t = 0
M ( t ) = M ( 0 ) + M ′ ( 0 ) 1 ! t + M ′ ′ ( 0 ) 2 ! t 2 + ⋯ + M ( m ) ( 0 ) m ! t m + ⋯ = 1 + E ( X ) 1 ! t + E ( X 2 ) 2 ! t 2 + ⋯ + E ( X m ) m ! t m + ⋯ \begin{aligned}
M(t) &= M(0) + \frac {M'(0)}{1!}t + \frac {M''(0)}{2!}t^2 + \cdots + \frac {M^{(m)}(0)}{m!}t^m + \cdots \\
&= 1 + \frac {\mathbb E(X)}{1!}t + \frac {\mathbb E(X^2)}{2!}t^2 + \cdots + \frac {\mathbb E(X^m)}{m!}t^m + \cdots
\end{aligned} M ( t ) = M ( 0 ) + 1 ! M ′ ( 0 ) t + 2 ! M ′′ ( 0 ) t 2 + ⋯ + m ! M ( m ) ( 0 ) t m + ⋯ = 1 + 1 ! E ( X ) t + 2 ! E ( X 2 ) t 2 + ⋯ + m ! E ( X m ) t m + ⋯ 따라서, t m m ! \frac{t^m}{m!} m ! t m E ( X m ) \mathbb E(X^m) E ( X m )
주요 차수별 적률 ¶ 1차 적률 : 평균 ¶ 2차 중심적률 : 분산 ¶ 3차 표준중심적률 : 왜도 ¶ 4차 표준중심적률 : 첨도 ¶ 누율생성함수 ¶ 적률생성함수에 자연로그를 취한 함수를 누율생성함수 (cumulant generating function, cgf)라고 한다.
r차 누율 (cumulant)은 누율생성함수의 테일러 전개식에서 t r r ! \frac {t^r}{r!} r ! t r
κ r = d r d t r ln E ( e t X ) ∣ t = 0 \kappa_r = \frac {d^r}{d t^r} \ln \mathbb E(e^{tX})|_{t=0} κ r = d t r d r ln E ( e tX ) ∣ t = 0 누율과 중심적률 ¶ 적률생성함수를 테일러전개하면 다음과 같다.
M X ( t ) = 1 + E ( X ) t + E ( X 2 ) t 2 2 ! + ⋯ M_X(t) = 1 + \mathbb E(X)t + \mathbb E(X^2) \frac{t^2}{2!} + \cdots M X ( t ) = 1 + E ( X ) t + E ( X 2 ) 2 ! t 2 + ⋯ 이때, 확률변수 X X X r r r μ r ′ = E ( X r ) \mu_r' = \mathbb E(X^r) μ r ′ = E ( X r )
M X ( t ) = 1 + ∑ r μ r ′ t r r ! M_X(t) = 1 + \sum_r \mu_r' \frac {t^r}{r!} M X ( t ) = 1 + r ∑ μ r ′ r ! t r 와 같다. 누율생성함수는 적률생성함수를 자연로그 변환한 함수이므로,
K X ( t ) = ln M X ( t ) = ln ( 1 + ∑ r μ r ′ t r r ! ) K_X(t) = \ln M_X(t) = \ln \big( 1 + \sum_r \mu_r' \frac {t^r}{r!} \big) K X ( t ) = ln M X ( t ) = ln ( 1 + r ∑ μ r ′ r ! t r ) 확률변수 X = μ + ( X − μ ) X = \mu + (X - \mu) X = μ + ( X − μ )
M X ( t ) = E ( e t X ) = E ( e t ( X − μ e t μ ) = e t μ E ( e t ( X − μ ) = e t μ M X − μ ( t ) M_X(t) = \mathbb E(e^{tX}) = \mathbb E(e^{t(X-\mu}e^{t\mu}) = e^{t\mu} \mathbb E(e^{t(X-\mu}) = e^{t\mu} M_{X-\mu}(t) M X ( t ) = E ( e tX ) = E ( e t ( X − μ e t μ ) = e t μ E ( e t ( X − μ ) = e t μ M X − μ ( t ) 이다. 양변에 자연로그를 취하면 누율생성함수와 중심적률생성함수의 관계는 다음과 같다.
K X ( t ) = ln e t μ M X − μ ( t ) = t μ + K X − μ ( t ) K_X(t) = \ln e^{t\mu} M_{X-\mu}(t) = t\mu + K_{X-\mu}(t) K X ( t ) = ln e t μ M X − μ ( t ) = t μ + K X − μ ( t ) 한편, r r r μ r = E [ ( X − μ ) r ] \mu_r = \mathbb E[(X-\mu)^r] μ r = E [( X − μ ) r ]
M X − μ ( t ) = 1 + E ( X − μ ) t + E [ ( X − μ ) 2 ] t 2 2 ! + ⋯ = 1 + 0 + μ 2 t 2 2 ! + μ 3 t 3 3 ! + ⋯ \begin{aligned}
M_{X-\mu}(t) &= 1 + \mathbb E(X-\mu)t + \mathbb E[(X-\mu)^2] \frac {t^2}{2!} + \cdots \\
&= 1 + 0 + \mu_2 \frac{t^2}{2!} + \mu_3 \frac{t^3}{3!} + \cdots
\end{aligned} M X − μ ( t ) = 1 + E ( X − μ ) t + E [( X − μ ) 2 ] 2 ! t 2 + ⋯ = 1 + 0 + μ 2 2 ! t 2 + μ 3 3 ! t 3 + ⋯ 위 식에 자연로그를 취한 K X − μ ( t ) K_{X-\mu}(t) K X − μ ( t )
K X ( t ) = t μ + ln [ 1 + μ 2 t 2 2 ! + μ 3 t 3 3 ! + ⋯ ] K_X(t) = t\mu + \ln[ 1 + \mu_2 \frac{t^2}{2!} + \mu_3 \frac{t^3}{3!} + \cdots] K X ( t ) = t μ + ln [ 1 + μ 2 2 ! t 2 + μ 3 3 ! t 3 + ⋯ ] 자연로그 전개 ln ( 1 + x ) = x + x 2 2 ! + x 3 3 ! + ⋯ \ln (1 + x) = x + \frac {x^2}{2!} + \frac {x^3}{3!} + \cdots ln ( 1 + x ) = x + 2 ! x 2 + 3 ! x 3 + ⋯
K X ( t ) = ∑ κ r t r r ! = t μ + ( ∑ μ r t r r ! ) + ( ∑ μ r t r r ! ) 2 1 2 + ⋯ = t μ + μ 2 t 2 2 ! + μ 3 t 3 3 ! + ( μ 4 − 3 μ 2 2 ) t 4 4 ! + ⋯ \begin{aligned}
K_X(t) &= \sum \kappa_r \frac{t^r}{r!} \\
\\
&= t\mu + \big( \sum \mu_r \frac{t^r}{r!} \big) + \big( \sum \mu_r \frac{t^r}{r!} \big)^2 \frac 1 2 + \cdots \\
\\
&= t\mu + \mu_2 \frac{t^2}{2!} + \mu_3 \frac{t^3}{3!} + (\mu_4 - 3\mu_2^2) \frac{t^4}{4!} + \cdots
\end{aligned} K X ( t ) = ∑ κ r r ! t r = t μ + ( ∑ μ r r ! t r ) + ( ∑ μ r r ! t r ) 2 2 1 + ⋯ = t μ + μ 2 2 ! t 2 + μ 3 3 ! t 3 + ( μ 4 − 3 μ 2 2 ) 4 ! t 4 + ⋯ 이다. κ r \kappa_r κ r
κ 1 = μ κ 2 = μ 2 κ 3 = μ 3 κ 4 = μ 4 − 3 μ 2 2 \kappa_1 = \mu \\
\\
\kappa_2 = \mu_2 \\
\\
\kappa_3 = \mu_3 \\
\\
\kappa_4 = \mu_4 - 3\mu_2^2 κ 1 = μ κ 2 = μ 2 κ 3 = μ 3 κ 4 = μ 4 − 3 μ 2 2 따라서, 1차 누율은 1차 적률(평균), 2차 누율은 2차 중심적률(분산), 3차 누율은 3차 중심적률(왜도의 비표준화값), 4차 누율은 초과첨도의 비표준화값이 된다.