Hàm sinh mô men

Trong lý thuyết xác suất và thống kê, hàm sinh mô men (moment-generating function hay MGF) của một biến ngẫu nhiên là một mô tả thay thế cho hàm phân phối xác suất của nó. Do đó, nó cung cấp một cách tiếp cận khác đến các kết quả phân tích dữ liệu so với làm việc trực tiếp với hàm mật độ xác suất hay hàm phân phối tích lũy. Một số kết quả đặc biệt đơn giản tồn tại cho hàm sinh mô men của các phân phối được định nghĩa bởi tổng có trọng số của các biến ngẫu nhiên. Tuy nhiên, không phải biến ngẫu nhiên nào cũng có hàm sinh mô men.

Hàm sinh mô men, như tên gọi, có thể được sử dụng để tính toán các mô men của một phân phối xác suất: mô men thứ n tại điểm 0 là đạo hàm cấp n của hàm sinh mô men tại 0.

Ngoài các phân bố giá trị thực một biến, hàm sinh mô men cũng có thể được định nghĩa cho các biến ngẫu nhiên giá trị vectơ hoặc ma trận, và còn có thể được mở rộng cho các trường hợp tổng quát hơn.

Hàm sinh mô men của một phân bố giá trị thực không nhất thiết phải tồn tại, không giống hàm đặc trưng. Có một số quan hệ giữa hành vi của hàm sinh mô men của một phân phối và các tính chất của phân phối đó, chẳng hạn sự tồn tại của các mô men.

Định nghĩa

Cho $X$ là một biến ngẫu nhiên với hàm phân phối (cdf) $F_{X}$. Hàm sinh mô men (mgf) của $X$ (hay của $F_{X}$), ký hiệu $M_{X}(t)$, được định nghĩa là

$M_{X}(t)=\operatorname {E} \left[e^{tX}\right]$

với điều kiện là kỳ vọng này tồn tại cho mỗi điểm $t$ trong một lân cận của 0. Tức là, tồn tại số $h>0$ sao cho với mọi $t$ trên khoảng $-h<t<h$, $\operatorname {E} \left[e^{tX}\right]$ tồn tại. Nếu kỳ vọng không tồn tại trong một lân cận của điểm 0, ta nói rằng hàm sinh mô men không tồn tại.

Nói cách khác, hàm sinh mô men của X chính là kỳ vọng của biến ngẫu nhiên $e^{tX}$. Tổng quát hơn, nếu $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }$, hay với một vectơ ngẫu nhiên $n$-chiều, và $\mathbf {t}$ là một vectơ cố định, ta sử dụng tích vô hướng $\mathbf {t} \cdot \mathbf {X} =\mathbf {t} ^{\mathrm {T} }\mathbf {X}$ thay vì $tX$:

$M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left(e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right).$

$M_{X}(0)$ luôn tồn tại và bằng 1. Tuy nhiên một vấn đề quan trọng với hàm sinh mô men đó là các mô men và hàm sinh mô men có thể không tồn tại, vì các tích phân không nhất thiết phải hội tụ tuyệt đối. Trong khi đó, hàm đặc trưng hay biến đổi Fourier của hàm mật độ luôn tồn tại (do nó là tích phân của một hàm bị chặn trên một không gian với độ đo hữu hạn), và có thể thay vào đó được sử dụng cho một số mục đích.

Hàm sinh mô men có tên như vậy bởi vì nó có thể được sử dụng để tìm các mô men của phân phối. Khai triển chuỗi của $e^{tX}$ là

$e^{t\,X}=1+t\,X+{\frac {t^{2}\,X^{2}}{2!}}+{\frac {t^{3}\,X^{3}}{3!}}+\cdots +{\frac {t^{n}\,X^{n}}{n!}}+\cdots .$

Từ đó ta có

${\begin{aligned}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac {t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}$

trong đó $m_{n}$ là mô men cấp $n$. Lấy đạo hàm $M_{X}(t)$ $i$ lần theo biến $t$ và đặt $t=0$, ta nhận được mô men cấp thứ $i$ quanh điểm gốc, $m_{i}$.

Nếu $X$ là một biến ngẫu nhiên liên tục, quan hệ sau đây giữa hàm sinh mô men của nó $M_{X}(t)$ và biến đổi Laplace hai phía của hàm mật độ xác suất của nó $f_{X}(x)$ được thỏa mãn:

$M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),$

bởi biến đổi Laplace hai phía của hàm mật độ được cho bằng

${\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,$

và hàm sinh mô men được định nghĩa mở rộng (bởi luật hàm biến ngẫu nhiên) là

$M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.$

Hàm đặc trưng $\varphi _{X}(t)$ có liên hệ sau với hàm sinh mô men: $\varphi _{X}(t)=M_{iX}(t)=M_{X}(it):$ hàm đặc trưng chính là hàm sinh mô men của iX hay hàm sinh mô men của X khi được tính trên trục ảo.

Ví dụ

Dưới đây là một số ví dụ về hàm sinh mô men và hàm đặc trưng của một số phân phối xác suất để so sánh. Có thể thấy rằng hàm đặc trưng là một phép quay Wick của hàm sinh mô men $M_{X}(t)$ khi nó tồn tại.

Phân phối	Hàm sinh mô men $M_{X}(t)$	Hàm đặc trưng $\varphi (t)$
suy biến $\delta _{a}$	$e^{ta}$	$e^{ita}$
Bernoulli $P(X=1)=p$	$1-p+pe^{t}$	$1-p+pe^{it}$
hình học $(1-p)^{k-1}\,p$	${\frac {pe^{t}}{1-(1-p)e^{t}}}$ $\forall t<-\ln(1-p)$	${\frac {pe^{it}}{1-(1-p)\,e^{it}}}$
nhị thức $B(n,p)$	$\left(1-p+pe^{t}\right)^{n}$	$\left(1-p+pe^{it}\right)^{n}$
nhị thức âm $\operatorname {NB} (r,p)$	$\left({\frac {p}{1-e^{t}+pe^{t}}}\right)^{r},t<-\log(1-p)$	$\left({\frac {p}{1-e^{it}+pe^{it}}}\right)^{r}$
Poisson $\operatorname {Pois} (\lambda )$	$e^{\lambda (e^{t}-1)}$	$e^{\lambda (e^{it}-1)}$
đều liên tục $\operatorname {U} (a,b)$	${\frac {e^{tb}-e^{ta}}{t(b-a)}}$	${\frac {e^{itb}-e^{ita}}{it(b-a)}}$
đều rời rạc $\operatorname {DU} (a,b)$	${\frac {e^{at}-e^{(b+1)t}}{(b-a+1)(1-e^{t})}}$	${\frac {e^{ait}-e^{(b+1)it}}{(b-a+1)(1-e^{it})}}$
Laplace $L(\mu ,b)$	${\frac {e^{t\mu }}{1-b^{2}t^{2}}},~|t|<1/b$	${\frac {e^{it\mu }}{1+b^{2}t^{2}}}$
chuẩn $N(\mu ,\sigma ^{2})$	$e^{t\mu +{\frac {1}{2}}\sigma ^{2}t^{2}}$	$e^{it\mu -{\frac {1}{2}}\sigma ^{2}t^{2}}$
chi-bình phương $\chi _{k}^{2}$	$(1-2t)^{-{\frac {k}{2}}}$	$(1-2it)^{-{\frac {k}{2}}}$
chi-bình phương phi trung tâm $\chi _{k}^{2}(\lambda )$	$e^{\lambda t/(1-2t)}(1-2t)^{-{\frac {k}{2}}}$	$e^{i\lambda t/(1-2it)}(1-2it)^{-{\frac {k}{2}}}$
Gamma $\Gamma (k,\theta )$	$(1-t\theta )^{-k},~\forall t<{\tfrac {1}{\theta }}$	$(1-it\theta )^{-k}$
mũ $\operatorname {Exp} (\lambda )$	$\left(1-t\lambda ^{-1}\right)^{-1},~t<\lambda$	$\left(1-it\lambda ^{-1}\right)^{-1}$
chuẩn nhiều chiều $N(\mathbf {\mu } ,\mathbf {\Sigma } )$	$e^{\mathbf {t} ^{\mathrm {T} }\left({\boldsymbol {\mu }}+{\frac {1}{2}}\mathbf {\Sigma t} \right)}$	$e^{\mathbf {t} ^{\mathrm {T} }\left(i{\boldsymbol {\mu }}-{\frac {1}{2}}{\boldsymbol {\Sigma }}\mathbf {t} \right)}$
Cauchy $\operatorname {Cauchy} (\mu ,\theta )$	không tồn tại	$e^{it\mu -\theta |t|}$
Cauchy nhiều chiều $\operatorname {MultiCauchy} (\mu ,\Sigma )$	không tồn tại	$\!\,e^{i\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\sqrt {\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} }}}$

Tính toán

Hàm sinh mô men là kỳ vọng của một hàm của biến ngẫu nhiên, nó có thể được viết dưới dạng:

• Đối với một hàm khối xác suất rời rạc, $M_{X}(t)=\sum _{i=0}^{\infty }e^{tx_{i}}\,p_{i}$
• Đối với một hàm mật độ xác suất liên tục, $M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx$
• Trong trường hợp tổng quát: $M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)$, sử dụng tích phân Riemann–Stieltjes, và trong đó $F$ là hàm phân phối tích lũy. Đây chỉ đơn giản là biến đổi Laplace-Stieltjes của $F$, nhưng với dấu của đối số ngược lại.

Chú ý rằng đối với trường hợp mà $X$ có hàm mật độ xác suất liên tục $f(x)$, thì $M_{X}(-t)$ là biến đổi Laplace hai phía của $f(x)$.

${\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}$

trong đó $m_{n}$ là mô men cấp thứ $n$.

Biến đổi tuyến tính của các biến ngẫu nhiên

Nếu biến ngẫu nhiên $X$ có hàm sinh mô men $M_{X}(t)$, thì $\alpha X+\beta$ có hàm sinh mô men $M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)$

$M_{\alpha X+\beta }(t)=E[e^{(\alpha X+\beta )t}]=e^{\beta t}E[e^{\alpha Xt}]=e^{\beta t}M_{X}(\alpha t)$

Tổ hợp tuyến tính của các biến ngẫu nhiên độc lập

Nếu $S_{n}=\sum _{i=1}^{n}a_{i}X_{i}$, trong đó các X_i là các biến ngẫu nhiên độc lập và các a_i là hằng số, thì hàm mật độ xác suất của S_n là tích chập của các hàm mật độ tương ứng của mỗi X_i, và hàm sinh mô men của S_n được cho bởi:

$M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.$

Biến ngẫu nhiên giá trị vectơ

Đối với biến ngẫu nhiên giá trị vectơ $\mathbf {X}$ với các thành phần thực, hàm sinh mô men được cho bởi:

$M_{X}(\mathbf {t} )=E\left(e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right)$

trong đó $\mathbf {t}$ là một vectơ và $\langle \cdot ,\cdot \rangle$ là tích vô hướng.

Tính chất quan trọng

Hàm sinh mô men là dương và lồi logarit, với M(0) = 1.

Một tính chất quan trọng của hàm sinh mô men đó là nó xác định duy nhất phân phối xác suất. Nói cách khác, nếu $X$ và $Y$ là hai biến ngẫu nhiên và với mọi giá trị của t, ta có

$M_{X}(t)=M_{Y}(t),\,$

thì

$F_{X}(x)=F_{Y}(x)\,$

đối với mọi giá trị của x (hay một cách tương đương là X và Y có cùng phân phối xác suất). Tuy nhiên, phát biểu này không tương đuơng với phát biểu "nếu hai phân phối có các mô men giống nhau thì chúng bằng nhau tại mọi điểm." Điều này là do trong một số trường hợp, các mô men tồn tại nhưng hàm sinh mô men thì không, bởi vì giới hạn

$\lim _{n\rightarrow \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}$

có thể không tồn tại. Phân phối log-chuẩn là một ví dụ về khi điều này xảy ra.

Tính toán các mô men

Hàm sinh mô men có tên gọi như vậy bởi vì nếu nó tồn tại trên một khoảng mở quanh t = 0, thì nó là hàm sinh lũy thừa của các mô men của phân phối xác suất:

$m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.$

Điều này tức là, với n là một số nguyên không âm, mô men gốc cấp thứ n (tại điểm 0) chính là đạo hàm cấp n của hàm sinh mô men, tính ở điểm t = 0.

Tham khảo

Nguồn

• Casella, George; Berger, Roger (2002). Statistical Inference (ấn bản thứ 2). tr. 59–68. ISBN 978-0-534-24312-8.