Độc lập thống kê

Độc lập thống kê của các biến xác suất hay biến cố chỉ việc giữa các biến không có quan hệ thống kê gì với nhau. Trong lý thuyết xác suất, nói rằng hai biến cố là độc lập một cách trực quan có nghĩa là việc một biến cố trong đó xảy ra không làm tăng hay giảm khả năng biến cố kia xảy ra. Ví dụ:

• Biến cố của việc gieo súc sắc được "nhất" và biến cố của việc gieo súc sắc lần tiếp theo được "nhất" là hai biến cố độc lập.
• Xét trường hợp hai lá bài được lần lượt rút từ một bộ bài sao cho sau khi rút và kiểm tra lá bài đầu tiên, người ta cho nó vào lại vào bộ bài trên. Biến cố của việc rút được một lá bài đỏ ở lần thử thứ nhất và biến cố của việc rút được một lá bài đỏ ở lần thử thứ hai là độc lập. Ngược lại, nếu lá bài đầu không được cho lại vào trong bộ bài sau lần thử thứ nhất thì hai biến cố đề cập trên là không độc lập.

Tương tự, khi ta nói rằng hai biến ngẫu nhiên là độc lập, ta có ý nói rằng việc biết gì đó về giá trị của một trong hai biến ngẫu nhiên đó không cho ta thông tin nào về giá trị của biến kia. Ví dụ, con số hiện trên mặt trên con súc sắc khi gieo nó lần đầu và lần sau là độc lập

Các biến cố độc lập

Định nghĩa chuẩn:

Hai biến cố A và B là độc lập khi và chỉ khi P(A ∩ B) = P(A)P(B).

trong đó, A ∩ B là giao của A và B, nghĩa là, nó là biến cố rằng cả hai biến cố A và B đều xảy ra.

Tổng quát hơn, một tập hợp biến cố bất kỳ—có thể gồm nhiều hơn hai biến cố—là độc lập lẫn nhau khi và chỉ khi với mọi tập con hữu hạn A₁,..., A_n của tập hợp trên, ta có

$P(A_{1}\cap \cdots \cap A_{n})=P(A_{1})\,\cdots \,P(A_{n}).$

Đó là quy tắc nhân của các biến cố độc lập.

Nếu hai biến cố A và B là độc lập, thì xác suất điều kiện của A nếu có B bằng xác suất "không điều kiện" (hay xác suất "cận biên") của A, nghĩa là,

$P(A\mid B)=P(A).$

Có ít nhất hai lý do tại sao phát biểu trên không được dùng làm định nghĩa về tính độc lập: (1) hai biến cố A và B không có vai trò đối xứng trong phát biểu đó, và (2) vấn đề nảy sinh với phát biểu này khi có liên quan đến các biến cố với xác suất bằng 0.

Khi nhớ lại rằng xác suất điều kiện P(A | B) được cho bởi

$P(A\mid B)={P(A\cap B) \over P(B)},$

ta thấy rằng phát biểu trên tương đương với

$P(A\cap B)=P(A)P(B)$

đó chính là định nghĩa chuẩn được cho ở trên.

Các biến ngẫu nhiên độc lập

Phần trên định nghĩa tính độc lập của biến cố. Trong phần này, ta xét tính độc lập của các biến ngẫu nhiên. Nếu X là một biến ngẫu nhiên có giá trị thực và a là một số, thì X ≤ a là một biến cố, do đó, có thể nói về việc nó có độc lập với một biến cố khác hay không.

Hai biến ngẫu nhiên X và Y là độc lập khi và chỉ khi với các số a và b bất kỳ, biến cố [X ≤ a] (biến cố rằng X nhỏ hơn hay bằng a) và [Y ≤ b] là các biến cố độc lập, theo định nghĩa trên. Tương tự, một tập hợp các biến ngẫu nhiên tùy ý -- có thể gồm nhiều hơn hai—là độc lập nếu với tập hợp hữu hạn bất kỳ X₁,..., X_n và một tập hữu hạn bất kỳ gồm các số a₁,..., a_n, các biến cố [X₁ ≤ a₁],..., [X_n ≤ a_n] là các biến cố độc lập, như đã được định nghĩa ở trên.

Những người thiên về đo đạc lý thuyết có thể muốn thay thế biến cố [X ∈ A] vào vị trí biến cố [X ≤ a] trong định nghĩa trên, trong đó A là tập hợp Borel bất kỳ. Định nghĩa đó hoàn toàn tương đương với định nghĩa trên khi giá trị của các biến ngẫu nhiên là số thực. Nó có lợi thế ở chỗ còn áp dụng được cho các biến ngẫu nhiên giá trị phức hoặc các biến ngẫu nhiên lấy giá trị trong không gian tô pô bất kỳ.

Nếu hai biến ngẫu nhiên bất kỳ trong một tập hợp là độc lập (nhưng tập hợp đó vẫn có thể không độc lập lẫn nhau), tập hợp được gọi là độc lập đôi một.

Nếu X và Y là độc lập, thì phép toán kỳ vọng E có tính chất thú vị

E[X Y] = E[X] E[Y],

còn đối với phương sai, ta có

var(X + Y) = var(X) + var(Y),

do đó hiệp phương sai cov(X,Y) bằng 0. (Phát biểu nghịch đảo - mệnh đề rằng nếu hai biến cc nhiên có một hiệp phương sai 0 thì chúng phải độc lập với nhau - là không đúng. Xem không tương quan (uncorrelated).)

Ngoài ra, các biến ngẫu nhiên X và Y với các hàm phân bố F_X(x) và F_Y(y), và các mật độ xác suất f_X(x) và f_Y(y), là độc lập khi và chỉ khi biến ngẫu nhiên kết hợp (X,Y) có một phân bố có điều kiện phụ thuộc (joint distribution)

$F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y),$

hoặc tương đương, một mật độ có điều kiện phụ thuộc (joint density)

$f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y).$

Các biểu thức tương tự đặc trưng cho tính độc lập một cách tổng quát hơn cho nhiều hơn hai biến ngẫu nhiên.

Các biến ngẫu nhiên độc lập có điều kiện

Về mặt trực quan, hai biến ngẫu nhiên X và Y được gọi là độc lập có điều kiện với Z cho trước, nếu một khi Z được cho trước thì giá trị của Y không cung cấp thêm được thông tin gì về X. Ví dụ, hai số đo X và Y về cùng một định lượng Z không độc lập với nhau, nhưng chúng độc lập có điều kiện nếu cho trước Z (trừ khi các sai sót trong hai số đo có quan hệ với nhau theo một cách nào đó.)

Định nghĩa chính thức của độc lập có điều kiện được dựa trên khái niệm về các phân bố có điều kiện. Nếu X, Y, và Z là các biến ngẫu nhiên rời rạc, thì ta định nghĩa X và Y là độc lập có điều kiện với Z được cho trước nếu

P(X = x, Y = y | Z = z) = P(X = x | Z = z) · P(Y = y | Z = z)

với mọi x, y và z sao cho P(Z = z) > 0. Mặt khác, nếu các biến ngẫu nhiên là liên tục và có một hàm mật độ xác suất kết hợp p, thì X và Y là độc lập có điều kiện với Z cho trước nếu

p_XY|Z(x, y | z) = p_X|Z(x | z) · p_Y|Z(y | z)

với mọi số thực x, y và z sao cho p_Z(z) > 0.

Nếu X và Y là độc lập có điều kiện với Z cho trước, thì

P(X = x | Y = y, Z = z) = P(X = x | Z = z)

với x, y và z bất kỳ với P(Z = z) > 0. Nghĩa là, phân bố có điều kiện cho X với Y và Z cho trước trùng với phân bố có điều kiện của X mà chỉ Z được cho trước. Một đẳng thức tương tự cũng đúng với các hàm mật độ xác suất có điều kiện trong trường hợp liên tục.

Tính độc lập có thể được xem là một trường hợp đặc biệt của độc lập có điều kiện, do xác suất có thể được coi là một dạng xác suất có điều kiện mà không cho trước biến cố nào.

Xem thêm

• Copula (thống kê)
• Biến ngẫu nhiên phân bố đồng nhất độc lập (Independent identically-distributed random variables)