Khác biệt giữa bản sửa đổi của “Lý thuyết thông tin”
Nội dung được xóa Nội dung được thêm vào
Không có tóm lược sửa đổi |
|||
Dòng 28:
==Đo lường thông tin==
{{main|Đo lường thông tin}}
Lý thuyết thông tin được xây dựng dựa trên [[lý thuyết xác suất]] và [[thống kê]]. Thông số quan trọng nhất của thông tin là entropy, lượng thông tin trong một [[biến ngẫu nhiên]], và [[thông tin
===Entropy===
Dòng 49:
:<math>H(X|Y) = H(X,Y) - H(Y) .\,</math>
===Thông tin
[[Thông tin
:<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
Một tính chất cơ bản của thông tin
:<math>I(X;Y) = H(X) - H(X|Y).\,</math>
Thông tin tương hỗ có tính chất [[hàm đối xứng|đối xứng]]:
:<math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>
Thông tin tương hỗ có thể được biểu diễn dưới dạng [[khoảng cách Kullback-Leibler]] của [[phân bố hậu nghiệm]] của ''X'' nếu biết giá trị của ''Y'' và [[phân bố tiền nghiệm]] của ''X'':
:<math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].</math>
Nói cách khác, độ đo này xác định, về mặt trung bình, sự thay đổi của phân bố của ''X'' nếu biết giá trị của ''Y''. Giá trị này còn có thể tính bằng khoảng cách giữa tích của các phân bố biên với phân bố hợp:
:<math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).</math>
===Khoảng cách Kullback-Leibler===
[[Khoảng cách Kullback-Leibler]] (hoặc '''entropy tương đối''') là một cách so sánh hai phân bố: phân bố "thật" ''p(x)'' và một phân bố bất kì ''q(x)''. Nó được định nghĩa như sau:
:<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \left( -p(x) \log {p(x)}\right) = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>
Mặc dù đôi khi nó được sử dụng như một "khoảng cách metric", khoảng cách Kullback-Leibler không phải là một metric do nó không đối xứng và không thỏa mãn [[bất đẳng thức tam giác]].
===Các thông số khác===
Một vài thông số khác trong lý thuyết thông tin bao gồm [[entropy Rényi]], [[entropy vi phân]], [[thông tin tương hỗ có điều kiện]].
==Ghi chú==
{{reflist}}
| |||