Wikipedia

Khác biệt giữa bản sửa đổi của “Lý thuyết thông tin”

Duyệt lịch sử tương tác
← Thay đổi trướcThay đổi sau →
Nội dung được xóa Nội dung được thêm vào
Trực quanMã wiki
Hoangdat bot (thảo luận | đóng góp)
19.587 sửa đổi
n clean up, General fixes using AWB
Dòng 33:
[[Tập tin:Binary entropy plot.svg|thumbnail|phải|200px|Entropy của một [[phép thử Bernoulli]] dưới dạng hàm số của xác suất thành công, thường gọi là '''[[hàm entropy nhị phân]]''', <math>H_\mbox{b}(p)</math>. Entropy mỗi lần thử tối đa là 1 bit khi hai kết quả có cùng khả năng xảy ra, như trong một lần tung đồng xu công bằng.]]
 
Nếu <math>\mathbb{X}</math> là tập hợp tất cả các thông điệp <math>\{x_1, ..., x_n\}</math> mà <math>X</math> có thể nhận giá trị, và <math>p(x)</math> là xác suất <math>X</math> nhận giá trị <math>x \in \mathbb X</math>, thì entropy của <math>X</math> được định nghĩa như sau:<ref name = Reza>{{chú thích sách | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | year = 1961, 1994 | isbn = 0-486-68210-2 | url = http://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&as_brr=0&ei=zP79Ro7UBovqoQK4g_nCCw&sig=j3lPgyYrC3-bvn1Td42TZgTzj0Q }}</ref>
:<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).</math>
Trường hợp đặc biệt của entropy thông tin cho biến ngẫu nhiên với đúng hai khả năng gọi là ''[[hàm entropy nhị phân]]'', thường được tính theo lôgarit cơ số 2:
Dòng 47:
 
Một tính chất cơ bản của entropy có điều kiện là
:<math>H(X|Y) = H(X,Y) - H(Y) .\,</math>
 
=== Thông tin tương hỗ ===
Dòng 57:
:<math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>
Thông tin tương hỗ có thể được biểu diễn dưới dạng [[khoảng cách Kullback-Leibler]] của [[phân bố hậu nghiệm]] của ''X'' nếu biết giá trị của ''Y'' và [[phân bố tiền nghiệm]] của ''X'':
:<math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].</math>
Nói cách khác, độ đo này xác định, về mặt trung bình, sự thay đổi của phân bố của ''X'' nếu biết giá trị của ''Y''. Giá trị này còn có thể tính bằng khoảng cách giữa tích của các phân bố biên với phân bố hợp:
:<math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).</math>
Dòng 64:
[[Khoảng cách Kullback-Leibler]] (hoặc '''entropy tương đối''') là một cách so sánh hai phân bố: phân bố "thật" ''p(x)'' và một phân bố bất kì ''q(x)''. Nó được định nghĩa như sau:
 
:<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \left( -p(x) \log {p(x)}\right) = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>
 
Mặc dù đôi khi nó được sử dụng như một "khoảng cách metric", khoảng cách Kullback-Leibler không phải là một metric do nó không đối xứng và không thỏa mãn [[bất đẳng thức tam giác]].
Lấy từ “https://vi.wikipedia.org/wiki/Lý_thuyết_thông_tin”