Khác biệt giữa bản sửa đổi của “Lý thuyết thông tin”
Nội dung được xóa Nội dung được thêm vào
n chú thích, replaced: {{Cite web → {{chú thích web |
n Thay bản mẫu, replaced: |thumb| → |nhỏ|, |right| → |phải| (2), {{main| → {{bài chính| (3) using AWB |
||
Dòng 19:
== Bối cảnh lịch sử ==
{{
Sự kiện nổi bật đánh dấu sự khởi đầu của lý thuyết thông tin là bài báo của [[Claude E. Shannon]] "[[A Mathematical Theory of Communication]]" ở Bell System Technical Journal vào tháng 7 và tháng 10 năm 1948.
Dòng 27:
== Đo lường thông tin ==
{{
Lý thuyết thông tin được xây dựng dựa trên [[lý thuyết xác suất]] và [[thống kê]]. Thông số quan trọng nhất của thông tin là entropy, lượng thông tin trong một [[biến ngẫu nhiên]], và [[thông tin tương hỗ]], lượng thông tin chung giữa hai biến ngẫu nhiên.
=== Entropy ===
[[Tập tin:Binary entropy plot.svg|thumbnail|
Nếu <math>\mathbb{X}</math> là tập hợp tất cả các thông điệp <math>\{x_1, ..., x_n\}</math> mà <math>X</math> có thể nhận giá trị, và <math>p(x)</math> là xác suất <math>X</math> nhận giá trị <math>x \in \mathbb X</math>, thì entropy của <math>X</math> được định nghĩa như sau:<ref name = Reza>{{ cite book | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | year = 1961, 1994 | isbn = 0-486-68210-2 | url = http://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&as_brr=0&ei=zP79Ro7UBovqoQK4g_nCCw&sig=j3lPgyYrC3-bvn1Td42TZgTzj0Q }}</ref>
Dòng 73:
== Lý thuyết mã hóa ==
{{
[[Tập tin:CDSCRATCHES.jpg|
[[Lý thuyết mã hóa]] là một trong những ứng dụng quan trọng và trực tiếp nhất của lý thuyết thông tin. Nó có thể được chia làm lý thuyết [[nén dữ liệu|mã hóa nguồn]] và lý thuyết [[sửa lỗi|mã hóa kênh]]. Sử dụng kết quả thống kê cho dữ liệu, lý thuyết thông tin định lượng số bit cần thiết để lưu trữ dữ liệu (chính là entropy thông tin của dữ liệu).
| |||