Khác biệt giữa bản sửa đổi của “Lý thuyết thông tin”
Nội dung được xóa Nội dung được thêm vào
n Robot: Sửa đổi hướng |
|||
Dòng 11:
Một độ đo cơ bản của thông tin là [[entropy]], thường được diễn đạt dưới dạng số lượng bit cần thiết trung bình để lưu trữ hoặc dẫn truyền. Entropy lượng hóa sự không chắc chắn trong việc dự đoán giá trị của một [[biến ngẫu nhiên]]. Ví dụ như, xác định kết quả của một lần tung đồng xu công bằng (hai kết quả có khả năng như nhau) cho ít thông tin hơn (entropy nhỏ hơn) là xác định kết quả của một lần tung xúc sắc (sáu kết quả có khả năng như nhau).
Các ứng dụng cơ bản của lý thuyết thông tin bao gồm [[nén không mất dữ liệu]] (chẳng hạn như [[ZIP]]), [[nén mất dữ liệu]] (chẳng hạn [[MP3]], [[JPEG|JPG]]), [[mã hóa kênh]] (chẳng hạn như trong [[DSL]]). Lý thuyết thông tin nằm ở phần giao nhau giữa [[toán học]], [[khoa học Thống kê|thống kê]], [[khoa học máy tính]], [[vật lý học|vật lý]], [[thần kinh]], và [[kĩ thuật điện]]. Các ngành hẹp quan trọng của lý thuyết thông tin bao gồm [[mã hóa nguồn]], [[mã hóa kênh]], [[lý thuyết thông tin thuật toán]], [[bảo mật theo lý thuyết thông tin]].
== Tổng quan ==
Dòng 24:
Trước bài báo này, một số ý tưởng về lý thuyết thông tin đã được phát triển tại Bell Labs, trong trường hợp đặc biệt khi tất cả các sự kiện đều có cùng xác suất. Bài báo năm 1924 của [[Harry Nyquist]], "Certain Factors Affecting Telegraph Speed", chứa một phần lý thuyết định lượng "tri thức" (intelligence) và "tốc độ đường truyền" (line speed), đưa ra mối liên hệ ''W = Klogm'', trong đó ''W'' là tốc độ dẫn truyền tri thức, ''m'' là số cấp điện áp có thể sử dụng tại mỗi bước và ''K'' là một hằng số. Bài báo năm 1928 của [[Ralph Hartley]], "Transmission of Information", sử dụng thuật ngữ "thông tin" (information) như một đại lượng đo được, thể hiện khả năng phân biệt giữa các dãy kí hiệu của người nhận, do đó lượng hóa thông tin bởi ''H'' = log''S<sup>n</sup>'' = ''n''log''S'', trong đó ''S'' là số kí hiệu có thể sử dụng, và ''n'' là số kí hiệu được truyền đi. Đơn vị tự nhiên của thông tin do đó là một chữ số thập phân, sau này được đổi tên là [[hartley]] để ghi danh đóng góp của ông, là một đơn vị đo thông tin. Năm 1940, [[Alan Turing]] đã sử dụng những ý tưởng tương tự cho phân tích thông kê để phá bộ mã [[máy Enigma|Enigma]] của Đức trong chiến tranh thế giới thứ hai.
Phần lớn lý thuyết toán học đằng sau lý thuyết thông tin với các sự kiện có xác suất khác nhau được xây dựng trong ngành [[nhiệt động lực học|nhiệt động học]] bởi [[Ludwig Boltzmann]] và [[J. Willard Gibbs]]. Mối liên hệ giữa entropy thông tin và entropy nhiệt động học, bao gồm đóng góp quan trọng của [[Rolf Landauer]] trong thập kỉ 1960, được mô tả trong trang [[Entropy trong nhiệt động học và lý thuyết thông tin]].
== Đo lường thông tin ==
{{bài chính|Đo lường thông tin}}
Lý thuyết thông tin được xây dựng dựa trên [[lý thuyết xác suất]] và [[khoa học Thống kê|thống kê]]. Thông số quan trọng nhất của thông tin là entropy, lượng thông tin trong một [[biến ngẫu nhiên]], và [[thông tin tương hỗ]], lượng thông tin chung giữa hai biến ngẫu nhiên.
=== Entropy ===
Dòng 92:
* {{chú thích tạp chí|first=Claude E.|last=Shannon|year=1948| title=[[A Mathematical Theory of Communication]]|journal= Bell System Technical Journal|volume=27|pages=379–423 & 623–656|month=July & October|url=http://www.essrl.wustl.edu/~jao/itrg/shannon.pdf PDF}}
* {{chú thích tạp chí|author=R.V.L. Hartley|url=http://www.dotrose.com/etext/90_Miscellaneous/transmission_of_information_1928b.pdf|title=Transmission of Information|journal=Bell System Technical Journal|month=July|year=1928}}
* {{chú thích tạp chí|author=[[Andrey Nikolaevich Kolmogorov|Andrey Kolmogorov]]|year=1968|title=Three approaches to the quantitative definition of information|journal=International Journal of Computer Mathematics}}
{{refend}}
| |||