Wikipedia

Khác biệt giữa bản sửa đổi của “Lý thuyết thông tin”

Duyệt lịch sử tương tác
← Thay đổi trướcThay đổi sau →
Nội dung được xóa Nội dung được thêm vào
Trực quanMã wiki
n AlphamaEditor
clean up, replaced: → (7) using AWB
Dòng 1:
'''Lý thuyết thông tin''' là một nhánh của [[toán học ứng dụng]] và [[kĩ thuật điện]] nghiên cứu về đo đạc lượng thông tin. Lý thuyết thông tin được xây dựng bởi [[Claude E. Shannon]] để xác định giới hạn cơ bản trong các hoạt động [[xử lý tín hiệu]] chẳng hạn như nén [[dữ liệu]] hay [[lưu trữ]] và [[viễn thông|truyền dẫn]] dữ liệu. Ngay từ những ngày đầu, nó đã mở rộng phạm vi ứng dụng ra nhiều lĩnh vực khác, bao gồm [[suy luận thống kê]], [[xử lý ngôn ngữ tự nhiên]], [[mật mã học]], các mạng lưới bên cạnh mạng lưới viễn thông - chẳng hạn như trong [[thần kinh]]<ref>F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997).</ref>, sự tiến hóa<ref>cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, ''Science'' '''294''':2310-2314</ref> và chức năng<ref>Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, [http://www.lecb.ncifcrf.gov/~toms/ Thomas D. Schneider], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, ''Gene'' '''215''':1, 111-122</ref> của các mã phân tử, lựa chọn mô hình<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) ISBN 978-0-387-95364-9.</ref> trong sinh thái học, vật lý nhiệt, máy tính lượng tử<ref>Jaynes, E. T. (1957) [http://bayes.wustl.edu/ Information Theory and Statistical Mechanics], ''Phys. Rev.'' '''106''':620</ref>, phát hiện sao chép<ref>Charles H. Bennett, Ming Li, and Bin Ma (2003) [http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75 Chain Letters and Evolutionary Histories]</ref> và các hình thức [[phân tích dữ liệu]] khác.<ref>
{{chú thích web
| author = David R. Anderson
| title = Some background on why people in the empirical sciences may want to better understand the information-theoretic methods
| date = ngày 1 tháng 11 năm 2003
| url = http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf
| format = pdf
| accessdate = ngày 23 tháng 6 năm 2010}}
</ref>
 
Dòng 22:
Sự kiện nổi bật đánh dấu sự khởi đầu của lý thuyết thông tin là bài báo của [[Claude E. Shannon]] "[[A Mathematical Theory of Communication]]" ở Bell System Technical Journal vào tháng 7 và tháng 10 năm 1948.
 
Trước bài báo này, một số ý tưởng về lý thuyết thông tin đã được phát triển tại Bell Labs, trong trường hợp đặc biệt khi tất cả các sự kiện đều có cùng xác suất. Bài báo năm 1924 của [[Harry Nyquist]], "Certain Factors Affecting Telegraph Speed", chứa một phần lý thuyết định lượng "tri thức" (intelligence) và "tốc độ đường truyền" (line speed), đưa ra mối liên hệ ''W = Klogm'', trong đó ''W'' là tốc độ dẫn truyền tri thức, ''m'' là số cấp điện áp có thể sử dụng tại mỗi bước và ''K'' là một hằng số. Bài báo năm 1928 của [[Ralph Hartley]], "Transmission of Information", sử dụng thuật ngữ "thông tin" (information) như một đại lượng đo được, thể hiện khả năng phân biệt giữa các dãy kí hiệu của người nhận, do đó lượng hóa thông tin bởi ''H'' = log''S<sup>n</sup>'' = ''n''log''S'', trong đó ''S'' là số kí hiệu có thể sử dụng, và ''n'' là số kí hiệu được truyền đi. Đơn vị tự nhiên của thông tin do đó là một chữ số thập phân, sau này được đổi tên là [[hartley]] để ghi danh đóng góp của ông, là một đơn vị đo thông tin. Năm 1940, [[Alan Turing]] đã sử dụng những ý tưởng tương tự cho phân tích thông kê để phá bộ mã [[máy Enigma|Enigma]] của Đức trong chiến tranh thế giới thứ hai.
 
Phần lớn lý thuyết toán học đằng sau lý thuyết thông tin với các sự kiện có xác suất khác nhau được xây dựng trong ngành [[nhiệt động lực học|nhiệt động học]] bởi [[Ludwig Boltzmann]] và [[J. Willard Gibbs]]. Mối liên hệ giữa entropy thông tin và entropy nhiệt động học, bao gồm đóng góp quan trọng của [[Rolf Landauer]] trong thập kỉ 1960, được mô tả trong trang [[Entropy trong nhiệt động học và lý thuyết thông tin]].
Dòng 31:
 
=== Entropy ===
[[Tập tin:Binary entropy plot.svg|thumbnail|phải|200px|Entropy của một [[phép thử Bernoulli]] dưới dạng hàm số của xác suất thành công, thường gọi là '''[[hàm entropy nhị phân]]''', <math>H_\mbox{b}(p)</math>. Entropy mỗi lần thử tối đa là 1 bit khi hai kết quả có cùng khả năng xảy ra, như trong một lần tung đồng xu công bằng.]]
 
Nếu <math>\mathbb{X}</math> là tập hợp tất cả các thông điệp <math>\{x_1,..., x_n\}</math> mà <math>X</math> có thể nhận giá trị, và <math>p(x)</math> là xác suất <math>X</math> nhận giá trị <math>x \in \mathbb X</math>, thì entropy của <math>X</math> được định nghĩa như sau:<ref name = Reza>{{chú thích sách | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | year = 1961, 1994 | isbn = 0-486-68210-2 | url = http://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&as_brr=0&ei=zP79Ro7UBovqoQK4g_nCCw&sig=j3lPgyYrC3-bvn1Td42TZgTzj0Q }}</ref>
Lấy từ “https://vi.wikipedia.org/wiki/Lý_thuyết_thông_tin”