Khác biệt giữa bản sửa đổi của “Lý thuyết thông tin”

Trước bài báo này, một số ý tưởng về lý thuyết thông tin đã được phát triển tại Bell Labs, trong trường hợp đặc biệt khi tất cả các sự kiện đều có cùng xác suất. Bài báo năm 1924 của [[Harry Nyquist]], "Certain Factors Affecting Telegraph Speed", chứa một phần lý thuyết định lượng "tri thức" (intelligence) và "tốc độ đường truyền" (line speed), đưa ra mối liên hệ ''W = Klogm'', trong đó ''W'' là tốc độ dẫn truyền tri thức, ''m'' là số cấp điện áp có thể sử dụng tại mỗi bước và ''K'' là một hằng số. Bài báo năm 1928 của [[Ralph Hartley]], "Transmission of Information", sử dụng thuật ngữ "thông tin" (information) như một đại lượng đo được, thể hiện khả năng phân biệt giữa các dãy ký hiệu của người nhận, do đó lượng hóa thông tin bởi ''H'' = log''Sⁿ'' = ''n''log''S'', trong đó ''S'' là số ký hiệu có thể sử dụng, và ''n'' là số ký hiệu được truyền đi. Đơn vị tự nhiên của thông tin do đó là một chữ số thập phân, sau này được đổi tên là [[hartley]] để ghi danh đóng góp của ông, là một đơn vị đo thông tin. Năm 1940, [[Alan Turing]] đã sử dụng những ý tưởng tương tự cho phân tích thôngthống kê để phá bộ mã [[máy Enigma|Enigma]] của Đức trong chiến tranh thế giới thứ hai.