作者：David Tse
編譯：子曦

2020年底，斯坦福大學工程學院的 David Tse 教授在知名的在線科普出版物《量子雜志》（Quanta Magazine）上發表 專欄文章 ，紀念美國數學家、電子工程師和密碼學家、信息論的創始人克勞德·香農（Claude Shannon）博士。確實，給我們今天的生活帶來極大便利的全球互聯網和高速無線通信網絡的開創和發展，都要歸功于香農于1948年創立的現代信息理論。香農如此大名鼎鼎，卻又異常低調，乃至許多學生和學者以為他是早已作古的先驅。在1985年的IEEE信息學年會上，當與會者得知香農現身在會議中時，會場一片轟動。當年的會議主席回憶：“就好像牛頓出現在物理學會議中。”香農最終于2001年去世，終年84歲。巨星隕落，但他的學術遺產已經由一代又一代的科學家、數學家和工程師所繼承和發揚，繼續照耀人類前進的道路。特此翻譯此文，向先驅致敬！

感謝一位獨到的天才的開創性工作，讓今天的信息時代成為可能。

科學尋求自然的基本定律。數學在舊的基礎上尋找新的定理。工程學構建解決人類需求的系統。這三個學科相互依存但又截然不同。很少有個人同時在這三個學科做出核心貢獻 —— 但是克勞德·香農就是這樣一個難得的個人。

雖然是最近的紀錄片《 比特玩家 》(The Bit Player) 的主角 —— 而他的工作和研究理念也激發了我自己的職業生涯 —— 香農并不是一個家喻戶曉的人物。他從未獲得過諾貝爾獎，而且在2001年去世前后，他都不是像阿爾伯特·愛因斯坦或理查德·費曼那樣的名人。然而70多年前，在一篇劃時代的論文中，他為構成現代信息時代根本的通信基礎設施奠基。

香農于1916年出生于密歇根州的蓋洛德市，是一位當地商人和一名教師的兒子。從密歇根大學獲得電氣工程和數學學位后，他在麻省理工學院撰寫了一篇 碩士論文 ，將名為布爾代數的數學理論應用于開關電路的分析和綜合。這是一項變革性的工作，將電路設計從一門藝術變成了科學，現在被認為是數字電路設計的起點。

年輕的克勞德·香農

接下來，香農將目光投向了一個更大的目標：通信。

通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話和電視，人類一直在尋求更遠、更快和更可靠的通信方法。但是，通信系統的工程學過去總是與特定的信息源和物理介質相關聯。而香農提出的問題是：“是否有一個大一統的通信理論？”1939年，在給導師萬尼瓦爾·布什（Vannevar Bush）的信中，香農概述了他關于“用于情報傳遞的通用系統的基本特性”的一些初步想法。經過十年的研究，香農終于在1948年發表了他的開創性杰作《 通信的數學理論 》。

他的理論的核心是一個簡單但非常通用的通信模型：發送器將信息編碼為信號，該信號會被噪聲破壞，然后被接收器解碼。雖然簡單，香農的模型融合了兩個關鍵見解：將信息源和噪聲源與要設計的通信系統隔離開來，并對這兩個源進行概率建模。他設想信息源會生成許多可能的消息來進行通信，每條消息都有一定的概率。概率化噪聲進一步增加了接收器解析的隨機性。

在香農之前，通信問題主要被視為確定性信號重建問題：如何轉換被物理介質扭曲的接收信號，以盡可能準確地重建原始信號。香農的天才在于，他洞察到通信的關鍵是不確定性。畢竟，如果你提前知道了我在本專欄中對你說的話，那么還有什么必要寫它呢？

香農的通信模型示意圖

這一觀察將通信從實體問題轉向到抽象問題，從而使香農可以使用概率對不確定性進行建模。這給當時的通信工程師們帶來了極大的沖擊。

確定了不確定性和概率論的框架，香農在其具有里程碑意義的論文中著手系統地確定通信的基本限定。他的回答分為三個部分。在這三個方面都扮演著重要角色的，是信息“比特”（bit) 的概念。香農將其用作不確定性的基本單位。比特好比是“二進制數字”的兩格式旅行箱，可以是1或0，香農的論文是第一個使用該詞的人（盡管他說數學家約翰·圖基（John Tukey）先在一個備忘錄中用到了該詞）。

首先，香農提出了一個用于表示信息量的每秒最少比特數的公式，這個數字他稱之為熵率 H。該數字量化了確定信息源將生成哪個消息所涉及的不確定性。熵率越低，不確定性越小，因此將消息壓縮成較短的內容越容易。例如，以每分鐘100個英文字母的速率發送短信，意味著每分鐘發送有26100種可能的消息，每條消息均由100個字母的序列表示。因為2470≈26100，人們可以將所有這些可能性編碼為470比特。如果所有序列的可能性相同，那么香農的公式表明熵率確切值是每分鐘470比特。現實中，由于某些序列比其他序列出現的可能性高得多，所以熵率要低得多，可以進行更大的壓縮。

其次，他給出了一個噪聲條件下可以可靠通信的每秒最大比特數的公式，他將其稱為系統的容量 C。這是接收機可以有效解析消息不確定性的最大速率，也就是實際上的通信速度的上限。

最后，他表明當且只當 H

雖然這是一種通信理論，但同時也是一種有關信息如何產生和轉換的理論—— 信息論 。因此，香農現在被譽為“信息論之父”。

他的定理得出了一些與直覺相反的結論。假設你在嘈雜的地方講話，確保你的消息能夠傳達的最佳方法是什么？也許重復多次？當然，這是每個人在喧嘩的餐廳中的第一個本能，但事實證明這不是很有效。當然，你重復自己的次數越多，通信越可靠。但是你犧牲了速度來換取可靠性。香農向我們展示了我們可以做得更好。重復消息只是使用編碼傳輸消息的一個例子，通過使用不同且更復雜的編碼，可以在維持既定可靠性的同時，快速地通信——直到速度上限 C。

香農的理論得出的另一個意外結論是，無論信息的特質是什么——莎士比亞十四行詩、貝多芬第五交響曲的錄音、還是黑澤明的電影——在傳輸之前，將其編碼為比特總是最有效的。因此以無線電系統為例，即使初始的聲音和通過空中發送的電磁信號都是模擬波形式的，香農定理也表明最好先將聲波數字化為比特，然后將這些比特映射到電磁波。這一令人驚訝的結果是現代數字信息時代的基石，在這個時代里，作為信息通用貨幣的比特無所不在。

香農的通用信息理論是如此自然，以至于他似乎發現了宇宙的通信定律，而不是發明了它們。他的理論與自然界的物理定律一樣基本。從這個意義上說，他是一名科學家。

香農發明了新的數學來描述通信定律。他引入了一些新思想，比如概率模型的熵率，這些新思想已應用于研究動力學系統長期行為的遍歷數學等廣泛的數學分支。從這個意義上說，香農是一個數學家。

但最重要的是，香農是一名工程師。他的理論受到實際工程問題的啟發。盡管對當時的工程師來說是深奧的，但香農的理論現已成為所有現代通信系統（光學、水下、甚至行星際）基礎的標準框架。就我個人而言，我很幸運地參與了將香農的理論應用和擴展到無線通信的全球性努力中，歷經幾代標準將通信速度提高了兩個數量級。確實，當前推出的5G標準使用的不是一種而是兩種實用的編碼，它們被證明可以達到香農的速度上限。

晚年香農手持土星的照片

香農在70多年前就為所有這一切奠定了基礎。他是怎么做到的？通過不懈地專注于問題的根本特征，忽略所有其它方面。他的通信模型的簡單性就是這種風格的很好例證。他還知道要專注于可能，而不是立即可行的事情。

香農的工作說明了頂級科學研究的真正作用。當我開始讀研究生時，我的導師告訴我，最好的工作是修剪知識樹，而不是擴張知識樹。那時候我不知道該怎么做；我一直認為研究人員的工作就是添加自己的樹枝。但是在我的職業生涯中，由于我有機會在自己的工作中運用這種思想，我開始理解了。

當香農開始研究通信時，工程師已經掌握了大量技術。正是他的統一工作，將所有這些知識枝條修剪成了一棵貫通而優美的樹——這棵樹為幾代科學家、數學家和工程師帶來了累累碩果。