信息论的基础之一香农所说的“信息”是什么意思？

克劳德·香农(1916-2001)1916出生于美国密歇根州佩托斯基。在盖洛德镇长大，当时只有3000名居民。我父亲是这个镇上的一名法官，他们父子同名，克劳德·艾尔伍德·香农。我妈妈是镇上中学的校长，她叫梅布尔·沃尔夫·香农。他在受过良好教育的环境中长大，但他的父母对他的科学影响似乎没有他祖父那么大。香农的祖父是一位农民和发明家，他发明了洗衣机和许多农业机械，这对香农产生了直接影响。此外，香农家族与大发明家托马斯·阿尔瓦·爱迪生(1847-1931)有着远亲关系。

香农大部分时间都在贝尔实验室和麻省理工学院度过。成名后，香农和玛丽·伊丽莎白·摩尔于1949年3月27日结婚。他们在贝尔实验室相遇，玛丽当时是一名数据分析师。他们有四个孩子:三个儿子罗伯特、詹姆斯、安德鲁·摩尔和一个女儿玛格丽塔·凯瑟琳。后来身边多了两个可爱的孙女。

2006年2月24日，香农在马萨诸塞州的梅德福德去世，享年85岁。贝尔实验室和麻省理工学院发布的讣告将香农尊为信息论和数字通信时代的创始人。

1936香农在密歇根大学获得数学和电气工程学士学位，后进入麻省理工学院读研究生。

香农于1938获得麻省理工学院电气工程硕士学位，硕士论文题目为“继电器和开关电路的符号分析”。当时他已经注意到电话交换电路和布尔代数的相似性，即布尔代数的“真”和“假”与电路系统的“开”和“关”是对应的，都用1和0来表示。于是他用布尔代数分析优化了开关电路，为数字电路奠定了理论基础？9?你难过吗？哈沃德·加德纳教授说，“这可能是本世纪最重要、最著名的硕士论文。”

1940年，香农获得了麻省理工学院的数学博士学位，但他的博士论文是关于人类遗传学的，题目是《理论遗传学的代数》。这说明香农的科学兴趣非常广泛，后来他在不同学科发表了很多有影响力的文章。

在攻读学位期间，他还花了部分时间跟随Vannevar Bush教授学习微分分析器。这个分析器是早期的力学模拟计算机，用来获得常微分方程的数值解。1941年，香农发表了《微分分析器的数学理论》，他写道:“大多数结果都是以证明定理的形式给出的。最重要的是处理一些条件，一些条件可以生成一个或多个变量的函数，一些条件可以使常微分方程得到解。也给出了一些注意事项，给出了函数的近似值(不能产生精确值)、调整率的近似值和自动控制率的方法。”

1941中，香农在&进入；t贝尔电话公司，并在贝尔实验室工作到1972，24岁到55岁，31年。1956成为麻省理工学院客座教授，1958成为正教授，1978退休。

人们描述香农的一生。他总是白天闭门工作，晚上骑着独轮车去贝尔实验室。他的同事D. Slepian写道:“我们都是带着午饭来上班，晚饭后在黑板上玩数学游戏，但克劳德很少过来。”他总是闭门造车。但是，如果你想找他，他会很耐心的帮你。他能一下子抓住问题的实质。他真是个天才。在我认识的人里，我只对他用这个词。"

Shannon与John Riordan合作，发表了一篇关于1942中串并联网络双终端数的论文。本文推广了Percy a . MacMahon(1854-1929)1892在《电工》上发表的论文理论。1948，信息论创立。

在漫长的岁月里，他思考了很多问题。除了在普林斯顿高等研究院工作了一年，我大部分时间都在麻省理工学院和贝尔实验室。需要说明的是，二战期间，香农博士也是著名的密码破解者(这让我想起了比他大四岁的图灵博士)。他在贝尔实验室的破译小组主要跟踪德国的飞机和火箭，尤其是德国火箭闪电战英国的时候。香农在65438-0949年发表了另一篇重要论文《秘密系统的通信理论》。正是基于这种工作实践，其意义在于将秘密通信从艺术转向科学。

香农在65438年至0948年的贝尔系统技术期刊上发表了一篇通信的数学理论。论文署名为香农和Vivo。沃伦·韦弗(1894-1978)当时是洛克菲勒基金会自然科学部主任，他为文章写了序言。后来，香农仍然从事技术工作，而韦弗则研究信息论的哲学问题。顺便说一下，论文刚发表的时候用的是不定冠词A，收录到散文集的时候就改成定冠词The了。

熵的概念

香农理论的重要特征是熵的概念，证明了熵等同于信息量的不确定性。熵曾经是玻尔兹曼在热力学第二定律中引入的，我们可以理解为分子运动的无序度。信息熵也有类似的含义。比如在中文信息处理中，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这说明汉语的复杂程度高于英语，反映出汉语含义丰富，文字简洁，但也很难处理。信息熵大意味着不确定性大。因此，我们应该深入研究，寻求中文信息处理的深层突破。我们不能盲目地认为汉字是世界上最美的文字，从而得出汉字最容易处理的错误结论。

众所周知，质量、能量和信息是三个非常重要的量。

人们早就知道，用秤或天平测量的物质质量大？h，服用(4)剂量的稀释⒐ ⒐ ⒐ ⒐ ⒐ ⒐？哎？9世纪中期，随着热的力学等效的明确和能量守恒定律的建立，逐渐清晰起来。能量一词是它们的统称，能量的计量是通过新的单位如卡、焦耳的出现来解决的。

然而，关于文字、数字、图像和声音的知识已经有几千年的历史了。但它们的通用名称是什么，如何统一度量，直到19年底都没有正确提出，更不用说如何求解了。20世纪初，随着电报、电话、照片、电视、无线电和雷达的发展，如何测量信号中的信息的问题被模糊地提上了日程。

哈特利(R.V. H. Harley)在1928中考虑了从D个不同的符号中取出N个符号组成一个单词的问题。如果每个符号概率相同，完全随机选取，可以得到DN个不同的单词。从这些词中取一个具体的，对应一个信息量I，哈特利建议信息量用N log D的量来表示，即I = I=N log D，这里的log表示以10为底的对数。后来，1949控制论的创始人韦纳也研究了测量信息的问题，并将其引向热力学第二定律。

但香农是给出信息传递基本数学模型的核心人物。香农从65438年到0948年长达几十页的论文《交流的数学理论》成为信息论正式诞生的里程碑。在他的通信数学模型中，他明确提出了信息测量的问题。他将哈特利公式推广到不同概率pi的情况，得到了著名的计算信息熵h的公式:

H=∑-pi对数pi

如果计算中的对数log以2为基数，那么计算出的信息熵就是以比特为单位的。今天计算机和通信中广泛使用的字节、KB、MB、GB等词，都是由比特演化而来的。“比特”的出现，标志着人类知道如何衡量信息量。香农的信息论对定义信息量的概念做出了决定性的贡献。

事实上，Shannon最初的动机是为了消除手机中的噪音。他给出了通讯速度的上限。这个结论最早用于电话，后来用于光纤，现在用于无线通信。今天，我们可以清楚地拨打海外电话或卫星电话，这与通信信道质量的提高密切相关。

克劳德·香农在公众中并不特别知名，但他是为数不多的使我们的世界能够立即交流的科学家和思想家之一。他是美国科学院、美国工程院、皇家学会和美国哲学学会的成员。他获得了许多荣誉和奖励。比如1949莫里斯奖，1955百龄坛奖，1962凯利奖，1966国家科学奖章，IEEE荣誉勋章，1978贾夸德奖，1983弗里茨奖，650。他获得的荣誉学位不胜枚举，在此不再赘述。

今天，我们怀念香农，应该熟悉他的两大贡献:一是信息论和信息熵的概念；另一个是符号逻辑和开关理论。我们应该学习他那种好奇、重视实践、追求完美、永不满足的科学精神，这是他成功的重要经验。

参考资料:

/question/12396945.html？si=3