香农如何创立信息论
克劳德·香农(1916-2001)于1916年4月30日出生于美国密歇根州盖洛德市，当时小镇只有3000名居民。香农的父亲是这个镇的法官，母亲是这个镇的中学校长。他在受过良好教育的环境中长大，但他的父母对他的科学影响似乎没有他祖父那么大。香农的祖父是一位农民和发明家，他发明了洗衣机和许多农业机械，这对香农产生了直接影响。此外，香农家族与大发明家托马斯·阿尔瓦·爱迪生(1847-1931)有着远亲关系。
香农的两大贡献:一是信息论和信息熵的概念；另一个是符号逻辑和开关理论。香农的信息论对定义信息量的概念做出了决定性的贡献。
1936香农在密歇根大学获得数学和电气工程学士学位，后进入麻省理工学院读研究生。香农于1938获得麻省理工学院电气工程硕士学位。硕士论文的题目是继电器和开关电路的符号分析。当时他已经注意到电话交换电路和布尔代数的相似性，即布尔代数的“真”和“假”与电路系统的“开”和“关”是对应的，都用1和0来表示。于是他用布尔代数来分析和优化开关电路，奠定了数字电路的理论基础。哈佛大学
哈沃德·加德纳教授说，“这可能是本世纪最重要、最著名的硕士论文。
1940年，香农获得了麻省理工学院的数学博士学位，但他的博士论文是关于人类遗传学的，题目是《理论遗传学的代数》。说明香农兴趣广泛，后来在不同学科发表了很多有影响力的文章。在攻读学位期间，他还花了部分时间跟随温尼伯·布什教授学习微分分析器。这个分析器是早期的力学模拟计算机，用来获得常微分方程的数值解。1941年，香农发表了《微分分析器的数学理论》，他写道:“大多数结果都是以证明定理的形式给出的。最重要的是处理一些条件，一些条件可以生成一个或多个变量的函数，一些条件可以使常微分方程得到解。也给出了一些注意事项，并给出了函数的近似值、调整率的近似值和自动控制率的方法。”
1941中，香农在&进入；t贝尔电话公司，并在贝尔实验室工作到1972，24岁到55岁，31年。Shannon与John Riordan合作，发表了一篇关于1942中串并联网络双终端数的论文。本文推广了McMahon在《电工》1892中发表的论文的理论。香农在1948年发表了《通信的数学理论》，创立了信息论。
二战期间，香农博士也是著名的密码破译者(这让人联想到比他大四岁的图灵博士)。他在贝尔的破译小组主要跟踪德国的飞机和火箭，尤其是德国火箭闪电战英国的时候。65438-0949年，香农发表了另一篇重要论文《安全系统的通信理论》。基于这一工作实践，其意义在于将安全通信从艺术转向科学。
熵的概念
香农理论的重要特征是熵的概念，证明了熵等同于信息量的不确定性。熵曾经是玻尔兹曼在热力学第二定律中引入的，我们可以理解为分子运动的无序度。信息熵也有类似的含义。比如在中文信息处理中，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这说明汉语的复杂程度高于英语，反映出汉语含义丰富，文字简洁，但也很难处理。信息熵大意味着不确定性大。因此，我们应该深入研究，寻求中文信息处理的深层突破。我们不能盲目地认为汉字是世界上最美的文字，从而得出汉字最容易处理的错误结论。
众所周知，质量、能量和信息是三个非常重要的量。人们很早就知道用秤或天平来测量物质的质量，但热与功的关系是在19世纪中叶随着热的机械当量的明确和能量守恒定律的确立才变得清晰。能量一词是它们的统称，能量的计量是通过新的单位如卡、焦耳的出现来解决的。然而，关于文字、数字、图像和声音的知识已经有几千年的历史了。但它们的通用名称是什么，如何统一度量，直到19年底都没有正确提出，更不用说如何求解了。
20世纪初，随着电报、电话、照片、电视、无线电和雷达的发展，如何测量信号中的信息的问题被模糊地提上了日程。哈特利(R.V. H. Harley)在1928中考虑了从D个不同的符号中取出N个符号组成一个单词的问题。如果每个符号概率相同，完全随机选取，可以得到DN个不同的单词。从这些词中取一个具体的，对应一个信息量I，哈特利建议信息量用N log D的量来表示，即I = I=N log D，这里的log表示以10为底的对数。后来，1949控制论的创始人韦纳也研究了测量信息的问题，并将其引向热力学第二定律。但香农是给出信息传递基本数学模型的核心人物。香农从65438年到0948年长达几十页的论文《交流的数学理论》成为信息论正式诞生的里程碑。在他的通信数学模型中，他明确提出了信息测量的问题。他将哈特利公式推广到不同概率pi的情况，得到了著名的计算信息熵h的公式:
H=∑-pi对数pi
如果计算中的对数log以2为基数，那么计算出的信息熵就是以比特为单位的。今天计算机和通信中广泛使用的字节、KB、MB、GB等词，都是由比特演化而来的。“比特”的出现，标志着人类知道如何衡量信息量。
香农最初的动机是消除电话中的噪音。他给出了通信速率的上限。这个结论最早用于电话，后来用于光纤，现在用于无线通信。今天，我们可以清楚地拨打海外电话或卫星电话，这与通信信道质量的提高密切相关。
香农大部分时间都在贝尔实验室和麻省理工学院度过。人们描述香农的一生。他总是白天闭门工作，晚上骑着独轮车去贝尔实验室。他的同事D. Slepian说:“我们都是带着午饭来上班，晚饭后在黑板上玩数学游戏，但克劳德很少过来。”他总是闭门造车。但是，如果你想找他，他会很耐心的帮你。他能一下子抓住问题的实质。他真是个天才。在我认识的人里，我只对他用这个词。"
克劳德·香农在公众中并不特别知名，但他是为数不多的让我们的世界能够即时交流的科学家之一。他是美国科学院、美国工程院、皇家学会和美国哲学学会的成员。他获得了许多荣誉和奖励。比如1949莫里斯奖，1955百龄坛奖，1962凯利奖，1966国家科学奖章，IEEE荣誉勋章，1978贾夸德奖，1983弗里茨奖，650。他获得了无数荣誉学位。
贝尔实验室和麻省理工学院都把香农尊为信息论和数字通信时代的奠基人。正是他把布尔代数的“真”与“假”电路的“开”和“关”对应起来，用1和0来表示。这是从理论到实际产品设计的重要环节。