狭义信息论
信息论是由美国数学家C.E .香农建立的，香农于1948和1949年在《贝尔系统技术杂志》上发表的两篇论文《通信的数学理论》和《噪声中的通信》奠定了现代信息论的基础。他从通信中要解决的信息度量的研究入手，建立了一种只用于通信系统的信息论，或称香农信息论，又称狭义信息论。
香农在深入研究了各种复杂的通信系统后，将通信系统的形式抽象为图1-1所示的模型。该模型由六个部分组成，每个部分的意义是:
图1—1香农的通信系统模型
1.来源和目的地
信源是信息的来源，它可以形成并发送一条消息或一系列要传输到接收端的消息。来源很多，不仅人可以发出信息，自然界的一切物体都可以主动或被动地发出信息，成为来源。信宿就是信息接收者，它可以接收信息，并对其进行复制，以达到交流的目的。接收器可以是人，如地质学家，也可以是机器，如地球物理勘探中使用的各种接收仪器。
2.信道和噪声
信道是传递信息的媒介，是信源和信宿之间进行信息交换的通道。在地质勘探中，地下地质体(源)发出的信息(如电磁场)会穿过地壳中的岩石和/或地面上的空气而传递到目的地，所以源的上覆地层和/或空气就是通道。
当信息在信道中传输时，往往会受到噪声的干扰。通信系统中遇到的噪声可以分为两类:外部噪声和内部噪声。噪声往往会影响通信效果，造成一定的失真。因此，必须尽可能降低噪音。
在地质勘探中，噪声一般称为干扰。
3.编码和解码
代码是符号和一些约束的列表，在排列这些符号时必须遵守这些约束。使用这些符号，并遵守相应的约束条件，将信息转化为信号，这个过程就是编码。
当信号序列通过信道输出输出时，它必须被解码并复制到消息中，然后才能被发送到接收器。解码正好和编码相反，所以解码就是编码的逆变换。
以上部分构成了香农的通信模型(见图1—1)。
香农模型不仅可用于通信系统，也可用于其他非通信领域。在一个非交流系统中，可以称之为信息流通系统。以企业管理为例，信息由基层单位和其他相关方提供，领导机关通过各种渠道了解和收集信息，然后对信息进行处理和决策。在这里，基层单位是信息源，领导单位是信息汇，各种了解和收集信息的渠道是渠道。这也是一个简单的信息流系统。从这一点来看，地质找矿也可以看作是一个复杂的信息流系统(将在第三章叙述)。
二，狭义信息论中信息的定义
任何科学的发展都经历了两个阶段，即定性研究和定量研究。定性是定量的基础，定量是定性的精度。一门科学只有从定性研究转变为定量研究，才能成为“精确科学”，信息论要发展成为“精确科学”，就必须进行测量。
为了度量信息，有必要给出信息的准确定义。香农将信息定义为消息中不确定的事物(即以前不知道的事物)的内容。比如有人告诉你一件你已经知道的事，新闻里没有信息。另一方面，在你被告知之前，你对事件了解得越少，你在这个信息中拥有的信息就越多。对于给定条件下一定要发生或一定不要发生的事件，当条件满足时，有人告诉你这个事件已经发生(对于一定要发生的事件)或这个事件没有发生(对于一定不要发生的事件)。这条新闻没有给你的信息。
如果一个事件在给定的条件下可能发生也可能不发生，并且它的发生有一定的概率，当条件满足时，有人告诉你这个事件发生了或者没有发生，这个消息就包含了给你的信息。
三。信息的度量[1]
根据常规方法，当一个量被定量表示时，它经常与一个适当的标准相比较。显然，这种方法不适合于信息的定量表示，所以信息的度量就成了一个长期未解决的问题。而香农则在这方面做出了巨大的贡献，让信息量化。
根据香农对信息的定义，完全抛开信息的具体内容，将信息形式化，从概率论的角度对信息进行定量描述。原因如下:第一，信宿只复制信源发出的信号，不管其内容如何；第二，在信源发出的信号被信宿接收到之前，信源发出的信号是什么时候发出的，发出什么信号，信宿是不知道的，这是随机的。因此，信源发出的信号对于信宿来说可以看作是一个随机事件。
设随机事件A的概率为P(A)，有0≤P(A)≤1。如果P(A)=1，A会发生；如果P(A)=0，A就不会发生。香农将事件A的自我信息定义为
当p (a) > 0时，I(A)=-lg(P(A))。
当P (a) = 0时，I(A)=0
用对数是为了简化计算，因为如果直接用概率表示，用乘法求几条消息(或者一个系统中的多个事件)的总信息，可以用对数相乘求和。因为随机事件的概率总是小于1，其对数为负，所以在概率的对数前加一个负号，使信息量取正值。
从上面的公式可以看出，小概率事件的信息量更大。这一点在地质找矿中很好理解:一个m个单元的区域，地质标志A出现在n1个单元上，地质标志B出现在n2个单元上，地质标志B只出现在有矿床或矿化的单元上，而地质标志A只出现在有矿床的单元上。显然，N2 > n1，所以(N2/米)>(n 1/米)。当m、n1和n2都很大时，B的概率= N2/m，A的概率= N1/m..根据自身信息定义公式。
I(A)=-LG(P(A)=-LG(n 1/m)= lgm-lgn 1
I(B)=-LG(P(B)=-LG(N2/米)=lgm-lgn2
因为m > N2 > n1，所以
I(A)-I(B)=lgn2-lgn1>0
也就是说，地质标志A的出现比地质标志B的出现提供了更多关于矿床存在的信息..
因此，这样定义的信息量符合将信息定义为消息中不确定事物(即以前不知道的事物)的内容的要求。
对于一组事件S(包括E1，E2，…，En***n个事件)，设事件Ek发生的概率为P(Ek)=Pk，定义这组事件自身信息的统计平均值如下
信息论、系统论与地质找矿工作
公式中，Pk=0时lgPk=0。通常，S的自我信息的统计平均值称为S的熵。
可以为两组事件定义互信息和联合熵。这个时候要用到数学中的集合论，就不描述了。有兴趣的读者可以参考相关专著【1】。
第四，信息论的发展
狭义信息论诞生后，由于它的推广和应用，得到了很大的发展。其发展大致经历了三个时期:
1.50年代是信息论冲击各学科的时期。信息论的成就给许多学科带来了意想不到的希望。人们试图用信息的概念和方法来解决这一学科面临的许多尚未解决的问题；本文试图应用信息论来解决语义、听觉、神经、生理、心理等问题。比如65438-0955年在伦敦召开的第三届信息论大会，涉及的主题非常广泛，包括解剖学、动物健康、人类学、计算机、经济学、电子学、语言学、数学、神经生理学、神经精神病学、哲学、语音学、物理学、政治理论、心理学和统计学。而狭义信息论有一定的局限性，如没有考虑信息的意义(如信息是否真实)和信息的价值，不能描述模糊信息，所以在这方面取得的成果很少。
2.20世纪60年代，信息论是消化理解的时期，是在现有基础上进行重大建设的时期。研究重点是信息和信源编码、噪声理论、信号滤波和预测、调制和信息处理。这些就是所谓的广义信息论，主要研究沟通问题，也涉及心理学。
自20世纪70年代以来，信息论发展成为广义信息论或信息科学。信息论的这一发展与世界范围的新技术革命有关。20世纪70年代中期，美国未来学家阿尔文·托夫勒(Alvin Toffer toffler)写了《未来的冲击》一书，探讨人类社会的未来发展。1980年发表第三波。他认为，第一波是8000年到1000年前的农业革命，第二波是18世纪中期的工业革命，第三波是20世纪40年代开始的“信息革命”。因此，人们越来越意识到信息的重要性，意识到信息可以像物质和能源一样被充分利用和享用。信息论的概念和方法已经渗透到各个科学领域，迫切需要突破狭义信息论的狭窄范围，使之成为人类各种活动中遇到的信息问题的基础理论，从而推动其他许多新兴学科的进一步发展。自20世纪70年代以来，许多学者提出了有效信息、广义有效信息、语义信息、概率信息和模糊信息的概念。目前，人们已将信息的既定规律和理论广泛应用于物理学、化学、生物学、心理学和管理学。一门研究信息的产生、获取、转换、传输、存储、处理、显示、识别和利用的信息科学，即广义信息论正在形成。在本章接下来的章节中，将结合地质找矿的特点对广义信息论中的一些重要概念进行描述。