仙农定理是?

仙农首先采用严密的数学方法，对信源、信息、信息量、信道、编码、解码、传输、接收、滤波等一系列基本概念，进行严格的数学描述和定量度量，使得信息研究由粗糙的定性分析阶段进入精密的定量阶段，并因此而发展成一门真正的科学学科．
　　对莫尔斯电报编码的研究将会导致用概率观念考察信息．比如，在英文电报中，“字母E的出现概率比Q大得多，序列TH出现的概率比XP大得多．”由此仙农进一步注意到：“通信的基本问题是在消息的接收端精确地或近似地复现发送端所挑选的消息．通常的消息是有意义的，……而通信的语义方面问题和工程问题是没有关系的．”“重要的是，一个实际信息总是从可能消息的集合中选择出来的．”这就是说，仙农认识到两个要点：(1)通讯工程与语义无关；(2)通信系统所处理的信息本质上是随机的．于是他想到“信息是可用来消除不肯定的东西”，并尝试采用概率方法给信息量下精确定义．设信息源有n个不同的符号。x1，x2…xn，它们出现的概率分别为p1(x1)，p2(x2)…pn(xn)．仙农引入信息熵的概念：
　　其中K是某一常数，它表示信息源的某种不确定程度，成为信息量的一种量度．信息熵借用了19世纪热力学第二定律中热力熵的想法．这里，仙农不把信息看作有意义的消息，而是当作信息源中各元素符号组合成消息时的自由度，即各元素符号相继出现的不肯定程度．显然，自由度越大，信息量也越大．比如，如果a的后面只能出现b，没有自由选择的机会，那么消息a和ab的信息量是一样的．所以，用不肯定度(或自由度，或混乱程度)来刻画信息量，是很自然的事．正是这一革命性的思想，成了经典信息论的基石．信息量的定义中的对数若以2为底，其单位被仙农称为比特，而当取10或e为底时，相应的单位称为迪西特(decit)与奈特(nat)．
　　仙农用随机观念考察通信理论，确实是一项重大的突破．20世纪初蓬勃发展的概率论和数理统计为信息论提供了合适的数学工具．他指出：“离散信源是一个一个符号地产生消息的．相继符号的选择是根据某些概率，而通常这些概率取决于前面符号的选择及待选的符号．任何一个能产生由一组概率控制的符号序列的物理系统，或物理系统的数学模型都可称为随机过程．”这样一来，平稳随机过程、统计相关理论等数学成果迅速转移到通信过程的研究领域中来．仙农描述的通信系统是：
　　信源：由一个消息符号