急求:分析简述香农三大定理以及区别联系

来源:百度知道 编辑:UC知道 时间:2024/05/15 17:54:52
明天要考试了,老师说了要考这题,但是我们学的是英文版教材,根本没法复习啊....哪位高手能告诉我呀...谢谢啦
要具体点,只写出定理的定义只能拿一点点的分数,老师要扣分的

一:香农第一定理(可变长无失真信源编码定理)
设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。

二:香农第二定理(有噪信道编码定理)
设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找到M (M<=2^(N(C-a))),a为任意小的正数)个码字,分别代表M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

三:香农第三定理(保失真度准则下的有失真信源编码定理)
设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]},而编码后码的平均失真度D'(W)<=D+a。

同意楼上

你只要找一本 通信原理,或者信息论的书 上面有很清楚的 详细的说明和应用!!