信道编码与译码：原理、分类与香农定理解析-CSDN博客

本文详细介绍了信息传输中的信道编码概念，包括信源编码和信道编码的目的与方法。信源编码旨在压缩冗余度，而信道编码则通过增加冗余度提高抗干扰性。信道编码分类包括检错码、纠错码和纠删码，并探讨了卷积码和分组码。信道译码的核心是最大后验概率和最大似然准则，以降低误码率。香农第二定理阐述了在一定条件下，通过增加码长可以实现高传输效率和低误码率的平衡。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

I(X,Y):信息传输率，表示信道实际传输的信息情况。
C:信道容量，表示信道的传信能力，即：最大的传输信息量。
信源与信道匹配：通过调整信源的输入分布，使得接受输出端获得的信息量达到或接近信道容量。
信源编码和信道编码都是为了使信源和信道达到匹配。信源编码一般会假设信道是无损信道（信道理想),目的使得H(X)尽可能大；而信道编码是在假设信源熵很大的情况下（信源理想）降低损失熵即：H(X|Y).I(X,Y)=H(X)-H(X\Y):从而信源编码和信道编码都可以增大：平均互信息。

一：噪声信道的编码

上图是一个数字通信系统模型，信源编码的角色：一方面要使得输入端的消息适合信道的传输，用信道可识别的符号去表示；另一方面要压缩信源的冗余度，也就是用较少的符号数去传输消息。为了信息的安全传输会加入加密和解密的步骤，这个不在信息论的讨论中。然后是信道编码，目的是提高传输信道的抗干扰性，然后放到信道上去传输。方法是通过编码使得消息之间具备一些关联性，也就是降低误码率。
为了突出信道编码：（理想化信源编码后的结果）

信息序列：信源编码后输出的消息序列，每一个码元会携带较多的信息量。
码字：经过信道编码处理后的结果。
接收序列：码字在信道传输后的接受消息。
信息序列的估值：信道译码还原出来的估值。
噪声源：信道传输过程中出现的干扰以及噪声的影响。
错误图样：由于噪声源而产生的错误的信息序列。

信源编码的概念
目的：降低错误译码的概率 $P_{E}$
对象：理想的信息序列（码元间离散无记忆而且呈等概分布）
方法：在传输的信息码中按照一定的规律产生一些附加码元（不会增加信息量只是为了保证信息的有效性增加关联性),经信道传输，在传输中若码元出现错误，接收端利用编码规律发现码的内在相关性被破坏，从而按一定的译码规则自动纠正或发现错误，降低误码率。（检错或纠错）
实质：通过增加多余度，来增强相关性
关键（好的信道编码）：
在保持一定传输信息速率的条件下，适当增加一定的码元多余度，使得接收端易于发现或纠正由于信道噪声产生的传输错误。
信道编码的物理过程：

上图第一个：指明信道编码器给信息序列按照一定的规律加入一些校验元，任务是检查收到的码字是否出错。关键：关联性的加入，怎么去描述规律性。
下图是香农的理解：(从抽象的数学意义出发)
输入是k维序列，输出是n维序列，由于加入校验元，n>k,若每一个码元有n种选择，则：输入空间为： $r^{k}$ ,输出空间为： $r^{n}$ .可以理解：从大的n重矢量的码字空间中选出 $r^{k}$ 个n重矢量，把选出的矢量和输入的信息序列产生一一对应关系，也就是建立了一种映射（反映了编码规则）。（选码过程）
名词：许用码组（选取上码元要差异大），禁用码组（不产生错误是不会出现在接收端的。）

二：信道编码的分类

1）：从接收端译码的工作方式的区分：

检错码：能发现错误的码
纠错码：不光能发现错误还能纠正错误的码
纠删码：能纠正删除错误的码（删除码：用额外的符号表示不确定的码元）

2）把纠错码进行细分：

卷积码和分组码的电路图示：

三：信道译码及译码规则

回顾：信源译码比较简单，只要设计的信源编码是唯一可译码，则接收端的译码工作只要定位同步头，然后对比，匹配发送端的消息，从而就得到了唯一的译码结果。
对于信道编码而言，编码就是找到既有相关性又有较大差异的n维矢量作为码字，而信源译码具有多样性，译码方法的选择体现出不同译码性能，译码算法的复杂性也是译码可行的重要因素。

信道传输模式

误码率：取决于编译码方法和信道
比如：出错概率比正确传输大时，接收0以为1则可减少误码率。
信道的噪声噪小时则：误码率低
译码的本质：对码字进行分类的过程。
译码规则：

译码规则的常见准则
1）最大后验概率准则

MAP编码是一种最佳译码，对于每一个输出符号 $b_{j}$ 均译成具有最大后验概率的那个输入符号 $a^{*}$ ,此时就能使得误码率最小。但是实际上后验概率是无法求出的，只能利用已知的先验概率 $P(a_{i})$ 和信道转移概率 $P(a_{i}|b_{j})$ 通过贝叶斯公式间接去求。

2) 最大似然译码准则

平均错误概率（误码率）

译码规则表

（例子）

四：香农第二定理

香农第二定理又叫：有噪信道编码定理

结论分析：码长n要足够长，码字M不能太大。
码长n足够大，也就是空间扩大，允许加入更多校验元，使得关联性提高，纠错能力增强，导致误码率减小；另一方面，码长足够大后，允许的信息位增加了，M也增大，所以在纠错能力不下降的前提下，信息传输率（信息位÷校验位）也增强了。
M不可以太大，因为M过大使得码字之间的差异变小，失去了关联性大的编码目的。
其他表述：