【信息论基础第六讲】离散无记忆信源等长编码包括典型序列和等长信源编码定理

一、信源编码的数学模型

我们知道信源的输出是消息序列，对于信源进行编码就是用码字集来表示消息集，也就是要进行从消息集到码字集的映射。

根据码字的特征我们又将其分为D元码，等长码，不等长码，唯一可译码。

我们通过一个例子来进行概念的应用

首先我们来辨析一下码组、码字、码元的概念 

那么对于上述的码组而言，任意一个码元的取值只有0或者1，所以都是二元码

根据不同码字之间的长度，码组1是等长码，其余的码组均为不等长码

根据不同的码字和不同的信源是否具有唯一的对应关系，码组1、4、5为唯一可译码，码组2和码组3存在00可能是两个a1或者a3的情况，所以码组2、3不是唯一可译码。

我们最想要的就是无失真编码&#x