[信息论与编码]离散信源及其信息测度(2)

2021/11/23 from Xwhite

离散信源及其信息测度（补充）

• 离散无记忆信源的扩展信源
• • 信源模型
  • 信息熵
• 离散平稳信源及极限熵（非重点）
• • 离散平稳信源
  • 极限熵
• 信息冗余度（了解）
• • 信源的相关性与冗余度

离散无记忆信源的扩展信源

信源模型

信源模型这里我们在上一篇文章已经叙述过了，在N次扩展哪里

信息熵

由于离散无记忆信源的扩展信源序列中前后符号的出现相互独立，彼此无关，因此有

符号序列中各符号取自同一个信源空间[X,P],故有

所以离散无记忆信源扩展信源的熵为H(X^N)=NH(X)

离散无记忆信源扩展信源的熵和N长序列变量独立同分布的信源熵相同。

例题


例题