问答题 黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为p（黑）=0.3，白色的出现概率p（白）=0.7。 （1）假设图上黑白消息出现前后没有关联，求熵H（X）； （2）假设消息前后有关联，其依赖关系为p（白/白）=0.9，p（黑/白）=0.1，p（白/黑）=0.2，p（黑/黑）=0.8，求此一阶马尔可夫信源的熵H2（X）； （3）分别求上述两种信源的剩余度，比较H（X）和H2（X）的大小，并说明其物理意义。

问答题 一阶马尔可夫信源的状态图如图所示。信源X的符号集为{0，1，2}。 （1）求平稳后信源的概率分布； （2）求信源的熵H∞。

问答题 设是X=X1，X2，...，XN平稳离散有记忆信源，试证明：