问答题 黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率P（黑）=0.3，白色出现的概率P（白）=0.7。 （1）设图上黑白消息出现前后没有联系，求熵H（X）； （2）假设消息出现前后有关联，其依赖关系为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求此一阶马尔可夫信源的熵H2； （3）分别求上述两种信源的剩余度，并比较H（X）和H2的大小，并说明其物理意义。

问答题 设有一个马尔可夫信源，它的状态集为{s1，s2，s3}，符号集为{a1，a2，a3}，及在某状态下发符号的概率为P（ak/si）（i，k=1，2，3），如图所示。 （1）求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。 （2）计算信源处在某一状态下输出符号的条件熵H(X/S=j)(j=s1,s2,s3)。 （3）求出马尔可夫信源熵H。

问答题 有一个一阶平稳马尔可夫链X1，X2，……Xr……，各Xr取值于集合A={a1，a2，a3}。已知起始概率p（Xr）为p1=1/2，p2=p3=1/4，转移概率如下。 （1）求（X1，X2，X3）的联合熵和平均符号熵。 （2）求这个链的极限平均符号熵。 （3）求H0，H1，H2和它们所对应的冗余度。