问答题 设X，Y是两个相互统计独立的二元随机变量，其取“0”或“1”的概率为等概率分布。定义另一个二元随机变量Z，而且Z=XY（一般乘积），试计算： （1）H（X），H（Y），H（Z）； （2）H（XY），H（XZ），H（YZ），H（XYZ）； （3）H（X|Y），H（X|Z），H（Y|Z），H（Z|X），H（Z|Y）； （4）H（X|YZ），H（Y|XZ），H（Z|XY）； （5）I（X；Y），I（X；Z），I（Y；Z）； （6）I（X；Y|Z），I（Y；X|Z），I（Z；X|Y），I（Z；Y|X）； （7）I（XY；Z），I（X；YZ），I（Y；XZ）。

问答题 若有三个离散随机变量，有如下关系：X+Y=Z，其中X和Y相互统计独立，试证明： （1）H（X）≤H（Z），当且仅当Y是常量时等式成立； （2）H（Y）≤H（Z），当且仅当X为常量时等式成立； （3）H（Z）≤H（XY）≤H（X）+H（Y），当且仅当X，Y中任意一个为常量时等式成立； （4）I（X；Z）=H（Z）−H（Y）； （5）I（XY；Z）=H（Z）； （6）I（X；YZ）=H（X）； （7）I（Y；Z|X）=H（Y）； （8）I（X；Y|Z）=H（X|Z）=H（Y|Z）。

问答题 若X、Y和Z是三个随机变量，试证明： （1）I（X；YZ）=I（X；Y）+I（X；Z|Y）=I（X；Z）+I（X；Y|Z） （2）I（X；Y|Z）=I（Y；X|Z）=H（X|Z）−H（X|YZ） （3）I（X；Y|Z）≥0当且仅当（X，Z，Y）是马氏链时等式成立。