二元删除信求熵和互信息量

Question

考虑一个二元删除信道
⁤⁤P(X=0)=13,P(X=1)=23⁤⁤
⁤⁤P(Y=0|X=0)=23,P(Y=?|X=0)=16,P(Y=1|X=0)=16⁤⁤
⁤⁤P(Y=0|X=1)=16,P(Y=?|X=1)=16,P(Y=1|X=1)=23⁤⁤
试求H(X),H(Y),损失熵H(X|Y),噪声熵H(Y|X)和平均互信息量I(X;Y)。

Answer 1

该回答引用chatgpt:
根据二元删除信道的定义，可以列出如下的概率转移矩阵：

        Y=0   ?    Y=1
X=0   2/3  1/6  1/6
X=1   1/6  1/6  2/3

根据概率论的基本公式，可以计算出各个信息熵和互信息量的值：

首先计算输入随机变量X的熵H(X)：

H(X) = -13*log2(1/3) - 23*log2(2/3) ≈ 0.934 bits

接下来计算输出随机变量Y的熵H(Y)：

H(Y) = -13*log2(2/3) - 23*log2(1/3) ≈ 0.876 bits

然后计算损失熵H(X|Y)：

H(X|Y) = H(XY) - H(Y) = (-13*log2(2/3*2/3) - 23*log2(1/6*2/3) - 13*log2(1/6*2/3) - 23*log2(2/3*2/3)) - (-13*log2(2/3) - 23*log2(1/3)) ≈ 0.234 bits

接着计算噪声熵H(Y|X)：

H(Y|X) = H(XY) - H(X) = (-13*log2(2/3*2/3) - 23*log2(1/6*2/3) - 13*log2(1/6*2/3) - 23*log2(2/3*2/3)) - (-13*log2(1/3) - 23*log2(2/3)) ≈ 0.696 bits

最后计算平均互信息量I(X;Y)：

I(X;Y) = H(X) - H(X|Y) = 0.934 - 0.234 ≈ 0.7 bits

因此，该二元删除信道的输入熵为0.934 bits，输出熵为0.876 bits，损失熵为0.234 bits，噪声熵为0.696 bits，平均互信息量为0.7 bits。