下面关于信息熵H(X)的说法正确的是 。
A: 信息熵H(X)是表示信源输出后，每个符号所提供的平均信息量
B: 信息熵H(X)表示信源输出前信源的平均不确定性
C: 可用信息熵H(X)来表征变量X的随机性
D: 若X为信道输入，Y为信道输出，信息熵H(X)可表示收到Y后获得的关于X的有效信息
A: 信息熵H(X)是表示信源输出后，每个符号所提供的平均信息量
B: 信息熵H(X)表示信源输出前信源的平均不确定性
C: 可用信息熵H(X)来表征变量X的随机性
D: 若X为信道输入，Y为信道输出，信息熵H(X)可表示收到Y后获得的关于X的有效信息
A,B,C
举一反三
- 【多选题】离散信源是一个离散型的随机变量。对下面关于离散信源X的信息熵H(X)的含义,理解正确的是 A. 在信源输出后，表示每个信源符号所提供的平均信息量。 B. 在信源输出前，表示信源的平均不确定性。 C. 表示信源随机性大小，H(X)大的，随机大。 D. 当信源输出后，不确定性就解除，熵可视为解除信源不确定性所需的信息量
- 某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为H(X)。
- 两个信源X,Y的平均互信息I(X;Y)一定小于等于信源熵H(X),同时一定小于H(Y).
- 中国大学MOOC:某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为H(X)。
- 下列关于条件熵的描述正确的是 A: 两个随机变量X，Y的联合分布的熵 B: 条件熵H(X|Y)表示在已知随机变量Y的条件下随机变量X的不确定性 C: H(X|Y)= H(X, Y) - H(Y)，即条件熵H(X|Y)是(X, Y)的联合熵，减去Y单独发生包含的熵 D: 用于表征两个变量概率分布的差异性 。
内容
- 0
以下选项中，表示条件熵和无条件熵的正确关系是？ A: H(Y/X) B: H(Y/X)>H(Y) C: H(Y/X)<=H(Y) D: H(Y/X)>=H(Y)
- 1
对于离散信道[X, P(y/x) ,Y]，信道疑义度或损失熵是指（ ），噪声熵或散布度是指（ ）。 A: H(XY) B: H(X) C: H(X/Y) D: I(X;Y) E: H(Y/X)
- 2
下面表达式中错误的是(多选)：（ ）。 A: 连续信源和离散信源的熵都具有非负性 B: 对信源X进行哈夫曼编码得到的码字是唯一的 C: 互信息量I(X;Y)表示从Y中得到的信源X的平均信息量 D: 单符号离散信源的自信息和信源熵都是一个确定值
- 3
条件熵和无条件熵的关系是( )。 A: H(Y/X) B: H(Y/X)>H(Y) C: H(Y/X)≤H(Y) D: H(Y/X)≥H(Y)
- 4
关于信道容量C的下列说法中，错误的是 A: 研究对象是信道 B: 给定条件是信道转移概率p(y|x) C: 待选择参数是信源分布p(x) D: 此时条件熵H(X|Y)表示压缩损失的信息量