平均互信息量I（X；Y）与信源分布q（x）有何关系?与p（y|x）又是什麽关系?

Question

平均互信息量I（X；Y）与信源分布q（x）有何关系?与p（y|x）又是什麽关系?

Answer 1

I(X; Y) = sigma p(xy) log(p(y|x) / p(y)) = sigma p(xy) log(p(x|y) / q(x))
当,p(y|x)一定时,I(X; Y)是q(x)的上凸函数.
当,q(x)一定时,I(X; Y)是p(y|x)的下凸函数.
其中p(xy)=p(y|x) q(x) = p(x|y) p(y).