相互情報量 - 球面倶楽部零八式 mark II

$H(A)$ 及び $H(B)$ をそれぞれ $A$ および $B$ のエントロピーとする。

$H(B|A)$ を $B$ の、 $A$ が与えられたときの、条件付エントロピーとする。

$A$ を知ることによって $B$ を知ったときのびっくり度合いが緩和されるかも知れないので $H(B)\geq H(B|A)$ が成立する。

では、 $A$ を知った後に $B$ を知ったときに、どれだけびっくりできるか、つまり $H(B)-H(B|A)$ は、 $A$ と $B$ の両方に共通している情報(びっくり成分)であるから、 $A$ と $B$ の相互情報量といい $I(A,B)$ で表す。

これは、 $A$ と $B$ が「独立であるという理想」と「現実の分布」との隔を表していて、 $I(A,B)=D(p(A,B)||p(A)p(B))$ となっている。