及び をそれぞれ および のエントロピーとする。 を の、 が与えられたときの、条件付エントロピーとする。 を知ることによってを知ったときのびっくり度合いが緩和されるかも知れないのでが成立する。 では、を知った後にを知ったときに、どれだけびっくり…

統数研の伊庭幸人先生の 「情報」に関する13章 https://www.ism.ac.jp/~iba/a19.pdf では、情報源符号化の符号長の期待値最小化の観点から、確率で登場する単語に長さの符号を割り当てると平均符号長は最小となり、になる。これがエントロピー。 しかし、単…

今朝、電車と新幹線を乗り継いで2年ぶりの仙台。駅前で温玉蕎麦大盛り（520円）を食べて仙台国際センターへ。DEX-SMIチュートリアルに午後から参加。Slepian-Wolf とか何もかもみな懐かしい。でも13年ぶりに再会していると別人になっていたようだ。Cover に…