Kullback–Leibler情報量について勉強している際に気になったので正規分布のエントロピーを導出してみた。
定義
エントロピー
: 連続確率変数が確率分布 に従うとする。このとき微分エントロピー は
分散
: 連続確率変数が確率分布 に従い、期待値が で表されるとき、分散 は
正規分布
平均を 、分散をとしたとき、正規分布は確率密度関数が次の形をとる。
導出
エントロピーの定義から求める。
4行目第1項の積分は正規分布の積分なので1となる。また、5行目の積分は正規分布の分散になるため、となる。
置換積分で導出されている記事もありました。
qiita.com
式変形に誤りがあったらご指摘ください。