Mooの技術メモ

技術的なメモ中心。

正規分布のエントロピーの導出

Kullback–Leibler情報量について勉強している際に気になったので正規分布エントロピーを導出してみた。

定義

エントロピー

 X : 連続確率変数が確率分布  P(x) に従うとする。このとき微分エントロピー  H(X)


H(X) = - \int_{-\infty}^\infty  P(x)\log P(x)  dx

分散

 X : 連続確率変数が確率分布  P(x) に従い、期待値が  \mu で表されるとき、分散  V[X]


V[X] = \int_{-\infty}^\infty (x-\mu)^{2}P(x)  dx

正規分布

平均を  \mu、分散を \sigma^{2} としたとき、正規分布確率密度関数が次の形をとる。


f(x)=\dfrac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left(-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}\right)

導出

エントロピーの定義から求める。


\begin{align}
H(X) &= - \int_{-\infty}^\infty P(x)\log P(x)  dx \\
&= - \int_{-\infty}^\infty \dfrac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left(-\dfrac{(x-\mu)^ 2}{2\sigma^ 2}\right)\log \left\{\dfrac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left(-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}\right)\right\}  dx \\
&= - \int_{-\infty}^\infty \dfrac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left(-\dfrac{(x-\mu)^ 2}{2\sigma^ 2}\right) \left\{-\frac{1}{2}\log(2\pi\sigma^{2})-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right\}  dx \\
&= \frac{1}{2}\log(2\pi\sigma^{2}) \int_{-\infty}^\infty \dfrac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left(-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}\right) dx + \int_{-\infty}^\infty \dfrac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left(-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}\right) \frac{(x-\mu)^{2}}{2\sigma^{2}} dx \\
&= \frac{1}{2}\log(2\pi\sigma^{2}) + \frac{1}{2\sigma^{2}}\int_{-\infty}^\infty (x-\mu)^{2} \dfrac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left(-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}\right) dx \\
&= \frac{1}{2}\log(2\pi\sigma^{2}) + \frac{1}{2\sigma^{2}} \sigma^{2} \\
&= \frac{1}{2} \left\{ \log(2\pi\sigma^{2}) + 1 \right\}
\end{align}

4行目第1項の積分正規分布積分なので1となる。また、5行目の積分正規分布の分散になるため、 \sigma^{2} となる。

置換積分で導出されている記事もありました。

qiita.com

式変形に誤りがあったらご指摘ください。