エントロピー・KL divergenceの復習 - Qiita

「普通のサイコロ」と「六面体が歪んだサイコロ」を比べた場合、普通のサイコロの方がどの目が出るか予測が難しいです。（普通のサイコロの方がエントロピーが高くなります。） pythonでは、scipyを用いて簡単にエントロピーが計算できます。 ・離散確率分布 from scipy.stats import multinomial multinomial.entropy(n=1, p=[1 / 6.] * 6) # 1.79175946923 multinomial.entropy(n=1, p=[0.4, 0.3, 0.1, 0.1, 0.05, 0.05]) # 1.48779838 上の普通のサイコロの方がエントロピーが高くなっているのが分かります。 ・連続確率分布 ガウス分布の場合も同様です。 以下のような「平均値は同じだが、分散は異なる分布」があったとします。 値の「予測のしにくさ」とい