交差エントロピーの導出

交差エントロピーは、「情報量」の「期待値」です。誤った確率分布 q が、正しい確率分布 p と異なるほど大きい値になります。