からっぽのしょこ

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、平均情報量の最大値を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 平均情報量の最大値(最大エントロピー)の導出 最大値の計算式 最大値の導出 平均情報量が最大となる確率分布…