Kullback-Leibler Divergenceについてまとめる

1. KL-divergenceとは? 1.1 定義 1.2 基本的な性質 1.3 KL-divergenceは距離なのか? 2. 諸量との関係 2.1 KL-divergenceと相互情報量 2.2 KL-divergenceと対数尤度比 2.3 KL-divergenceとFisher情報量 3. 参考書籍 !! お知らせ(2020.06.10) * こちらの記事の英語版を公開しました.よければご覧ください. Here is the …