最終更新：2017年6月12日この記事では「情報量をどのように定義するか」という問題への回答としての、情報エントロピー、そして、相対エントロピー（別名：カルバック・ライブラーの情報量）や相互情報量の導入とその解釈の仕方を説明します。統計学や機械学習を学ぶ際に、どうしても必要となる考え方ですので、ある程度ま…