HELLO CYBERNETICS

情報理論は現代のコンピュータが実現されるよりも前からシャノンによって提唱され、そして実際に情報通信技術（符号化や暗号化）の基礎を築いてきました。今回はそんな情報理論のエントロピーにまつわる話です。 機械学習を少し勉強したことがある人にとっては馴染みの深いKLダイバージェンスは、情報理論では相対エントロ…