自然言語処理における自己相互情報量 (Pointwise Mutual Information, PMI)

自己相互情報量とは, 2つの事象の間の関連度合いを測る尺度である(負から正までの値をとる).自然言語処理では自己相互情報量が相互情報量と呼ばれることがある. しかし, 情報理論で定義される相互情報量(後述する)とは全く異なるため, 自己相互情報量と呼ぶのが賢明である.自然言語処理に関する本や論文では略称のPMIがよ…