論文を読む"Distilling the knowledge in a neural network."⑮

背景 「蒸留(Distillation)」に関して、論文"Ravi Teja Mullapudi, Online Model Distillation for Efficient Video Inference."を読んだ。 その中で引用されていたモデル蒸留のために広く使用されている技術の論文として、次の論文を読み進めている。[18] G. Hinton, O. Vinyals, and J. Dean. Distilling the knowledg…