知識蒸留は、事前にトレーニングされた大規模な「教師モデル」の学習をより小さな「生徒モデル」に転送するために使用される機械学習技術です。