タイトル Compact Language Models via Pruning and Knowledge Distillation リンク https://arxiv.org/pdf/2407.14679 ひとこと要約 高性能な小型モデル作成のための、LLMの効率的な圧縮並びに再学習のための包括的な手法を提案。 メモ 方法 重要度分析 小さなキャリブレーションデータセット（1024サンプ…