DeepSeek-V4.1-FlashがEncoder-Decoderと呼んでいる後半層KV近似をQwen3で試してPrefill時間を半分にする
DeepSeek-V4.1-Flashの仕組みをみて思ったんだけど、Encoder-Decoderモデルということになっていますが、実際のところはプレフィル時に後半の層のKVを近似モデルで埋める仕組みになってます。 DeepSeek-V4.1-Flashのアーキテクチャの雑な理解 - きしだのHatena なので、近似モデルさえ用意すれば既存のモデルにも適用でき…
