DeepSeek-V4.1-Flashのアーキテクチャの雑な理解
DeepSeek-V4.1-Flashが出てて、V4の追加学習かと思ったら新しいアーキテクチャで、それがアテンションの工夫が変わりましたよってだけじゃなく全体の構成も他のモデルと違うので、違うところをまとめておく。 https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf 大きく違う…
