オムライスの備忘録

yhayato1320.hatenablog.com Index Index Post / Pre Normalization 利用されているアーキテクチャ 参考 Post / Pre Normalization 機械翻訳のタスクで、Transformer の層を深くする研究にて、2 つの手法が提案されている. Post / Pre Normalization の適応 Residual Combine の工夫 Transformer の元論文では、各 Encoder…