【論文要約】Jamba: A Hybrid Transformer-Mamba Language Model【メモ】|そら

イントロダクション 今回は以下のJambaアーキテクチャの論文を要約する。Mamba論文も同様に要約した記事を今後書こうと思う。(順序逆なのはすいません。) Jamba: A Hybrid Transformer-Mamba Language Model We present Jamba, a new base large language model based on a arxiv.org 研究の目的と背景 &…