ABEJA Tech Blog
id:flatton
様々なコンテキスト長における LLM の Self-Attention の Query と Key の分析
ABEJAでデータサイエンティストをしている藤原です。 今回は LLM のロングコンテキスト言語処理(Long-context language modeling; LCLM)に関連するブログになります。近年の LLM ではオープン・クローズド問わずより長大なコンテキストを正確に扱えるモデルが増えてきています。このようにロングコンテキストLLMが増えて…