位置インデックス情報を操作して LLM に長文と錯覚させたらどうなるか？
ABEJAでデータサイエンティストをしている藤原です。 今回も LLM のロングコンテキスト言語処理（Long-context language modeling; LCLM）に関連するブログになります。前回のブログはこちらです。 様々なコンテキスト長における LLM の Self-Attention の Query と Key の分析 - ABEJA Tech Blog 近年の LLM ではオープン…
