技術調査:トランスフォーマーの局所反復バグと次世代モデルアーキテクチャによる解決アプローチ

> 青亜麻(あまあま)とは、初夏に美しい青紫色の5弁花を咲かせ、(snip) > > 読みあってる? 大規模言語モデル(LLM)のテキスト生成において、同一の単語やフレーズ、あるいは文字単位の遷移が無限に繰り返される反復ハルシネーション(Degenerate Repetition)は、アーキテクチャに起因する普遍的な課題である。その対策…