中間層をリピートするだけでLLM性能が向上する!? 4090x2でリーダーボードトップになった手法Repeat Your Self|shi3z

Davig NgによるRYS(Repeat Your Self)という手法が注目を集めている。 LLM Neuroanatomy: How I Topped the LLM Leaderboard Without Changing a Single Weight ML, Biotech, Hardware, and Coordination Problems. Sometimes I dnhkng.github.io この手法は、「LLM神経解剖学」と銘打ち、LLMのレイヤーが実…