LLMの学習メカニズムの解明 - 磯沼 大 国立情報学研究所 大規模言語モデル研究開発センター / 東北大学言語AI研究センター 特任助教
大規模言語モデルはいつ何を学習したことで高い知的能力を獲得しているだろうか。学習データの組み合わせや順序を試行錯誤することで、知的能力獲得に重要なデータや最適な学習順序を明らかにできるかもしれないが、大規模言語モデルの学習データは膨大なため現実にはそうした試行錯誤は困難である。本研究では逆学習とい…