Technically Impossible

年初から大規模言語モデルの概要に触れていくうちに、芽生え始めたアイデアが確率論としての言語生成だった。適切な言葉が出力される「真の」確率モデルが存在しており、大規模言語モデルを真のモデルへ近づけていくようなイメージだ。書籍『大規模言語モデルは新たな知能か』*1には、「圧縮機としての言語モデル」という…