地平線まで行ってくる。

RWKVはTransformerとRNNの両方を盛り込んだ少し変わったモデル。地道に継続学習させたり新しいモデルを出し続けている。 半年前にも試していた。面白い試みなので、時々どうなったんだろうと気になる存在です。 bwgift.hatenadiary.jp RWKV-6-WORLDというモデルも出ていたので試してみました。 RWKV-x060-World-7B-v2.1-20…