"RWKV_CUDA_ON"を1に設定してRWKVを高速化する - Qiita

ローカル環境でも高速で動作するLLMとして話題のRWKVですが、ドキュメントを見ていると環境変数の"RWKV_CUDA_ON"を1に設定することでより高速で動くということなので試してみました。設定…