ラズベリーパイでローカルLLM

ラズベリーパイなどのシングルボードコンピューターで大規模言語モデルを動作させてみます。パラメーター数の少ないコンパクトなモデルはなんとか使えるレベルといった速度です。