GPU無し、コンテナもPythonも使わない、RAM=8GBのLinux PCでGPT - alpaca.cpp編
2023年03月29日 - Windowsユーザー宛 この投稿では、検証環境にClear Linuxを用いている。Windows環境の場合については、次の投稿を参照してほしい。 impsbl.hatenablog.jp 本文 前回の投稿*1で示されたパフォーマンスは、1トークンの推論に1分を要する、とても実用に適さないものだった。今回は違う。使用する言語モデル…
