ネットで軽く探したけど書いてなかったのでご家庭用LLMを試す時にREPLでストリーミングしたい(なぜなら長考に入ってしまうから)時に使うコード。 ELYZAのやつを例にするけど他も同じはず。 import torch from transformers import AutoModelForCausalLM, AutoTokenizer,TextIteratorStreamer B_INST, E_INST = "[INST]",…