Technically Impossible

2023年03月23日追記 この投稿での事例は、1トークンの推論に約１分を要する。とにかく動作させてみることを念頭にしている。swapを用いず、小規模なモデルをオン・メモリで動作させることで、実用に適うパフォーマンスで動作させることができる。そのような事例を、次の投稿で紹介している。関心があれば参照してほしい。 …