CPU で Edge AI を試そう(2)

はじめに コード 実行環境 速度・精度 プロンプトとレスポンスの一例 Mini 8k Medium 128k(日本語) Medium 128k(英語) まとめ 前の記事 hiro128.hatenablog.jp はじめに いまさらながらですが、Phi 3 を試してみるために、ローカルで実行してみるコンソールアプリを作ってみました。 リポジトリはこちらです。 github.…