C# と ONNX Runtime Generative AI (DirectML) を利用して Phi-3 Vision をローカルで動かす
以前に ONNX Runtime Generative AI に対応した Phi-3 mini / medium のモデルを利用して、ローカルマシンの DirectML アクセラレーションが効く形で動かしてみました。本命と考えている NPU に最適化された Phi-Silica はまだ利用可能になっていないので、今のところは Phi-3 を DirectML で使うのが現実的な方法です。そ…
