C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす
Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。セッションでも話がありましたが、Microsoft としては DirectML を…
