インストール
ONNX Runtime generate() APIのインストール
Section titled “ONNX Runtime generate() APIのインストール”Pythonパッケージのインストール
Section titled “Pythonパッケージのインストール”注意：これらのパッケージセット（CPU、DirectML、CUDA）のうち、環境にインストールする必要があるのは1つだけです。
pip install onnxruntime-genaiDirectML
Section titled “DirectML”pip install onnxruntime-genai-directmlonnxruntime-genaiのCUDAバリアントをインストールする場合、CUDAツールキットをインストールする必要があります。
CUDAツールキットはCUDAツールキットアーカイブからダウンロードできます。
CUDA_PATH環境変数がCUDAのインストール場所に設定されていることを確認してください。
CUDA 12
Section titled “CUDA 12”pip install onnxruntime-genai-cudaCUDA 11
Section titled “CUDA 11”このAPIをCUDA 11で使用するには、ソースからビルドしてインストールする必要があります。
Nugetパッケージのインストール
Section titled “Nugetパッケージのインストール”注意：プロジェクトには、これらのパッケージ（CPU、DirectML、CUDA）のうち1つだけをインストールしてください。
ONNX Runtime依存関係
Section titled “ONNX Runtime依存関係”ONNX Runtime generate()バージョン0.3.0以前は、コアONNX Runtimeバイナリがバンドルされていました。バージョン0.4.0以降、パッケージは分離され、より柔軟な開発者エクスペリエンスが可能になりました。
dotnet add package Microsoft.ML.OnnxRuntimeGenAI注意：バージョン0.3.0以前ではCUDA 11のみがサポートされ、バージョン0.4.0以降ではCUDA 12のみがサポートされます。
dotnet add package Microsoft.ML.OnnxRuntimeGenAI.CudaDirectML
Section titled “DirectML”dotnet add package Microsoft.ML.OnnxRuntimeGenAI.DirectML