ソースからビルド

generate() APIをソースからビルドする

前提条件

• cmake
• .NET6 (C#をビルドする場合)

onnxruntime-genaiリポジトリをクローンする

git clone https://github.com/microsoft/onnxruntime-genai
cd onnxruntime-genai

generate() APIをビルドする

このステップは、onnxruntime-genaiリポジトリのルートにいることを前提としています。

以下のすべてのビルドコマンドには--config引数があり、次のオプションを取ります。

• Release リリースバイナリをビルドします
• Debug デバッグシンボル付きのバイナリをビルドします
• RelWithDebInfo デバッグ情報付きのリリースバイナリをビルドします

Python APIをビルドする

Windows CPUビルド

python build.py --config Release

Windows DirectMLビルド

python build.py --use_dml --config Release

Windows NvTensorRtRtxビルド

python build.py --use_trt_rtx --config Release --cuda_home <cuda_path>

Linuxビルド

python build.py --config Release

Linux CUDAビルド

python build.py --use_cuda --config Release

Macビルド

python build.py --config Release

Java APIをビルドする

python build.py --build_java --config Release

Android用にビルドする

Windowsでビルドする場合は、ninjaをインストールします。

pip install ninja

ビルドスクリプトを実行します。

python build.py --build_java --android --android_home <Android SDKへのパス> --android_ndk_path <NDKインストールへのパス> --android_abi  [armeabi-v7a|arm64-v8a|x86|x86_64] --config Release

アプリケーションにライブラリをインストールする

Pythonホイールをインストールする

# onnxruntime-genaiホイールを含むフォルダにディレクトリを変更します
# Linuxの例：cd build/Linux/Release/wheel/
pip install *.whl

NuGetをインストールする

近日公開

JARをインストールする

build/Windows/Release/src/java/build/libs/*.jarをアプリケーションにコピーします。

AARをインストールする

build/Android/Release/src/java/build/android/outputs/aar/onnxruntime-genai-release.aarをアプリケーションにコピーします。

C/C++ヘッダーファイルとライブラリをインストールする

Windows

src\ort_genai.hのヘッダーとbuild\Windows\Releaseのライブラリを使用します。

Linux

src/ort_genai.hのヘッダーとbuild/Linux/Releaseのライブラリを使用します。