コンテンツにスキップ
ONNX Runtime

ORT形式モデル

ORT形式モデル

Section titled “ORT形式モデル”

ORT形式は、ONNX Runtimeで使用するために最適化されたモデル形式です。これは、モバイルやWebアプリケーションなどのリソースに制約のある環境で推論を実行する場合に特に役立ちます。

ORT形式モデルの利点

Section titled “ORT形式モデルの利点”

ORT形式モデルには、標準のONNXモデルに比べていくつかの利点があります。

  • モデルサイズの縮小：ORT形式モデルは、量子化やその他の最適化手法を使用してモデルサイズを縮小できます。
  • パフォーマンスの向上：ORT形式モデルは、特定のハードウェアに合わせて最適化できるため、推論のパフォーマンスが向上します。
  • 読み込み時間の短縮：ORT形式モデルは、標準のONNXモデルよりも速く読み込むことができます。

ORT形式モデルの作成

Section titled “ORT形式モデルの作成”

ORT形式モデルは、ONNX Runtime変換ツールを使用して作成されます。このツールは、ONNXモデルを入力として受け取り、ORT形式モデルを出力します。

Terminal window
python -m onnxruntime.tools.convert_onnx_models_to_ort <onnxモデルファイルまたはディレクトリ>

ORT形式モデルの使用

Section titled “ORT形式モデルの使用”

ORT形式モデルは、標準のONNXモデルと同じ方法でONNX Runtimeで使用できます。特別な設定は必要ありません。

// ORT形式モデルをロード
Ort::Session session(env, "model.ort", session_options);

ORT形式モデルの詳細

Section titled “ORT形式モデルの詳細”

ORT形式モデルの詳細については、次のリソースを参照してください。

その他のリソース

Section titled “その他のリソース”