パフォーマンス調整

ONNX Runtimeは、さまざまなハードウェア上でディープラーニングモデルを実行するための高いパフォーマンスを提供します。 使用シナリオの要件に基づいて、レイテンシ、スループット、メモリ使用量、およびモデル/アプリケーションサイズは、パフォーマンスを測定する一般的な指標です。

ORTは、最も一般的な使用パターンに対して優れたパフォーマンスを提供することを目指していますが、特定の使用ケースやモデルのパフォーマンスを向上させるために利用できるモデル最適化技術とランタイム構成があります。