トラブルシューティング
ONNX Runtime generate() APIの問題のトラブルシューティング
Section titled “ONNX Runtime generate() APIの問題のトラブルシューティング”インストールに関する問題
Section titled “インストールに関する問題”Windows Condaのインポートエラー
Section titled “Windows Condaのインポートエラー”ImportError: DLL load failed while importing onnxruntime_genai: A dynamic link library (DLL) initialization routine failed.WindowsのConda環境でこの問題が発生した場合は、C++ runtime for Visual Studioをアップグレードする必要があります。conda環境で、次のコマンドを実行します。
conda install conda-forge::vs2015_runtimeこの追加の手順の後、onnxruntime-genai Pythonパッケージはエラーなしで実行されるはずです。
Windows CUDAのインポートエラー
Section titled “Windows CUDAのインポートエラー”DLL load failed while importing onnxruntime_genaiWindowsでのCUDAツールキットのインストール完了後、CUDA_PATHシステム環境変数がツールキットがインストールされたパスに設定されていることを確認してください。この変数は、Windowsでonnxruntime_genai pythonモジュールをインポートする際に使用されます。CUDA_PATH変数が設定されていない、または誤って設定されている場合、DLL load failed while importing onnxruntime_genaiが発生する可能性があります。
Transformers / TokenizersとONNX Runtime generate()の非互換性
Section titled “Transformers / TokenizersとONNX Runtime generate()の非互換性”RuntimeError: [json.exception.type_error.302] type must be string, but is arrayモデルビルダーでモデルを生成した場合にのみ発生し、ダウンロードしたモデルでは発生しません。
HuggingFace transformersバージョン4.45.0で、onnxruntime-genaiバージョン0.4.0以前との非互換性を引き起こす変更がありましたが、0.5.0で解決されました。この問題を解決するために使用できる2つの代替の回避策があります。