1.安装onnxruntime-gpu
新版的onnxruntime-gpu 即支持gpu的推理，也支持cpu的推理。
卸载旧的1.7.1 cpu版本，安装新的gpu版本：
pip uninstall onnxruntime pip install onnxruntime-gpu
检查是否安装成功：
>>> import onnxruntime >>> onnxruntime.__version__ '1.10.0' >>> onnxruntime.get_device() 'GPU' >>> onnxruntime.get_available_providers() ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']
2.修改推理代码
在推理代码上增加 providers参数，选择推理的框架。看自己支持哪个就选择自己支持的就可以了。
session = onnxruntime.InferenceSession('yolov5s.onnx', None)
# 改为：
session = onnxruntime.InferenceSession('yolov5s.onnx',
providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'])
如果运行推理代码出现 Tensorrt, CUDA都无法推理，如下所示，则是自己的 ONNX Runtime, TensorRT, CUDA 版本没对应正确 。
2022-08-09 15:38:31.386436528 [W:onnxruntime:Default, onnxruntime_pybind_state.cc:509 CreateExecutionProviderInstance] Failed to create TensorrtExecutionProvider. Please reference https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html#requirements to ensure all dependencies are met.
对应版本如下 ：
