Win10 安装 Tensorrt和torch2trt教程

说明：实测有效。

1 电脑环境

系统：Win10
显卡：NVIDIA GeForce RTX 3090
cuda版本：CUDA 11.6.0 (后更新到CUDA 11.6.2)
python版本：3.9
TensorRT安装版本：8.5.1.7
(TensorRT与CUDA版本匹配，参见文献[4][5])

2 下载安装库

2.1 所需资源(假定已经安装cuda和cudnn)

1)TensorRT-8.5.1.7(下载资源包，下载链接：https://developer.nvidia.com/tensorrt
2) ONNX(pip 在线安装)
3) cython(pip 在线安装)
4) pycuda(pip 离线安装，下载链接：https://pypi.org/project/pycuda/2022.1/#history
5) torch2trt(pip 离线安装，下载链接：https://github.com/NVIDIA-AI-IOT/torch2trt

2.2 TensorRT 下载

3 安装过程

3.1 安装 ONNX

离线安装时下载链接：https://github.com/onnx/onnx/tree/rel-1.6.0
推荐在线pip， 安装命令：pip install onnx

3.2 安装cython和pycuda

pip 安装命令：
pip install cython （在线安装命令）
pip install pycuda-2022.1.tar.gz（离线安装命令，下载链接见 章节2.1）

（不小心把pycuda-2022.1.tar.gz依赖包放到了文件夹torch2trt-master下面）

3.3 TensorRT环境配置与安装

1）将下载的TensorRT-8.5.1.7放到自己需要的位置，我放在了D:\ProgramData\文件夹下。
2）将TensorRT的lib位置添加到环境变量
路径：此电脑–属性–高级系统设置–环境变量–
D:\ProgramData\TensorRT-8.5.1.7.Win10.x86_64.cuda-11.8.cudnn8.6\TensorRT-8.5.1.7\lib

3）pip离线安装三个.whl文件

（1）pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
（2）pip install uff-0.6.9-py2.py3-none-any.whl
（3）pip install tensorrt-8.5.1.7-cp39-none-win_amd64.whl（选择对应python版本）

4）复制tensorrt的库到CUDA安装目录的指定文件夹
（1）将 TensorRT-8.5.1.7\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include
（2）将TensorRT-8.5.1.7\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64
（3）将TensorRT-8.5.1.7\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin

3.4 torch2trt安装

(https://blog.csdn.net/weixin_44077524/article/details/123270054)
下载地址：https://github.com/NVIDIA-AI-IOT/torch2trt
安装方法(离线安装)：python setup.py install

测试是否安装成功：

4 采用TensorRT推理很慢的原因（在real esrgan模型中无效）

参考大佬文章[4]：点这里
可能是cuda版本和TensorRT版本不对应，需要重新更新，我们将CUDA11.6.0更新到CUDA 11.6.2

5 参考文献

[1] win10 tensorrt安装 踩坑记录 https://blog.csdn.net/jacke121/article/details/121860556
[2] windows上安装TensorRT，https://blog.csdn.net/weixin_43917589/article/details/122578198
[3] https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-tar
[4] https://blog.csdn.net/dou3516/article/details/124165544
[5] https://docs.nvidia.com/deeplearning/tensorrt/release-notes/tensorrt-8.html#rel-8-5-1