[TensorRT] Windows 환경 onnx -> trt 변경

나는 CUDA, CUDNN 이 설치되어 있다는 가정하에서 진행하였다.  ( CUDA : 11.0, CUDNN: 8.02, VS : 2019 )

CUDA 환경이나, tensorflow, pytorch 등의 환경이 다르다면 아래의 링크를 기준으로 다른 버전을 참고해야 한다.

https://docs.nvidia.com/deeplearning/tensorrt/release-notes/index.html

 

1. tensorRT 홈페이지에 들어가 환경에 맞는 zip 파일을 다운로드 받는다. (나는 8.2.1 GA 버전을 설치하였다) 

https://developer.nvidia.com/nvidia-tensorrt-download

 

2. 적당한 곳에 압축을 푼다. (난 D 드라이브에 설치하였고, {path} 라고 표현)

 

3. {path}/bin 경로에 onnx 모델파일과 {path}/lib 에 있는 dll 파일들 - [nvinfer.dll, nvinfer_builder_resource.dll, nvinfer_plugin.dll, nvonnxparser.dll, nvparsers.dll 을 복사/붙여넣기 한다.

 

4. cmd 창을 키고, 설치경로/bin 로 이동하여, 아래의 명령어를 실행한다.

trtexec --onnx={onnx_model}.onnx --saveEngine={tensorRT_model}.trt

 

5. 결과를 확인한다.

 

참고

https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html